WAP手机版 RSS订阅 加入收藏  设为首页
威尼斯人官网
当前位置:首页 > 威尼斯人官网

威尼斯人官网:不用反向传播就能训练DL模型,ADMM效果可超梯度下降

时间:2019/8/29 16:02:00  作者:  来源:  浏览:0  评论:0
内容摘要: 深度学习已经在机器学习的各个领域受到广泛的应用,因为 深度学习模型可以表征非线性特征的多层嵌套组合,所以相比传统的机器学习模型,它的表达性更丰富。由于深度学习通常用在大数据的应用场景中,所以需要一种优化算法可以在有限的时间内得到一个可用的解。随机梯度下降算法 (SGD) 和它的...
    深度学习已经在机器学习的各个领域受到广泛的应用,因为 深度学习模型可以表征非线性特征的多层嵌套组合,所以相比传统的机器学习模型,它的表达性更丰富。由于深度学习通常用在大数据的应用场景中,所以需要一种优化算法可以在有限的时间内得到一个可用的解。

随机梯度下降算法 (SGD) 和它的许多变体 如 ADAM 是深度学习领域广泛使用的优化算法,但是它存在着如梯度消失 (gradient vanishing) 和病态条件 (poor conditioning) 等问题;另一方面, 作为近年非常热门的优化框架,交替方向乘子算法 (ADMM) 可以解决 SGD 存在的问题: ADMM 的基本原理是把一个复杂的复合目标函数分解成若干个简单的子函数求解,这样不需要用链式法则求复合函数的导数,从而避免了梯度消失的问题,另外 ADMM 对输入不敏感,所以不存在病态条件的问题 [1]。除此之外 ADMM 还有诸多优点:它 可以解决非光滑函数的优化问题;它在很多大规模的深度学习应用中展现了强大的可扩展性 (scalability) 等等。

相关评论

本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下 (威尼斯赌场网站)
京ICP备11012836号-6