首页 > 学院 > 开发设计 > 正文

DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

2019-11-10 20:07:24
字体:
来源:转载
供稿:网友

Google 发布了开源机器学习系统DistBelief

Yesky天极新闻 2015-11-10 11:14 分享到: 我要吐槽

 Google于 2011 年推出了人工深度学习系统——DistBelief。通过 DistBelief,Google 能够扫描数据中心数以千计的核心,并建立更大的神经网络。Google 的这个系统将 Google 应用中的语音识别率提高了 25%,以及在 Google Photos 中建立了图片搜索,并驱动了 Google 的图片字幕匹配实验。

  就第一代产品而言,DisBelief 应该说是十分成功的产品,但同时也因为是第一代产品,DisBelief 还存在不少不足和限制。它很难被设置,也和过于 Google 内部的基础设施联系过于紧密,这导致这几乎不可能分享研究代码。

  针对以上问题,今天,Google 在 Google Research Blog 宣布推出新一代人工智能学习系统 TensorFlow。根据 Google 的说法,TensorFlow 是综合的、灵活的、可移植的、易用的更为关键的是,它是开源的。与此同时,TensorFlow 的速度相比前代的 DistBelief 有了不小提升,在一些跑分测试中,TensorFlow 的表现是之前第一代系统的两倍。

  TensorFlow 内建有广泛的深度学习支持,但却更有普遍性,几乎任何你可以用计算流程图表表示的计算都能使用 TensorFlow 计算。

Google于 2011 年推出了人工深度学习系统——DistBelief

Google于 2011 年推出了人工深度学习系统——DistBelief

  对于搜索来说,TensorFlow 自然是极好的,但它现在已经准备好运用在真实的产品中了。你可以将你的创意从你的桌面 GPU 无缝运行到你的手机上。你也能迅速启动有力的机器学习技术。

  不过以上都不重要,最为关键的是,TensorFlow 是你的。这是一个开源软件,就像一个独立图书馆,工具、或者辅导课。你可以在任何你工作的地方使用 TensorFlow。

  Google 的工程师们将以这些源于深度神经网络的信号用于 Google 搜索,并将 TensorFlow 服务于 Google 更多的产品。

==========================================================

http://blog.csdn.net/itplus/article/details/31831661

DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

标签: 随机梯度下降SGDDownpour SGDDistBeliefDeep Learning2014-06-17 22:39 9623人阅读 评论(3) 收藏 举报 分类:  

      
     本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记,重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD,该方法通过分布式地部署多个模型副本和一个“参数服务器”,同时实现了模型并行和数据并行,且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用,对非凸优化问题有很好的效果。

作者: peghoty 

出处: http://blog.csdn.net/itplus/article/details/31831661

欢迎转载/分享, 但请务必声明文章出处.


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表