2016年8月30日,OpenAI 研究员在博客发文,结合实例介绍了 OpenAI 进行深度学习研究时采用的基础设施配置,并且提供了相关开源代码。文章激起了很多反响,相对于软硬件开源,OpenAI 从另一个侧面,对深度学习模型的实际部署提供了帮助。
3.OpenAI 重磅发布 AGI 测试训练平台 Universe
2016年12月4日,在今年 NIPS 大会召开的前一晚,OpenAI 发布了 Universe,用于训练解决通用问题 AI 的基础架构。据悉,这是一个能在几乎所有环境中衡量和训练 AI 通用智能水平的开源平台,目标是让智能体能像人一样使用计算机。目前,Universe 已经有1000种训练环境,由微软、英伟达等公司参与建设。有了 Universe,任何程序都能被接入到 OpenAI Gym 的环境中。很快,OpenAI 还推出了 Mini World of Bits(MiniWoB),这个与 OpenAI Universe 配套的环境基准可以测试代理与常见网页浏览器元素的交互能力,比如按钮、文本框、滑块。
微软开源:CNTK 升级版
根据 Github 2016年度的《Octoverse 观察报告》,微软不仅是拥有开源项目最多的公司,也是贡献人数最多的公司。
在人工智能方面,微软的开源项目有很多,包括 CNTK计算网络工具包、DMTK分布式机器学习工具包,Send2vec语义相似映射器, 以及 CodaLab 研究平台(基于Web的开源平台,旨在通过其在线社区帮助解决数据导向的许多常见问题,从而促进机器学习和高性能计算的研究领域的发展)。
2016年10月27日,微软开源深度学习认知工具包 CNTK 升级版,其中最瞩目的功能是增加了 Python 绑定,支持增强学习。新版的 CNTK 性能大幅提升,尤其是在多台机器上处理较大数据集的情况下能高速运行,这种类型的大规模部署对于多GPU上的深度学习是不可或缺的,也是开发消费产品和专业产品的必需。
微软研究人员表示,在多服务器间运行的能力是一大进步。CNTK 升级版还包含了一些算法,用于将大规模数据处理的计算消耗降到最低。
百度
1.百度开源深度学习代码 Warp-CTC 详解
2016年1月15日,百度公布了代码 Warp-CTC,能够让 AI 软件运行得更高效。说 Warp-CTC 知道的人可能还少,百度语音识别系统 Deep Speech 2就是用它搭建的。百度位于硅谷的 AI 实验室主管 Adam Coates 在接受 Re-Work 采访时表示,他们在构建深度语音端对端系统的过程中发明了Warp-CTC 方法,进而使用 CTC 提高模型的可伸缩性。“由于没有相似的工具,我们决定将其分享给人们。它是一款很实用的工具,可以用到现有的AI框架中。现在有很多深度学习的开源软件,但是之前用于训练序列数据的端对端网络一直很慢。我们在Warp-CTC上的投入是对“我们坚信深度学习与高性能计算技术(HPC)的结合会有巨大潜力”的一种证明。”
2.百度开源分布式深度学习平台,挑战 TensorFlow(附教程)
2016年8月31日,百度宣布开源深度学习平台 PaddlePaddle。实际上,百度深度学习实验室在几年前就投入 PaddlePaddle 的开发,业内对这个云端托管的分布式深度学习平台赞誉有加:代码简洁、设计干净,没有太多抽象……PaddlePaddle 对于序列输入、稀疏输入和大规模数据的模型训练有着良好的支持,支持GPU运算,支持数据并行和模型并行,仅需少量代码就能训练深度学习模型,大大降低了用户使用深度学习技术的成本。
3.百度公开硬件基准 DeepBench,推动深度学习专用芯片研发竞争
2016年9月,百度发表论文,开源 DeepBench 基准测试,AI研究者和芯片制造商可以用它测试不同的芯片运行软件时的性能,尤其是哪款硬件加速深度学习性能最好。目前 DeepBench 只能测试深度学习的训练模型,能提供在三种 Nvidia GPU和一种 Intel Xeon Phi 处理器的基准化测试结果,未来还可能测试用于图像和语音识别之类任务的“推理”模型。百度希望 DeepBench 能促进特定任务深度学习加速器的研发,“GPU显然不是终点,我们希望这能鼓励竞争”。
GitHub 最受欢迎的深度学习项目
名称星数简介
TensorFlow
29622
使用数据流图计算可扩展机器学习问题
Caffe
11799
一个高效的开源深度学习框架
Neural Style
10148
由Torch实现的神经网络算法
Deep Dream
9042
一款图像识别工具
Keras
7502
一款由Python实现的深度学习库,包括卷积神经网络、递归神经网络等。运行在Theano和TensorFlow之上
Roc AlphaGo
7170
由学生主导的一个独立项目,重新实现了 DeepMind在2016发表于Nature论文"Mastering the game of Go with deep neural networks and tree search(用深度神经网络和树搜索学习围棋)" (Nature 529, 484-489, 28 Jan 2016)
TensorFlow Models
6671
基于TensorFlow开发的模型
Neural Doodle
6275
运用深度神经网络将涂鸦变为优雅的艺术品,从照片生成无缝纹理,转变图片风格,进行基于实例的提升,等等。(语义风格传递的实现)
CNTK
5957
微软的计算网络工具(Computational Network Toolkit,CNTK)
TensorFlow Examples
5872
面向初学者的TensorFlow教程和代码示例
ConvNet JS
5231
基于Java的深度学习库。在浏览器中训练卷积神经网络模型(或者普通模型)
Torch
5133
Torch7,深度学习库
OpenFace
4855
基于深度学习网络的面部识别
MXNet
4685
轻巧、便携、灵活的分布式/移动深度学习框架,支持Python, R, Julia, Scala, Go, Java等等语言
Nupic
4364
智能计算的Numenta平台(Numenta Platform for Intelligent Computing,Nupic):一个脑启发式的计算智能和机器智能平台,基于皮层学习算法的生物精确神经网络模型
Theano
4286
一个 Python 库,用来定义、优化和模拟数学表达式计算,用于高效解决多维数组的计算问题
Leaf
4281
面向黑客的开源机器智能框架
Char RNN
3820
基于Torch开发的多层递归神经网络的字符级别语言模型
Neural Talk
3694
一个Python+numpy项目,用多模式递归神经网络描述图像
deeplearning4j
3673
基于Hadoop和Spark的Java, Scala & Clojure深度学习工具
TFLearn
3368
深度学习库,包括高层次的TensorFlow接口
TensorFlow Playground
3352
神经网络模型示例
OpenAI Gym
3020
一种用于开发和比较强化学习算法的工具包
Magenta
2914
用机器智能生成音乐和艺术
Colornet
2798
用神经网络模型给灰度图上色
Synaptic
2666
基于node.js和浏览器的免架构神经网络库
Neural Talk 2
2550
Torch开发的图像简介生成GPU运行代码
Image Analogies
2540
使用神经匹配和融合生成相似图形
TensorFlow Tutorials
2413
Tensorflow的基础原理到应用
Lasagne
2355
基于Theano训练和构建神经网络的轻型函数库
PyLearn2
2153
基于Theano的机器学习库
LISA-lab Deep Learning Tutorials
2134
深度学习教程笔记和代码
Neon
2121
Nervana 开发的一款快速、可扩展、易使用的Python深度学习框架
Matlab Deep Learning Toolbox
2032
Matlab/Octave的深度学习工具箱。包括深度信念网络、自动编码机、卷积神经网络、卷积自动编码机和vanilla神经网络等。每种方法都有入门示例
Deep Learning Flappy Bird
1721
使用深度强化学习破解Flappy Bird游戏
Chainer
1573
一款灵活的深度学习神经网络框架
Neural Story Teller
1514
一种根据图片生成故事的递归神经网络模型
DIGITS
1353
深度学习GPU训练系统
Deep Jazz
1229
基于Keras和Theano生成jazz的深度学习模型
Brainstorm
1143
快速、灵活、有趣的神经网络
Darknet
937
C语言版本的开源神经网络
Theano Tutorials
904
基于Theano的机器学习入门教程,从线性回归到卷积神经网络
RNN Music Composition
904
一款生成古典音乐的递归神经网络工具
Blocks
866
一种用于构建和训练神经网络模型的Theano框架
TDB
860
TensorFlow的交互式、节点调试和可视化的工具
Scikit Neural Net
849
深度神经网络入门工具,类似scikit-learn的分类器和回归模型。
Veles
760
分布式机器学习平台(Python, CUDA, OpenCL)
Deep Detect
759
基于C++11的深度学习接口和服务器,与Python绑定并支持Caffe
TensorFlow DeepQ
759
基于Google Tensorflow的deep Q learning演示
Caffe on Spark
724
基于Spark的Caffe
Nolearn
702
神经网络库的抽象,著名的Lasagne
DCGAN TensorFlow
568
基于tensorflow实现的深度卷积生成对抗网络
MatConvNet
479
MATLAB卷积神经网络工具箱,用于计算机视觉应用
DeepCL
413
用于训练深度卷积神经网络模型的OpenCL库
Visual Search Server
304
用Tensorflow Inception 模型和近似最近邻的视觉搜索
评论
查看更多