侵权投诉

神经网络技术解析:手写数字识别项目解读

电子设计 2021-01-13 15:50 次阅读

手写数字识别是很多人入门神经网络时用来练手的一个项目,但就是这么简单的一个项目,最近在reddit上又火了一把,因为在MIT计算机科学和人工智能实验室,有人挖到了一个「祖师爷」级别的视频……

这段视频录制于1993年,主人公是图灵奖得主YannLeCun(杨立昆)。彼时LeCun才32岁,刚刚进入贝尔实验室工作,而视频里机器学习识别的第一段数字201-949-4038,是LeCun在贝尔实验室里的电话号码。从这段视频中我们可以看到,LeCun在90年代初创造的文本识别系统已经达到了惊人的速度和准确率,这在当时的条件下是非常难能可贵的。

o4YBAF_-pKCAL52AAAWkwxPKISI070.png

这段视频由贝尔实验室自适应系统研究部门主任LarryJackel拍摄(Larry当时是LeCun的boss,现任英伟达自动驾驶顾问)。视频中出镜的还有实验室负责人RichHoward(Larry的boss)和研究工程师DonnieHenderson。YannLeCun本人表示:「DonnieHenderson将整个演示系统整合在了一起……整套系统在算力为20MFLOPS的DSP版上运行。」

640.gif

几位工程师在视频中洋溢的笑容也颇具感染力。

LeCun表示,1993年的文字识别系统已经用上了卷积神经网络(CNN),自己在这套系统中编写了一种网络数据结构的编译器,并生成了可编译的C语言代码,在源代码中以权重和网表(netlist)代表文字。这段视频的惊艳之处还在于,它比经典手写数字数据集MNIST的问世还要早6年。

pIYBAF_-pMeAMHCAAABq5qkjYcU826.png

其实,早在1989年,LeCun就已经发表了「将反向传播用于手写邮政编码识别」的相关研究,而且已经在美国的邮政系统中成功应用。随后,这一系统的应用范围扩展至银行支票。90年代末期,该系统已经处理了美国10%-20%的支票识别。

o4YBAF_-pNWAK3ObAALBa2Q5DDU736.png

1999年,LeCun等人联合发表了「MNIST」手写数字数据集。这一数据集包含数万个样本,被称为「计算机视觉领域的helloworld数据集」、「机器学习界的果蝇」,如今已经作为基准被使用了二十余年。

pIYBAF_-pOWAejsuAAIT49kFyNQ943.png

在看了这段视频之后,有研究者感叹,「不要再抱怨GPU算力不够了」。

o4YBAF_-pPGAYaTEAAByJSj2qWU470.png

深度学习先驱YannLeCun说起YannLeCun,熟悉人工智能领域的人肯定不会陌生,YannLeCun现在是纽约大学教授、美国工程院院士、Facebook副总裁和首席AI科学家。在深度学习还未流行的20世纪八九十年代,LeCun与另两位先驱者YoshuaBengio、GeoffreyHinton一道探索了深度学习领域的概念基础,并通过实验向人们展示了新方法的前景。此外,他们还贡献了一系列工程进展,展示了深度神经网络的实用优势。虽然在二十世纪八十年代,研究者就开始试用人工神经网络帮助计算机识别模式、模拟人类智能,但直到二十一世纪的前几年,这种方式仍未获得广泛认同,LeCun等研究者试图重燃AI社区对神经网络兴趣的努力曾经一直被人们质疑,但如今他们的想法带来了重大的技术进步,他们的方法也已成为该领域的主导范式。自2012年以来,深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。在2019年,美国计算机协会ACM公布了上一年度的图灵奖,YoshuaBengio、GeoffreyHinton和YannLeCun三位深度学习巨头同时获奖。

pIYBAF_-pQGASHC4AAcDCh5KuCs380.png

从左至右:YoshuaBengio、GeoffreyHinton、YannLeCun。ACM表示,YannLeCun主要作出了三大贡献:

  • 提出卷积神经网络
  • 改进反向传播算法
  • 拓宽神经网络的视角

20世纪80年代后期,LeCun就职于多伦多大学和贝尔实验室,也是在这一时期,他利用手写数字图像训练了第一个卷积神经网络系统。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用,如自动驾驶、医学图像分析、语音助手和信息过滤等。这可不是搞定MNIST那么简单与我们通常为MINIST数据集构建文字识别系统不同,YannLeCun在1993年展示的技术可是用摄像头直接拍摄的,还需要搞定文字缩放、位置等问题,后来也确实在邮政系统里获得了应用。如此看来在当年就能实现这样的效果确实不容易,更何况在20世纪90年代,研究者们是没有TensorFlow可用的,全靠C语言手写,这个问题求解的非机器学习部分与其说是困难,不如说是繁琐。在社交网络中,人们对LeCun展示的算法除了感兴趣,还有赞誉和膜拜,有人说道:「这并不是说他们在1993年就解决了MNIST上的问题,比那还要更进一步。」在深度学习被GPU带动开展大规模应用以前,人工智能算法其实已经实现了相当的聪明程度。在1993年的文字识别之后,昨天,人们又挖出了LeCun参与的另一项研究:人脸检测。

o4YBAF_-pQ-AdX6zAAGhAoCLoLo335.png

在2003年,一个视频展示了RitaOsadchy、MattMiller以及YannLeCun等人在NEC实验室的研究,使用卷积神经网络进行人脸检测研究。虽然只是人脸检测而不是人脸识别,但这种技术的意义不言而喻,如今自动驾驶汽车上的障碍物检测方法使用的就是和它相同的技术。在推特上,LeCun也点赞了这段视频。

看来,如今我们在机器学习领域广泛使用的方法,早在几十年前就已完成了整体架构。不过与此同时,也有网友发出了直击灵魂的提问:「既然LeCun在1993年就可以让AI这样识别文字了,为啥直到今天大多数网站仍然认为文字验证码是识别机器人的好办法?」
编辑:hfy

收藏 人收藏
分享:

评论

相关推荐

基于5G的无线分布式将成智能电网的未来

5G的全称是第五代移动通信技术,是最新一代的数字蜂窝网络技术,于2019年开始在世界各地进行大规模部....
发表于 01-25 16:55 113次 阅读
基于5G的无线分布式将成智能电网的未来

寒武纪思元290芯片发布,具有三大关键亮点

寒武纪在官网披露7纳米AI训练芯片思元 290 智能芯片及加速卡、玄思1000智能加速器相关信息,并....
的头像 我快闭嘴 发表于 01-25 14:51 232次 阅读
寒武纪思元290芯片发布,具有三大关键亮点

Waymo CEO否定特斯拉自动驾驶计划,马斯克回怼

更新:特斯拉 CEO 马斯克在社交媒体表示,特斯拉的人工智能硬件和软件比 Waymo 更好。 1 月....
的头像 璟琰乀 发表于 01-25 13:32 110次 阅读
Waymo CEO否定特斯拉自动驾驶计划,马斯克回怼

Nomad AI计划开发适用于更广泛音频识别的应用

Nomad AI由法国人Vivien Seguy于2018年创立,运营着三个App:和弦自动识别 C....
的头像 我快闭嘴 发表于 01-25 12:52 164次 阅读
Nomad AI计划开发适用于更广泛音频识别的应用

中国量子计算机迎来里程碑式的突破

2019年9月,谷歌拥有53个量子比计算机“悬铃木”,成功只用200秒的时间,实现了“随即路线采样”....
的头像 我快闭嘴 发表于 01-25 12:02 467次 阅读
中国量子计算机迎来里程碑式的突破

法国正式启动量子技术国家战略

21日,法国总统马克龙在巴黎-萨克雷大学纳米科学和纳米技术中心发表演讲,宣布启动法国量子技术国家战略....
的头像 如意 发表于 01-25 11:47 157次 阅读
法国正式启动量子技术国家战略

“芯”危机下汽车级芯片的尖峰时刻,高云AEC Q-100认证FPGA助力国内汽车市场

高云半导体从2018年开始部署汽车级芯片,芯片架构、模块设计全流程采用汽车级芯片设计规范,汽车级晶圆....
发表于 01-25 11:33 134次 阅读
“芯”危机下汽车级芯片的尖峰时刻,高云AEC Q-100认证FPGA助力国内汽车市场

利用安防视频系统实现建设“智慧监狱”的应用

自疫情爆发以来,人工智能应用基本全程覆盖了各个环节,大幅节约了人工成本,减少了人力资源消耗,提高了效....
发表于 01-25 10:41 207次 阅读
利用安防视频系统实现建设“智慧监狱”的应用

看好海外安防市场的原因有哪些,产品技术是决胜海外市场的王牌

在中国安防企业“出海”稳中向好发展的大环境下,用户端越来越精细化的需求无形中是给安防企业的一种考验。....
发表于 01-25 10:37 73次 阅读
看好海外安防市场的原因有哪些,产品技术是决胜海外市场的王牌

人工智能恐惧历史溯源及表现形式

当前,人工智能在给人类带来重大发展机遇的同时,各种风险和挑战也随之而至。与科学技术领域人工智能热火朝....
发表于 01-25 10:29 216次 阅读
人工智能恐惧历史溯源及表现形式

人工智能技术助力智慧医疗发展

大家都知道,中国在最近几年得时间里,在很多的领域都有卓越的表现,平常大家听的最多的可能,就是我们中国....
的头像 电子魔法师 发表于 01-25 10:15 389次 阅读
人工智能技术助力智慧医疗发展

人工智能与传统监控系统的加速融合

随着人工智能与传统监控系统的加速融合,摄像头这个默默无闻的“记录者”逐渐获得越来越智能化的多元能力。
的头像 电子魔法师 发表于 01-25 10:11 408次 阅读
人工智能与传统监控系统的加速融合

为什么最近人工智能越来越受欢迎

为了使计算机更智能,帮助我们改善生活,人工智能几十年前便出现了。与流行观点相反,人工智能并没有夺走人....
的头像 电子魔法师 发表于 01-25 10:09 413次 阅读
为什么最近人工智能越来越受欢迎

人工智能技术来助力 新冠肺炎疫情终结日

人工智能技术在抗击疫情领域发挥了十分重要的作用,已成为这场防疫抗疫攻坚战的最有力武器。
发表于 01-25 09:57 273次 阅读
人工智能技术来助力 新冠肺炎疫情终结日

波士顿动力是如何打造机器人的

当大部分科技公司还想着怎么让机器人通过图灵测试,怎么让机器人拿起工具时,你有没有看过这样的视频,机器....
的头像 电子魔法师 发表于 01-25 09:50 118次 阅读
波士顿动力是如何打造机器人的

【原创】机器学习的演进

在我们的生活中,机器学习无处不在,它增加了价值,产生了积极的经济效应,同时减少了低效和浪费。这是由多....
发表于 01-25 09:45 432次 阅读
【原创】机器学习的演进

全球药物发现市场的人工智能(AI)增长将达到新的高度

本报告是由市场专业人士通过认真分析关键的驱动和约束因素,主要区域市场情况,主要参与者以及市场规模和范....
的头像 倩倩 发表于 01-25 09:42 255次 阅读
全球药物发现市场的人工智能(AI)增长将达到新的高度

Turing AI Acceleration Fellowships将为15家英国顶级AI创新者提供资源

奖学金获得者包括研究人员,斯特拉斯克莱德大学光子学研究所高级讲师安东尼奥·赫尔塔多博士和格拉斯哥大学....
的头像 倩倩 发表于 01-25 09:38 197次 阅读
Turing AI Acceleration Fellowships将为15家英国顶级AI创新者提供资源

AI研究中的热门主题有哪些

如果您正在阅读本文,那么您已经被人工智能(AI)技术所包围,这也超出了您的想象。通常,当人们听说AI....
的头像 电子魔法师 发表于 01-25 09:36 96次 阅读
AI研究中的热门主题有哪些

波音与SkyGrid推出全球首个人工智能无人机安保系统

波音与sparkcognition的合资企业SkyGrid推出了全球首个人工智能无人机安保系统。
的头像 电子魔法师 发表于 01-25 09:36 210次 阅读
波音与SkyGrid推出全球首个人工智能无人机安保系统

企业如何利用AI和ML

无论AI和ML变得多么先进,熟练和知识渊博的人员在许多部门都将是不可替代的,并且将是管理流程并确保馈....
的头像 倩倩 发表于 01-25 09:29 188次 阅读
企业如何利用AI和ML

到2025年,人工智能软件市场规模将激增至370亿美元

2023年后,人工智能软件收入将不到整个应用程序市场的3%。商业应用程序中的AI将成为常态,这将促使....
的头像 倩倩 发表于 01-25 09:26 253次 阅读
到2025年,人工智能软件市场规模将激增至370亿美元

技术创新领头羊IBM中国研究院竟全面关闭?

网传 IBM 中国研究院(IBM CRL)已经全面关闭。AI 科技评论求证圈内权威人士,其表示消息大....
的头像 璟琰乀 发表于 01-25 09:23 118次 阅读
技术创新领头羊IBM中国研究院竟全面关闭?

Graphcore宣布已在E轮融资中筹集了2.22亿美元

该轮由安大略省教师退休金计划委员会领导。富达国际(Fidelity International)和施....
的头像 倩倩 发表于 01-25 09:23 238次 阅读
Graphcore宣布已在E轮融资中筹集了2.22亿美元

将量子计算与人工智能融合已成为首要任务

量子计算类似于传统计算。它依靠位(0和1)来编码信息。尽管受到限制,但数据仍在增长。摩尔定律已观察到....
的头像 倩倩 发表于 01-25 09:19 260次 阅读
将量子计算与人工智能融合已成为首要任务

EDA公司芯华章宣布完成A+轮融资,加速推进EDA 2.0研发进程

芯华章聚集全球EDA行业精英和尖端科技领域人才,抱以开放、为未来创造价值的技术信仰,融合人工智能、机....
发表于 01-25 09:07 151次 阅读
EDA公司芯华章宣布完成A+轮融资,加速推进EDA 2.0研发进程

如何使用LabVIEW实现数控轧辊磨床振动信号采集分析系统的设计

针对数控轧辊磨床在工作过程中存在振动影响加工质量的问题,设计基于 LabVIEW 的振动信号采集分析....
发表于 01-25 08:00 7次 阅读
如何使用LabVIEW实现数控轧辊磨床振动信号采集分析系统的设计

人工智能如何大幅延长设备的正常运行时间

ADI公司的人工智能如何大幅延长设备的正常运行时间...
发表于 01-25 06:34 0次 阅读
人工智能如何大幅延长设备的正常运行时间

人工智能和机器学习提高网络安全性的方法

人工智能和机器学习可以帮助组织提高网络安全性的一些方法   ...
发表于 01-25 06:25 0次 阅读
人工智能和机器学习提高网络安全性的方法

探索人工智能恐惧现象

当前,人工智能在给人类带来重大发展机遇的同时,各种风险和挑战也随之而至。与科学技术领域人工智能热火朝....
发表于 01-25 06:16 32次 阅读
探索人工智能恐惧现象

IBM中国研究院已全面关闭?官方回应

近日,有消息称IBM中国研究院(IBM CRL)已经全面关闭。对此,官方回应表示,IBM正在变革我们....
的头像 如意 发表于 01-24 10:29 597次 阅读
IBM中国研究院已全面关闭?官方回应

DrDAQ多功能记录仪的功能描述及特点应用

DrDAQ多功能实验数据采集仪是一款可连接到任何计算机USB端口的多用途仪器。1、使用配置的Pico....
的头像 牵手一起梦 发表于 01-24 09:34 112次 阅读
DrDAQ多功能记录仪的功能描述及特点应用

计算机显示器不亮的解决方法

尽管计算机不大,但它使我们难以理解。昨晚使用计算机时,显示屏仍然正常,但是今天我只听到启动声音,但显....
的头像 陈翠 发表于 01-23 10:44 186次 阅读
计算机显示器不亮的解决方法

把机器人操作系统(ROS)正式引入Win10!

据悉,ROS是面向机器人标准化设计的主流操作系统之一,诞生于2007年,来自Willow Garag....
的头像 倩倩 发表于 01-23 10:29 378次 阅读
把机器人操作系统(ROS)正式引入Win10!

法国宣布启动量子技术国家战略

1月22日消息 据国外媒体报道,法国总统马克龙在巴黎-萨克雷大学纳米科学和纳米技术中心(C2N)发表....
的头像 电子魔法师 发表于 01-23 10:22 547次 阅读
法国宣布启动量子技术国家战略

传统金融与区块链的融合发展

经过2020年疫情席卷全球,可以看到世界经济发展的不确定性大幅增加。各国政府、企业探索采用新兴技术降....
的头像 电子魔法师 发表于 01-23 09:21 486次 阅读
传统金融与区块链的融合发展

人工智能深至科技宣布完成B轮亿元级融资

投资界1月22日消息,人工智能深至科技宣布完成B轮亿元级融资,本轮融资由GGV纪源资本领投。 创立于....
的头像 Les 发表于 01-22 17:12 552次 阅读
人工智能深至科技宣布完成B轮亿元级融资

LabVIEW报表的生成学习教程免费下载

在自动化测试领域,生成的 Oftice报表(Wod, Excel)儿乎是每个专业的自动化测试程序的标....
发表于 01-22 16:58 43次 阅读
LabVIEW报表的生成学习教程免费下载

人工智能处理器如何降低功耗?

“对于边缘技术来说,关键在于如何优化所需性能,同时最大限度地降低功耗。”
发表于 01-22 16:41 499次 阅读
人工智能处理器如何降低功耗?

“苹果汽车”在电动汽车市场上成为强大的竞争者

Sankar认为,该公司已经做好了这样做的准备。苹果在自动驾驶和电动汽车市场的关键领域拥有强大的产品....
的头像 倩倩 发表于 01-22 16:36 369次 阅读
“苹果汽车”在电动汽车市场上成为强大的竞争者

如何使用音频来估计与讲话用户之间的距离,并识别周围的声音

专利申请说:“通常希望设备使用[其]紧凑型麦克风阵列来估算从设备到用户的距离。” “例如,该设备可以....
的头像 倩倩 发表于 01-22 16:32 136次 阅读
如何使用音频来估计与讲话用户之间的距离,并识别周围的声音

2021MWC上海展将全球首秀“5G创新地带”

1月22日消息,GSMA此前公开了2021MWC上海展的相关情况,MWC上海展会定于2021年2月2....
的头像 工程师邓生 发表于 01-22 15:38 186次 阅读
2021MWC上海展将全球首秀“5G创新地带”

如何借助大数据和人工智能来提供金融服务

伴随着金融科技的快速发展,金融机构的服务模式和服务场景日趋多样化,在给客户带来便捷的同时,面临着更加....
的头像 电子魔法师 发表于 01-22 14:18 840次 阅读
如何借助大数据和人工智能来提供金融服务

Facebook通过人工智能为视障人士强化能力

为便利视障人士使用,Facebook在2017年就开始通过人工智能技术提供描述图片内容的功能,如今这....
的头像 电子魔法师 发表于 01-22 14:11 407次 阅读
Facebook通过人工智能为视障人士强化能力

大华基于AI的场景流估计算法和光流估计算法刷新全球最好成绩

近年来,在算法商业化落地方面,大华积极应用主导个性化AI方案敏捷交付,构建人工智能端到端研发的全链路....
发表于 01-22 11:57 148次 阅读
大华基于AI的场景流估计算法和光流估计算法刷新全球最好成绩

基于人脸检测算法在视频监控系统中的应用优势

随着经济全球化的影响日益深入,改革开放的进一步推进和城市化建设的步伐日益加快,导致城市人口密集、流动....
发表于 01-22 11:27 335次 阅读
基于人脸检测算法在视频监控系统中的应用优势

亚马逊推出AWS Inferentia芯片

亚马逊推出用于人工智能部署的AWS Inferentia芯片...
发表于 01-18 06:17 0次 阅读
亚马逊推出AWS Inferentia芯片

《深度强化学习、深度学习、迁移学习、知识图谱》技术应用

发表于 01-17 14:59 0次 阅读
《深度强化学习、深度学习、迁移学习、知识图谱》技术应用

开启计算机后显示器黑屏的原因和解决方法

  如果在打开计算机后显示屏为空白,该怎么办?有时我们的计算机已打开,显示屏为空白。我该怎么办?打开计算机后,编辑器将简...
发表于 01-15 16:17 0次 阅读
开启计算机后显示器黑屏的原因和解决方法

计算机病毒的特征有哪些

  计算机病毒一词已经渗透到每个网民的心中,并且对计算机的危害是不可预测的。俗话说,无论多么全面的安全软件,都无法保证任...
发表于 01-15 16:16 0次 阅读
计算机病毒的特征有哪些

如何利用人工智能实现更为高效的下一代数据存储

充分利用人工智能,实现更为高效的下一代数据存储...
发表于 01-15 07:08 0次 阅读
如何利用人工智能实现更为高效的下一代数据存储

【HiSpark IPC DIY Camera试用连载 】第二篇 视频的人脸检测

实在的,ipc本身就带有这个功能,只要摄像头出现画面,本身就会检测人脸,而且从app上看,还有移动检测功能,已经非常强大了,但是自己...
发表于 01-14 00:08 202次 阅读
【HiSpark IPC DIY Camera试用连载 】第二篇 视频的人脸检测

什么是计算机视觉看了就知道

什么是计算机视觉
发表于 01-11 07:47 0次 阅读
什么是计算机视觉看了就知道