0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

近三年技术和产业发展的回顾,再论“深度学习已死

DPVg_AI_era 来源:lq 2019-01-14 08:58 次阅读

本文结合了近三年技术和产业发展的回顾,再论“深度学习已死”。作者认为,深度学习对于大多数问题来说不是正确方法,无法为所有问题寻找一个通用AI解决方案。

许多人认为,算法能以认知意识超越人性。机器可以在没有人工干预的情况下了解和学习任务,并大规模地替换人类工人。它们完全可以“思考”。许多人甚至提出我们是否可以将机器人视作配偶的问题。

但我今天不是讨论这些。如果我告诉你这些想法在20世纪60年代时就已广泛流传,AI先驱Jerome Wiesner、Oliver Selfridge和克劳德·香农(Claude Shannon)都曾坚持认为这在不久的将来就会发生,你怎么想?如果你对此感到惊讶,请看看下面这个视频,你会惊讶于这些情绪是多么的熟悉。

快进到1973年,AI的炒作和夸大适得其反。英国议会派数学家詹姆斯·莱特希尔爵士(Sir James Lighthill)编写英国人工智能研究的现状报告。该报告对AI研究的许多核心方面给出了非常悲观的预测,指出 “在该领域的任何部分迄今为止都没有产生重大影响”。有趣的是,莱特希尔还指出专门的程序(或人类)如何比他们的“AI”同行表现得更好,以及AI如何在现实环境中没有前景。因此,英国政府取消了所有的AI研究经费。

Lighthill Debate, BBC, 1973

在大西洋彼岸,美国国防部曾在AI研究上投入巨资,但后来又因为同样的挫折取消了几乎所有的资助:对AI能力的夸大,高成本却没有回报,以及AI在现实世界中的价值令人怀疑。

在20世纪80年代,日本在“AI”上进行大胆的尝试,推出“第五代电脑项目”(Fifth generation computer)。然而,这最终也只是造成了8.5亿美元的损失。

第一个AI冬天

80年代末出现了AI冬天(AI Winter),这是计算机科学的一个黑暗时期,“人工智能”研究给组织和政府带来沉没成本。这种失败使人工智能研究停滞了数十年。

到了1990年代,“AI”成了一个贬义词,这种情况持续到2000年代。人们普遍认为“AI根本不能起作用”。编写看似智能的程序的软件公司会使用“搜索算法”、“业务规则引擎”、“约束求解器”和“运算研究”等术语。值得一提的是,这些有用的工具的确来自AI研究,但由于未能实现更宏伟的目标,它们被打上了非AI的标签

但在2010年前后,情况开始发生变化。人们对AI的兴趣再次迅速增长,图像分类竞赛引起了媒体的大量关注。硅谷拥有大量的数据,这是第一次有足够的数据足以使神经网络变得有用。

到2015年,“AI”研究已成为许多财富500强企业的巨额预算去向,他们担心自己会被自动化竞争对手甩在后面。毕竟,让一个神经网络来识别图像中的物体真的令人印象深刻!对于外行来说,下一步肯定就是天网能力了。

但这真的是迈向真正的人工智能的一步吗?或许历史在重演,但这一次确实是受到了一些成功用例的鼓舞。

AI的定义不断发展,经常与“神经网络”联系在一起

很长一段时间以来,我一直不喜欢“AI”这个词。它是模糊而遥远的,它更多的是由营销人员而不是科学家定义的。当然,营销和流行语对于刺激积极的变革和接受新思维是必要的。然而,流行语不可避免地会导致混淆。我的新智能手机有一个“人工智能铃声”(AI Ringtone)功能,可以动态地调节铃声音量,使其刚好超过环境噪音。我猜可以用一系列“if”语句或简单的线性函数来编程的东西都被称为“AI”。

鉴于此,“AI”的定义受到广泛争议或许就不足为奇了。我喜欢Geoffrey De Smet的定义,它指出AI解决方案是针对具有不确定性答案和/或不可避免的误差范围的问题。在这个定义下,AI包括大量的工具,从机器学习到概率到搜索算法。

也可以说,AI的定义在不断发展,但只包括突破性的发展,而过去的成功(如光学字符识别或语言翻译)不再被认为是“AI”。因此,“AI是一个相对的术语,而不是绝对的。

近年来,“AI”经常与“神经网络”联系在一起,这也是本文的重点。其他的“AI”解决方案,包括其他机器学习模型(朴素贝叶斯、支持向量机、XGBoost),搜索算法,等等。然而,神经网络可以说是目前最热门、最经常被炒作的技术。

AI文艺复兴?

2010年之后AI热潮的复苏,仅仅是因为AI掌握了一类新的任务:分类。更具体地说,是多亏了神经网络,科学家们已经开发出有效的方法来对大多数类型的数据进行分类,包括图像和自然语言。甚至自动驾驶汽车也属于一种分类任务,其中周围道路的每个图像都可以转化为一组独立的动作(加油、刹车、左转、右转等)。

在我看来,自然语言处理比单纯的分类更令人印象深刻。人们很容易相信这些算法是有感知能力的,但如果你仔细研究算法,就会发现它们依赖于语言模式,而不是依赖于有意识构建的思想。这些可以带来一些有趣的结果。

Google Duplex可能是最令人印象深刻的自然语言处理技术,它能让你的Android手机代替你打电话,甚至进行预约。但是,Google Duplex是仅仅为了完成这个任务而训练、构造甚至硬编码的“AI”。当然,Google Duplex打的电话听起来很自然,有停顿,有“啊”和“嗯”……但是,这也是通过对语音模式的操作来实现的,而不是通过实际的推理和思考。

这一切都非常令人印象深刻,并且肯定有一些是有用的应用程序。但我们确实需要调整我们的期望值,停止炒作夸大“深度学习”能力。如果不这样做,我们可能会发现我们进入了另一个“AI冬天”。

历史总是在重演

康奈尔大学的Gary Marcus写了一篇关于深度学习局限性的文章,并提出了几个发人深省的观点。Rodney Brooks也写了一篇文章,整理了时间轴,并通过引用的研究跟踪他对AI炒作周期的预测。

怀疑论者通常有几个共同观点。神经网络需要大量的数据,即使在今天,数据也是有限的。这也是为什么你在YouTube上看到的“游戏”AI的例子经常需要几天不断的训练,并且不断地失败,直到神经网络找到一个让它获胜的模式。

神经网络之所以“深”,是因为它们在技术上有很多层的节点,而不是因为它对问题的理解有多深刻。这些层也使得神经网络难以理解,甚至对它的开发者来说也是如此。最重要的是,当神经网络冒险进入其他问题空间(如旅行推销员问题)时,它们的回报就会减少。这是有道理的。为什么我要用神经网络来解决旅行推销员的问题,明明搜索算法更加有效、可扩展而且成本低?当然,有些人希望将神经网络推广到更多问题空间,尽管这很有趣,但神经网络在这些问题上似乎很少能胜过任何专门的算法。

正如MIT教授Luke Hewitt所说:

仅仅基于一项任务,凭直觉去了解一台机器的智能范围有多广,或者它具备多少智能能力,这不是一个好主意。20世纪50年代的跳棋机器让研究人员感到惊讶,许多人认为这是AI走向人类水平推理的巨大飞跃,但我们现在意识到,在这个游戏中达到人类水平或超越人类水平远比实现人类水平的一般智能要容易得多。事实上,即使是最优秀的人也很容易被简单的启发式搜索算法打败。在一项任务中达到或超越人类的表现,不一定是能够在大多数任务中接近人类表现的垫脚石。

— Luke Hewitt

我认为同样值得指出的是,神经网络需要大量的硬件和能量才能进行训练。我认为这不是可持续的。当然,神经网络的预测效率要高得多。然而,我认为人们对神经网络的期待使得它需要不断的训练,因此需要指数级的能量和成本。当然,计算机是越来越快了,但是芯片制造商能继续维持摩尔定律吗?

正是由于这些原因,我认为另一个AI冬天即将来临。越来越多的专家站出来指出这些局限性。公司在争夺“深度学习”和“人工智能”人才方面仍然不遗余力,但我认为许多公司会意识到深度学习并不是它们需要的,这只是时间问题。更糟糕的是,如果你的公司没有谷歌那样高的研究预算,没有那么多的博士人才,或者没有能够从用户那里收集到大量数据,你很快就会发现实际的“深度学习”前景非常有限。

每一个AI冬季来临之前,科学家都会夸大它们的创造潜力。仅仅说他们的算法能很好地完成一项任务是不够的。他们希望AI能适应任何任务,或者至少能给人留下这样的印象。例如,AlphaZero是一种更好的国际象棋算法。媒体的反应是“天哪,通用AI来了。大家快跑!机器人来了!”而科学家们不是费心去纠正他们,而是鼓励他们使用更聪明的词语。毕竟,降低预期对VC融资没有帮助。

下一步是什么?

当然,并不是每一家使用“机器学习”或“人工智能”的公司实际上都在使用“深度学习”。一位优秀的数据科学家可能被雇来构建一个神经网络,但当他真正研究这个问题时,他会选择构建一个更适合的朴素贝叶斯分类器。对于那些已经成功地使用图像识别和语言处理的公司来说,他们将继续愉快地这样做。但我确实认为神经网络不会在其他问题空间取得进展。

上一个AI冬天对计算机科学的发展是毁灭性的。值得指出的是,这样的研究也产生了一些有用的东西,比如搜索算法,它可以有效地在国际象棋中获胜,或者用最小的成本解决交通问题。简单地说,创新的算法往往在某项特定任务上表现出色。

我想说的是,对于很多类型的问题,都有很多行之有效的解决方案。为了避免AI冬天,你能做的最好的事情就是把你试图解决的问题具体化,并理解它的本质。在此之后,寻找为特定问题提供解决方案的直观路径。比如,如果要对文本消息进行分类,可能需要使用朴素贝叶斯。如果要优化交通网络,可能应该使用离散优化。不管来自同行的压力有多大,你都可以带着适当的怀疑态度来处理复杂的模型,并质疑它是否是正确的方法。

希望这篇文章清楚地表明,深度学习对于大多数问题来说不是正确方法。不要为所有问题寻找一个通用AI解决方案,因为你找不到的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26153

    浏览量

    263716
  • 人工智能
    +关注

    关注

    1773

    文章

    43373

    浏览量

    230136
  • 深度学习
    +关注

    关注

    73

    文章

    5206

    浏览量

    119804

原文标题:历史总是在重演,AI寒冬或再来

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    2024全球与中国7nm智能座舱芯片行业总体规模、主要企业国内外市场占有率及排名

    智能座舱芯片行业发展不利因素分析 表 6:进入7nm智能座舱芯片行业壁垒 表 7:近三年7nm智能座舱芯片主要企业在国际市场占有率(按销量,2021-2024) 表 8: 20237nm智能座舱芯片
    发表于 03-16 14:52

    跨周期,创未来!华秋喜获中国产业互联网十周-杰出企业

    从互联网、到移动互联网,再到产业互联网,中国互联网发展已经有20多年,近十则是产业互联网迅猛发展的十
    发表于 01-04 11:57

    上海站报名启动! 2023开源产业生态大会OpenHarmony生态分论坛

    ,目标是面向全场景、全连接、全智能时代、基于开源的方式,搭建一个智能终端设备操作系统的框架和平台,促进万物互联产业的繁荣发展。 开源三年以来,OpenHarmony已成为智能终端领域发展
    发表于 11-24 14:55

    陈海波:OpenHarmony技术领先,产学研深度协同,生态蓬勃发展

    ;)项目群技术指导委员会(TSC)主办,由华为技术有限公司、江苏润开鸿数字科技有限公司、广东九联开鸿科技发展有限公司、软通动力信息技术(集团)股份有限公司、深圳开鸿数字
    发表于 11-06 14:35

    2023电子工程师大会暨第届社区年度颁奖

    升自己、深度了解电子技术产业很好机会! 时间:202311月23日(周四)09:00-18:00 地点:深圳 · 新一代产业园-2栋3
    发表于 10-26 16:21

    深度学习在语音识别中的应用及挑战

    一、引言 随着深度学习技术的快速发展,其在语音识别领域的应用也日益广泛。深度学习
    的头像 发表于 10-10 18:14 462次阅读

    《2023中国卫星导航与位置服务产业发展白皮书》发布, 北斗芯片受关注

    驱动力地鞭策下,持续创新、持续进步、持续超越,以北斗芯片研发践行国家科技创新战略。 随着“北斗+”和“+北斗”产业深度融合的蓬勃发展,时空信息服务需求深入千行百业,行业深化应用态
    发表于 09-11 09:35

    深度学习框架连接技术

    深度学习框架连接技术 深度学习框架是一个能够帮助机器学习和人工智能开发人员轻松进行模型训练、优化
    的头像 发表于 08-17 16:11 447次阅读

    什么是深度学习算法?深度学习算法的应用

    。 在深度学习中,使用了一些快速的算法,比如卷积神经网络以及深度神经网络,这些算法在大量数据处理和图像识别上面有着非常重要的作用。 深度学习
    的头像 发表于 08-17 16:03 1348次阅读

    华秋亮相2023世界汽车制造技术暨智能装备博览会,推动汽车产业快速发展

    洞悉全球汽车产业格局,前瞻业界未来趋势。20237月27日-30日,时隔三年,重聚武汉国际博览中心,2023世界汽车制造技术暨智能装备博览会盛大开幕。深耕汽车行业多年的世界汽车制造
    发表于 08-04 13:47

    又获知识产权授权!近三年来虹科知识产权授权量增长36%

    近日,虹科再次获得了三项知识产权授权,过去的十年中,虹科的知识产权通过率也一直保持着逐年增长的趋势,近三年的增长率达到36%。虹科知识产权逐年累增的核心在于——坚持人才保障和创新驱动。创新赋能发展
    的头像 发表于 07-31 22:21 376次阅读
    又获知识产权授权!<b class='flag-5'>近三年</b>来虹科知识产权授权量增长36%

    生态伙伴 | 华秋硬创联合长虹创投,共同打造更优生态系统

    投、基金管理、与双创孵化大业务,在成都、深圳均设有孵化基地,通过长虹跨境孵化器、深圳众创工场等平台开展产业孵化服务。近三年,长虹系基金共投资了超20个优质项目,累计投资金额6.6亿元,退出项目
    发表于 07-31 15:45

    企业游学进华秋,助力电子产业创新与发展

    正确的道路坚持下去,顺应行业大趋势,顺势而为,未来华秋一定会得到持续发展。 聚焦产业变化,寻找时代机遇 过去三年,新冠疫情、地缘政治、全球通胀等多重因素的影响下,中国的电子产业发生了巨
    发表于 07-31 11:48

    虹科荣誉丨又获知识产权授权!近三年来虹科知识产权授权量增长36%

    近日,虹科再次获得了三项知识产权授权,过去的十年中,虹科的知识产权通过率也一直保持着逐年增长的趋势,近三年的增长率达到36%。虹科知识产权逐年累增的核心在于——坚持人才保障和创新驱动。 创新赋能发展
    的头像 发表于 07-18 16:56 281次阅读
    虹科荣誉丨又获知识产权授权!<b class='flag-5'>近三年</b>来虹科知识产权授权量增长36%

    助力电子产业高质量发展,华秋在行动

    经历了三年会展低谷期后,随着展会逐步放开,积极参展依然是不少企业的优先选择。企业亟须更多的新品和亮眼的产品来引领市场的发展,展会带来的新产品也正是市场的“强心剂”。作为值得信赖的电子产业一站式服务
    发表于 03-30 18:21