侵权投诉

神经网络分析有助于提高人工智能系统的准确性

2017-12-12 16:52 次阅读

 

近期,来自麻省理工学院计算机科学人工智能实验室(CSAIL)和卡塔尔计算研究所的研究人员已经通过新的解释技术,来分析神经网络做机器翻译和语音识别的训练过程。

 

神经网络通过分析大量的训练数据来学习并执行任务,这是近期人工智能领域最令人印象深刻的进展,包括语音识别和自动翻译系统。

然而,在训练过程中,神经网络以甚至其创造者都无法解释的方式来不断调整其内部设置。计算机科学最近的许多工作都聚焦于千方百计的弄清楚神经网络的工作原理。

在最近的几篇论文,来自麻省理工学院计算机科学人工智能实验室(CSAIL)和卡塔尔计算研究所的研究人员已经使用了新开发的解释技术,来分析神经网络做机器翻译和语音识别的训练过程,该新技术已被应用于其他领域。

他们对神经网络的工作原理有了基本认知。例如,这些系统似乎专注于较低级别的任务,如声音识别或部分语音识别,然后再转到更高级别的任务,如转录或语义解释。

但是研究人员也发现了翻译网络处理数据类型的一个惊人的遗漏,他们指出纠正这种遗漏会提高网络的性能。这种改进是适度的,但它指出了对神经网络的分析可能有助于提高人工智能系统的准确性。

“从历史角度看,在机器翻译里,有一个具有不同层次的金字塔,” CSAIL一位高级研究科学家说。这位科学家在是麻省理工学院电气工程和计算机科学的毕业生,曾参与Yonatan Belinkov项目。”在最低层有文字,表层形式,金字塔的顶层是一种语际表示,在做语法和语义时会达到不同的层次。这是一个非常抽象的概念,意思是你在金字塔中爬得越高,就越容易翻译成一种新的语言,然后你就再往下走。所以Yonata所做的部分工作是找出在神经网络中这种概念的会是什么样的编码。”

分层处理

神经网络之所以得名,是因为它们大致接近人脑的结构。通常,它们被分层,每个层由许多简单的处理单元节点组成,每个节点都连接到上面和下面的层中的几个节点。数据被送入最低层,其节点处理它并将其传递给下一层。层之间的连接具有不同的“权重”,它决定了任何一个节点的输出转化到到下一个节点的计算量是多少。

在训练过程中,节点之间的权重不断调整。在网络被训练后,它的创建者可以确定所有连接的权重,但有成千上万个甚至多个节点,甚至它们之间有更多的连接,推断出这些权重编码的算法几乎是不可能的。

麻省理工和卡塔尔计算研究所研究人员的技术包括训练一个神经网络和使用它的每一层的输出,通过个别的培训案例,培养其他的神经网络来执行特定的任务。这使他们能够确定每个层优化的任务是什么。

在语音识别网络的案例中,Belinkov和Glass使用的单个层输出训练系统识别“语音”,区别于口语的发音单元。例如,“T”的发音在“Tea”“Tree”和“But”,是不同的,但语音识别系统已经把他们都用字母“T”转录。事实上,Belinkov和Glass发现,低层次的网络比高层次网络语言识别能力更强。在那里,可能区别是不重要的。

同样的,Glass, Belinkov和他们卡塔尔计算研究所的同事于去年夏天在语言协会年度大会上发布的文章表明,机器翻译网络的低层善于识别词类和形态,比如时态、数字和共轭。

语义理解

但是在新的论文中,他们表明网络的更高层次在语义标注方面更好。Belinkov解释说,一部分语音标签,能认识到“herself”是一个代词,但这个代词的语义的意义,在句子“she bought the book herself”和“she herself bought the book”是不同的。语义标注会分配不同的标签,给这两句话中的“herself“,就像一个机器翻译系统可能在一个给定的目标语言为它们找到不同的翻译。

最好的机器翻译系统使用所谓的编码解码模式,和麻省理工和卡塔尔计算研究所研究人员的神经网络一样。在这样的系统中,源语言中的输入经过几个被称为编码器的网络层来产生一个向量,一组数字代表某种输入的语义内容。该向量通过多个网络层的解码器来产生目标语言中的译文。

虽然编码器和解码器在一起训练,但它们可以被认为是独立的网络。研究人员发现,奇怪的是,编码器的低层善于区分形态,但解码器的更高层不是。所以Belinkov和卡塔尔计算研究所研究人员在训练网络时,不仅仅根据翻译的准确性,也根据目标语言中的形态分析来判定性能。从本质上讲,他们迫使解码器更好地区分形态。

使用这种技术,他们培训网络将英语翻译成德语,发现其精度提高3%。这不是一个革命性的进步,但这表明,探寻神经网络的本质可能不仅仅是一项学术活动。

 

原文标题:人类将可能操控AI?神经网络语言处理工作原理被破解

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

大量高科技设备和技术的应用,在此次抗击疫情中发挥了重要作用

“全国两会的召开,我认为是一个标志性事件,那就是我们国家的经济、社会、生活正逐步回归正常。”黄立认为....
的头像 MEMS 发表于 06-01 14:44 77次 阅读
大量高科技设备和技术的应用,在此次抗击疫情中发挥了重要作用

康泰瑞影重新定义超声图像增强功能

为了满足不断变化的用户需求和偏好,Rivent针对不同应用领域超声系统开发方面提供了巨大的灵活性、定....
发表于 06-01 14:29 14次 阅读
康泰瑞影重新定义超声图像增强功能

微软使用人工智能来取代在MSN的工作者

据《西雅图时报》报道,多名知情人士近日证实,微软将不再与数十家在MSN工作的新闻制作承包商续签合同,....
发表于 06-01 11:31 35次 阅读
微软使用人工智能来取代在MSN的工作者

用人工智能来共建数字经济基础设施

今年两会期间,“新基建”“人工智能”持续火热。国务院总理李克强在《政府工作报告》中明确指出,加强新型....
发表于 06-01 11:28 58次 阅读
用人工智能来共建数字经济基础设施

索尼宣布即将发布两款智能视觉传感器:IMX500和IMX501

物联网的普及导致各种各样的设备都将连接到“云”,并且从这些设备获取的信息可通过云AI处理,这使得云信....
的头像 MEMS 发表于 06-01 11:03 252次 阅读
索尼宣布即将发布两款智能视觉传感器:IMX500和IMX501

如何使用卷积神经网络实现电站锅炉燃烧效率建模的方法详细说明

针对电站锅炉燃烧效率经典建模方法精度较低的问题,提出了一种基于卷积神经网络(CNN)的新型建模方法。....
发表于 06-01 08:00 5次 阅读
如何使用卷积神经网络实现电站锅炉燃烧效率建模的方法详细说明

什么是“可解释的”? 可解释性AI不能解释什么

通过建立既可解释又准确的模型来改良这种错误的二分法。关键是将神经网络与决策树相结合,在使用神经网络进....
发表于 05-31 10:51 141次 阅读
什么是“可解释的”? 可解释性AI不能解释什么

什么是机器学习问题 普适逼近定理介绍

神经网络也有同样的现象。 这是一个巨大的问题,而通用逼近定理给我们关于如何克服这一问题的绝对零提示。
发表于 05-31 10:42 82次 阅读
什么是机器学习问题 普适逼近定理介绍

使用计算机视觉和人工智能来识别X射线中的病毒

 克兰菲尔德大学的学生设计了可以识别X射线中的计算机模型。
发表于 05-31 10:28 29次 阅读
使用计算机视觉和人工智能来识别X射线中的病毒

Facebook如何使用人工智能来创建市场

Facebook正在集成一种称为通用产品识别模型的新AI软件,该软件可以自动识别要出售给Facebo....
发表于 05-31 10:26 39次 阅读
Facebook如何使用人工智能来创建市场

医疗穿刺采血机器人研发助力医院实现全自动化验检

哈工智能是国内聚焦于高端智能装备制造和人工智能机器人的高科技上市公司,聚焦于高端智能装备制造和人工智....
发表于 05-30 09:15 70次 阅读
医疗穿刺采血机器人研发助力医院实现全自动化验检

智能制造在工厂已经悄然行动

随着机器人等自动化技术的不断进步,越来越越多的企业利用大数据分析提升业务和绩效。预计,未来商品价格可....
发表于 05-29 16:35 101次 阅读
智能制造在工厂已经悄然行动

高耐久低成本的NRAM是如何铸就的?

Nantero公司已经花费了将近20年的时间来研究NRAM,该技术基于排列在交叉点电极之间的薄层中的....
的头像 富士通电子 发表于 05-29 15:13 651次 阅读
高耐久低成本的NRAM是如何铸就的?

百度飞桨深度学习平台携手IC设计领导厂商MediaTek

百度飞桨是自主研发、开源开放、功能最完备的产业级深度学习平台,集深度学习核心框架、基础模型库、端到端....
的头像 联发科技 发表于 05-29 14:59 378次 阅读
百度飞桨深度学习平台携手IC设计领导厂商MediaTek

人工智能在市场营销中有哪些挑战

拥抱AI为营销带来的新机遇是每家企业必须要做的事情,以在2020年及以后保持竞争力。无论如何,由于A....
发表于 05-29 11:09 89次 阅读
人工智能在市场营销中有哪些挑战

使用计算机视觉和人工智能来识别X射线中的计算机模型

这些模型使用计算机视觉和人工智能(AI)分析胸部X射线图像。它可以对肉眼通常无法识别的信息进行分类,....
发表于 05-29 11:07 60次 阅读
使用计算机视觉和人工智能来识别X射线中的计算机模型

如何推动人工智能更好地发展

人工智能一直是近年来全国两会的热点话题。人工智能对就业有哪些影响?如何推动人工智能更好地发展?今年全....
发表于 05-29 11:04 75次 阅读
如何推动人工智能更好地发展

贸泽电子备货Fortebit Speech语音识别和汽车物联网器件

EasyVR 3 Plus是一款多功能语音识别模块。通过它,设计人员可以轻松地将通用、强大、高性价比....
发表于 05-29 10:46 184次 阅读
贸泽电子备货Fortebit Speech语音识别和汽车物联网器件

AI高速扫描机器人实现投产,是否与直线马达有关

近几年,随着科技地不断发展,作为科技发展产物的人工智能,也越来越多地进入并改变着我们的日常工作状态。....
发表于 05-29 08:04 60次 阅读
AI高速扫描机器人实现投产,是否与直线马达有关

智慧医疗的未来及发展趋势

传统医疗模式向大健康模式转变还需要一个过程,但未来已不远。政策:智慧医疗被列入《新一代人工智能发展规....
发表于 05-28 16:55 452次 阅读
智慧医疗的未来及发展趋势

大彩串口屏在智能档案柜上面的应用

二、产品优势 1. 智能档案柜集手动、电动、电脑控制于一体,操作方便、移动平稳、安全可靠。2. 采用红外感应方式对仓位的状态进行...
发表于 05-28 16:19 92次 阅读
大彩串口屏在智能档案柜上面的应用

英国五个技术中心致力于使用AI来加快疾病诊断和改善

遍布英国的五个技术中心致力于使用AI来加快疾病诊断和改善患者预后。
发表于 05-28 10:28 72次 阅读
英国五个技术中心致力于使用AI来加快疾病诊断和改善

人工智能通过监控水处理系统来保护公共健康

事实证明,人工智能(AI)在整个医疗领域都很有价值-从帮助放射科医生筛查疾病到预测手术过程中的困难。....
发表于 05-28 10:23 186次 阅读
人工智能通过监控水处理系统来保护公共健康

人机对抗机器识别技术进入人工智能

人工智能(AI)系统在两轮比赛中击败了由15位2-0的医生组成的团队,该比赛着眼于诊断脑肿瘤和预测脑....
发表于 05-28 10:20 48次 阅读
人机对抗机器识别技术进入人工智能

人工智能技术对传统工业制造的影响

涉及机器视觉、图像处理、模式识别/机器学习等相关人工智能技术。配合传感器或机器人等不同的载体,计算机....
发表于 05-28 10:18 65次 阅读
人工智能技术对传统工业制造的影响

随着AI技术的发展,下一波人工智能将会更加强大

人工智能是一个涵盖图像识别、自然语言处理(NLP)和机器人等多方面维度的广泛领域。
发表于 05-28 09:25 78次 阅读
随着AI技术的发展,下一波人工智能将会更加强大

如何使用增量式GHSOM神经网络模型实现入侵检测的研究

传统的网络入侵检测方法利用已知类型的攻击样本以离线的方式训练入侵检测模型,虽然对已知攻击类型具有较高....
发表于 05-28 08:00 17次 阅读
如何使用增量式GHSOM神经网络模型实现入侵检测的研究

智能控制技术第二版PDF电子书免费下载

智能控制作为控制理论发展的第三个发展阶段,是人工智能、认知科学、模糊数学、生物控制论、学习理论等在控....
发表于 05-28 08:00 42次 阅读
智能控制技术第二版PDF电子书免费下载

Spectrum仪器推出用于智能道路雷达探测的数字化仪

自主学习道路基础设施将为降低道路事故提供早期预警 德国汉斯多尔夫,2020年5月27日讯德国的道路上....
的头像 电子观察说 发表于 05-27 14:04 144次 阅读
Spectrum仪器推出用于智能道路雷达探测的数字化仪

2020 人工智能卓越创新奖,请为Xilinx打call

赛灵思: FPGA、可编程 SoC,以及 ACAP 自适应计算加速的发明者,“致力于打造灵活应变,万....
的头像 人间烟火123 发表于 05-27 11:38 458次 阅读
2020 人工智能卓越创新奖,请为Xilinx打call

8月 2020宝安产业发展博览会(”宝博会“)来了

2020年第5届宝安产业发展博览会(简称宝博会)将于8月6-8日在深圳国际会展中心(宝安区)隆重举办....
的头像 科技新思路 发表于 05-27 10:39 364次 阅读
8月 2020宝安产业发展博览会(”宝博会“)来了

人工智能是新基建中最重要的投资发展领域之一

在全国政协委员刘伟看来,政府工作报告中关于“新型基础设施”的阐述让他备受鼓舞。“政府工作报告中提出‘....
发表于 05-26 15:14 94次 阅读
人工智能是新基建中最重要的投资发展领域之一

人工智能如何增强工业4.0

随着AI从现实生活变成现实世界,成为世界变化技术的前沿,迫切需要系统开发和实施AI,以了解其对下一代....
发表于 05-26 11:05 247次 阅读
人工智能如何增强工业4.0

新的人工智能诊断程序可以预测是否感染新冠肺炎

英美科学家携手开发出一种人工智能(AI)诊断工具,可以根据症状预测某人是否可能感染新冠肺炎,相关研究....
发表于 05-26 09:28 280次 阅读
新的人工智能诊断程序可以预测是否感染新冠肺炎

5G技术对数据中心的运营到底有什么影响

如果有人询问5G技术对数据中心的运营有什么影响,那么就像询问如何抵御自然灾害一样。其答案是取决于具体....
发表于 05-26 08:00 54次 阅读
5G技术对数据中心的运营到底有什么影响

北京科技大学的人工智能视频教程免费下载

本文档的主要内容详细介绍的是北京科技大学的人工智能视频教程免费下载。
发表于 05-25 16:21 35次 阅读
北京科技大学的人工智能视频教程免费下载

人工智能的龙头品牌有哪些

21世纪是一个智能时代,在我们的家居生活里面是离不开水龙头的,虽然水龙头很小看起来也不起眼,但是少了....
发表于 05-25 11:14 144次 阅读
人工智能的龙头品牌有哪些

人工智能电视有什么优势

 从这个概念来看,人工智能电视具有语言识别、图像识别、自然语言处理和专家系统等,相比普通智能电视,人....
发表于 05-25 11:13 76次 阅读
人工智能电视有什么优势

物联网和人工智能这对组合的应用盘点

工智能可以协同控制房屋温度。无论您想要什么温度,都可以通过智能设备来控制(智能设备内置人工智能控制的....
发表于 05-25 11:12 137次 阅读
物联网和人工智能这对组合的应用盘点

延迟和指令呈现百度人工智能交互设计院的最新研究

有屏智能设备的多维对话:延迟和指令呈现  百度人工智能交互设计院最新研究...
发表于 05-25 09:46 33次 阅读
延迟和指令呈现百度人工智能交互设计院的最新研究

卷积神经网络体系设计的理论实现

卷积神经网络,简称CNN,常用于视觉图像分析的深度学习的人工神经网络。形象地来说,这些网络结构就是由....
的头像 Wildesbeast 发表于 05-24 10:11 568次 阅读
卷积神经网络体系设计的理论实现

神经网络的DBN与GAN及RNN等形象的详细资料讲解

2006年,神经网络之父Geoffrey Hinton祭出神器深度信念网络,一举解决了深层神经网络的....
的头像 Wildesbeast 发表于 05-24 09:19 485次 阅读
神经网络的DBN与GAN及RNN等形象的详细资料讲解

AI机器人助攻 BMW自动化工厂再升级

BMW日前宣布,将采用NVIDIA的Isaac机器人平台,透过搭载人工智能(AI)运算和视觉化技术的....
发表于 05-23 10:16 126次 阅读
AI机器人助攻 BMW自动化工厂再升级

NVIDIA 公布2021财年Q1财报:收入达30.8亿美元,较去年同期增长39%

截至2020年4月26日的第一季度收入达30.8亿美元,较去年同期的22.2亿美元增长39%,较上一....
的头像 人间烟火123 发表于 05-23 09:15 1616次 阅读
NVIDIA 公布2021财年Q1财报:收入达30.8亿美元,较去年同期增长39%

卷积神经网络—深度卷积网络:实例探究及学习总结

《深度学习工程师-吴恩达》03卷积神经网络—深度卷积网络:实例探究 学习总结...
发表于 05-22 17:15 58次 阅读
卷积神经网络—深度卷积网络:实例探究及学习总结

人工智能技术在生物识别中的应用

人工智能技术的发展,针对数字社会人与人之间、人与机器之间如何建立“信任”关系,提供了一个很好的技术解....
发表于 05-22 11:23 133次 阅读
人工智能技术在生物识别中的应用

人工智能有望推动智能经济的发展

从中央密集部署,到地方积极响应;从企业主动投资,到资本市场热捧……2020年新基建站上时代风口。今年....
发表于 05-22 11:20 123次 阅读
人工智能有望推动智能经济的发展

AI工具发现了三种可用于预测COVID-19重症的迹象

尽管大多数新冠病毒感染案例停留在在轻度或中度,但有些人直至恢复都没能表现出 COVID-19 的任何....
发表于 05-22 09:29 388次 阅读
AI工具发现了三种可用于预测COVID-19重症的迹象

发力新基建 华为为新基建打造强大引擎

在中国,每天有350万工人在生产线上靠目视来检测产品质量。通过运用5G、云和人工智能,产品质量的检测....
的头像 inr999 发表于 05-21 18:10 1133次 阅读
发力新基建 华为为新基建打造强大引擎

behold.ai的基于AI的胸部X射线解决方案已获得CE认证

 “这对于公司以及我们的质量领导者团队,人工智能工程师和临床医生团队来说都是一个伟大的成果,他们多年....
的头像 倩倩 发表于 05-21 10:52 435次 阅读
behold.ai的基于AI的胸部X射线解决方案已获得CE认证

AI可以帮助皮肤科医生更准确地诊断许多皮肤疾病和失调

正如《研究皮肤病学杂志》(Journal of Investigative Dermatology)....
的头像 倩倩 发表于 05-21 10:22 343次 阅读
AI可以帮助皮肤科医生更准确地诊断许多皮肤疾病和失调

Google已经推出了17种语言的免费培训课程

 新的培训课程由JournalismAI与VRT新闻和Google新闻倡议(GNI)合作制作。他们意....
的头像 倩倩 发表于 05-21 10:08 360次 阅读
Google已经推出了17种语言的免费培训课程

人人都能懂的机器学习算法原理教程免费下载

算法公式挺费神,机器学习太伤人。任何一个刚入门机器学习的人都会被复杂的公式和晦涩难懂的术语吓到。但其....
发表于 05-21 08:00 53次 阅读
人人都能懂的机器学习算法原理教程免费下载

如何使用人工智能来发挥传感器数据的协同作用

人工智能(AI)目前正在为社会的方方面面带来革新。比如,通过结合数据挖掘和深度学习的优势,如今可以利用人工智能来分析各种...
发表于 05-19 08:13 197次 阅读
如何使用人工智能来发挥传感器数据的协同作用

电路设计行业未来将会转为人工智能

现在的社会正慢慢转向人工智能和电路的方向,而不是纯粹的电路设计。 未来,有可能超市不需要服务员,仅仅需要部分理货人员。 ...
发表于 05-18 15:51 240次 阅读
电路设计行业未来将会转为人工智能

人工智能、机器学习、数据挖掘有什么区别

人工智能、机器学习、数据挖掘的区别
发表于 05-14 16:02 71次 阅读
人工智能、机器学习、数据挖掘有什么区别

卷积神经网络的优点是什么

卷积神经网络的优点
发表于 05-05 18:12 41次 阅读
卷积神经网络的优点是什么

反馈神经网络算法是什么

反馈神经网络算法
发表于 04-28 08:36 47次 阅读
反馈神经网络算法是什么

无位置传感器无刷直流电机驱动怎么样?

在这个控制系统里的电动势估计神经网络模型有7个输入层,14个中间层,和两个输出层。神经网络被离线训练后来处参考速度和的负载的...
发表于 04-20 07:52 124次 阅读
无位置传感器无刷直流电机驱动怎么样?

RPA与人工智能的相连

RPA与人工智能
发表于 04-13 09:23 131次 阅读
RPA与人工智能的相连