0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

三个研究小组在“破译”大脑语言密码上取得了一定进展

电子工程师 来源:lq 2019-01-16 11:42 次阅读

对于许多无法发出声音的人来说,他们想说的话会通过某种信号隐藏在大脑中。

人类无法直接破译这些信号。但是,最近有三个研究小组在“破译”这种大脑语言密码上取得了一定进展。

Science杂志最新报道了哥伦比亚大学(Columbia University)、德国不莱梅大学(Bremen)和加州大学旧金山分校的三个研究小组的相关研究:通过手术,他们在大脑上放置电极,搜集电极产生的数据,再将其通过计算机变成语音信息;接着通过神经网络模型,他们重建了在某些情况下,可以被人类听众所理解的单词和语句。

通过计算机让失去语言能力的人表达自己并不罕见,物理学家斯蒂芬·霍金在世时,就会通过拉紧他的脸颊肌肉,以触发安装在眼镜上的开关。对于经历中风或其他疾病失去说话能力的人,他们可以使用他们的眼睛或做出其他小幅动作用来控制光标或选择屏幕上的字母。

但是,如果脑机接口直接重塑语音,这样的患者可能会重新获得更多曾经丧失的能力:例如,控制音调变化,或者介入一个快速的对话。

研究该问题的道路困难重重。哥伦比亚大学(Columbia University)计算机科学家Nima Mesgarani说:“我们正试图找出在不同时间点打开与关闭神经元的模式,并由此推断语音内容。”“神经元间的映射并不浅显直白。”这些信号如何转换为语音声音因人而异,因此模型必须针对每个人进行独特“训练”。

这些模型将在非常精确的数据上表现最好——而搜集这些精准的数据需要打开我们的头盖骨。

研究人员只能在极少数情况下才会进行此类危险性记录:一种情况是在移除脑肿瘤期间,暴露在外的大脑产生的电读数能够帮助外科医生定位以避开关键的语音及运动区;另一种情况是在手术前为癫痫患者植入电极并保持数天以确定癫痫发作起因。

瑞士日内瓦大学神经工程师Stephanie Martin表示说,“我们最多只有20分钟,最多30分钟来收集数据——真的非常非常受限。”

新论文背后的研究组尽量最大化利用数据、将信息提供给神经网络;神经网络通过将信息传递到计算“节点”层来处理复杂的行为模式。网络通过调整节点之间的连接来学习。本实验则使用人类产生或听到的语音以及与此同时大脑活动的数据来训练神经网络。

Mesgarani的团队的研究使用了五名癫痫患者的数据。

随着病人们听到故事录音以及0至9数字录音,他们的神经网络同步分析其听觉皮层(该皮层在语音和听力过程中都很活跃)活动。随后计算机仅根据神经数据来重新生成数字。有一组听众会在计算机“说出”数字同时对其进行评估;其精确度大约为75%。

☟声音听起来有些可怕,

但是仔细听仍可以辨认出数字

基于人类听到口述数字时脑活动记录的电脑重建

由德国不莱梅大学(Bremen)计算机科学家Tanja Schultz领导的另一个团队使用了六名接受脑肿瘤手术的人的数据。

他们让被测试者朗读单音单词,用麦克风捕捉他们的声音。同时,大脑的语音规划区和运动区产生的电极会被记录下来(这些电极向声道发送命令以清楚地表达单词)。

现在正与马斯特里赫特大学(Maastricht)合作的计算机科学家Miguel Angrick和Christian Herff训练了一个将电极读数映射到录音然后从以前看不见的大脑数据中重建单词神经网络。根据一项计算机评分系统,大约40%的计算机生成单词是可以理解的。

最后,加州大学旧金山分校的神经外科医生Edward Chang和他的团队根据由三名癫痫患者大声朗读语音引起的、从语言及运动区域捕获的大脑活动,重建了整个句子。

在线上测试中,有166人听懂了其中一个句子,并从10项文字选项中进行选择。超过80%的情况下模型都能够正确识别句子。研究人员还进一步改进了模型:他们使用它根据人类的唇语来重新创建句子。Herff说,这是一项重要的结果——“离我们所有人都设想到的‘语言修复’更近了一步。”

然而,“我们真正想知道的是当患者不能说话时,(这些方法)将能够如何起作用”,加州圣地亚哥州立大学研究语言生成的神经科学家Stephanie Riès说。

一个人默默说话或在自己脑中听到自己声音时的信号,与真正说话或听到某些内容时产生的信号并不是完全相同的。如果没有外部声音来匹配大脑活动,计算机甚至可能连理清内部语音开始与结束位置这种任务都很难完成。

奥尔巴尼纽约州卫生部国家自适应神经技术中心的神经工程师Gerwin Schalk说,解码大脑中的演讲将需要“科学大跃进”:“根本不清楚如何做到这一点。”

Herff说,有一种可能的方法,是向大脑-计算机交互界面的用户提供反馈:如果他们能够实时听到计算机的语音解释,他们可能能够即时调整他们的想法以获得理想结果。

通过对用户和神经网络的充分训练,大脑和计算机可能最终能达成一致。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4539

    浏览量

    98440
  • 计算机
    +关注

    关注

    19

    文章

    6620

    浏览量

    84036

原文标题:人工智能读心术

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    上海微系统所在硅基磷化铟异质集成片上光源方面取得重要进展

    近日,中国科学院上海微系统与信息技术研究所异质集成XOI团队,在通讯波段硅基磷化铟异质集成激光器方面取得了重要进展
    的头像 发表于 03-15 09:44 153次阅读
    上海微系统所在硅基磷化铟异质集成片上光源方面<b class='flag-5'>取得</b>重要<b class='flag-5'>进展</b>

    智芯公司PCI-E密码取得国密局商用密码产品认证证书

    近日,智芯公司自主研发的PCI-E密码卡顺利通过国家密码管理局商用密码检测中心产品检测,取得商用密码产品认证证书,标志着智芯公司网络安全核心
    的头像 发表于 03-08 14:10 158次阅读
    智芯公司PCI-E<b class='flag-5'>密码</b>卡<b class='flag-5'>取得</b>国密局商用<b class='flag-5'>密码</b>产品认证证书

    【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B

    预训练语言模型。该模型最大的特点就是基于以较小的参数规模取得了优秀的性能,根据官网提供的信息,LLaMA的模型包含4版本,最小的只有70亿参数,最大的650亿参数,但是其性能相比较之前的OPT
    发表于 12-22 10:18

    酷派手机拥抱鸿蒙,成功展讯T606平台上接入OpenHarmony

    最新消息,酷派技术团队宣布已成功实现将 OpenHarmony 系统接入到展讯平台上,相信这是重要的里程碑,标志着推动 OpenHarmony 的发展环节取得了重要
    发表于 11-21 13:51

    射频功放的建模资料

    随着通信技术的发展,射频电路通信系统中得到了广泛的应用。功率放大器的研究和设计直是通信发展中的重要课题。近年来,基于模糊神经网络的射频器件和电路建模的研究
    发表于 09-22 07:22

    罗德与施瓦茨和紫光展锐IoT NTN方向上取得突破性进展

    罗德与施瓦茨(以下简称"R&S"公司)与紫光展锐合作,在基于紫光展锐5G NTN卫星通信芯片V8821上验证了业内首个IoT NTN射频一致性测试用例。这一成就标志着双方在NTN设备认证方面取得了突破性进展,也为NTN设备的成熟商用奠定了必要的基础。
    的头像 发表于 09-21 12:24 608次阅读
    罗德与施瓦茨和紫光展锐IoT NTN方向上<b class='flag-5'>取得</b>突破性<b class='flag-5'>进展</b>

    Gaudi Training系统介绍

    训练时都经过多次调整和更改,导致处理时间非常长,即使大规模多GPU系统也是如此。本文对培训过程作了进步的阐述。尽管近年来GPU硬件、网络架构和训练方法方面
    发表于 08-04 06:48

    深圳先进院在无创血糖监测研究方面取得进展

    近日,中国科学院深圳先进技术研究院生物医学与健康工程研究所微创中心研究员聂泽东团队,在基于生理信息的无创血糖监测技术方面取得进展。相关
    的头像 发表于 07-07 09:12 878次阅读
    深圳先进院在无创血糖监测<b class='flag-5'>研究</b>方面<b class='flag-5'>取得</b><b class='flag-5'>进展</b>

    In-Context-Learning在更大的语言模型上表现不同

    最近,在语言模型领域取得了巨大的进展,部分是因为它们可以通过In-Context- Learning ( ICL)来完 成各种复杂的任务。
    的头像 发表于 06-12 14:35 423次阅读
    In-Context-Learning在更大的<b class='flag-5'>语言</b>模型上表现不同

    分享农业科研新进展,智慧农业综合研究,掌握前沿知识

    关于智慧农业的综合研究,在安徽大学、悉尼大学、内布拉斯加大学、中国农业科学院、华南农业大学等机构的努力下,已经取得了一定进展,在智慧养殖、农业风险管理、水产养殖等方面获取了
    的头像 发表于 05-17 15:45 335次阅读

    高速可见光通信的前沿研究进展

    的通信容量,能够实现数据高速传输。为了进步提高可见光通信的传输速率,研究学者们从先进调制技术、数据预均衡和后均衡等方面进行了大量的研究,并取得了
    发表于 05-17 15:14

    如何让nodemcu触发一定的时间?

    嗨,有人可以发布链接到工作示例,说明我如何让我的 nodemcu(带有 4 继电器)触发一定
    发表于 05-15 06:16

    如何通过一个简单的方法来解锁大型语言模型的推理能力?

    近来NLP领域由于语言模型的发展取得了颠覆性的进展,扩大语言模型的规模带来了一系列的性能提升,然而单单是扩大模型规模对于一些具有挑战性的任务来说是不够的
    的头像 发表于 05-10 11:13 1411次阅读
    如何通过一个简单的方法来解锁大型<b class='flag-5'>语言</b>模型的推理能力?

    国产MCU有望未来成为行业领导者吗?

    ,并取得了一定的市场认可。而这些企业也不断地升级产品,提高性能,增强功能,以吸引更多的用户。 其次,国内的MCU产品质量逐步提高,通过了多项国际认证,并且有着很好的应用案例。例如,
    发表于 05-08 17:32

    形状感知零样本语义分割

    由于大规模视觉语言预训练取得了令人瞩目的进展,最近的识别模型可以以惊人的高准确度对任意对象进行零样本和开放式分类。
    的头像 发表于 04-28 11:26 495次阅读
    形状感知零样本语义分割