0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google:将AI 应用到语言翻译上,进而弥平语言不通的问题

yrlT_lianggezhi 2018-01-29 14:28 次阅读

Google 的使命是汇集全球资讯,并且让所有人都能使用这些资讯,不过要能理解各式资讯,最困难的就是语言隔阂,因此在东京举办#MadeWithAI 亚太区媒体活动请来了Google 语言研究计画总经理Linne Ha 来谈谈怎么将AI 应用到语言翻译上,进而弥平语言不通的问题。

受惠于智慧型手机的普及,网路人口在最近这几年高速成长,不过网路上有接近50% 的内容仍是以英文为主,对于非以英文为母语的人来说,想要获得资料就多了一道门槛,能让每个人自在的用自己的原生语言在网路上搜集或提供资料是Google 的目标,因此在推动语言翻译或发展上Google 做了非常多的努力。

▲Google语言研究计画总经理Linne Ha。

推动各种语言上网,统一码(Unicode)是重点

不同语言要能在网路上流动,最重要的就是该语言要能被阅读,若是出现乱码或空白文字就容易成为阅读或理解的障碍,因此Google 长期和统一码(Unicode)联盟合作,鼓励更多国家利用统一码的编码系统上网,例如Google 大力鼓励缅甸不要再使用非统一码的字型。

有了统一码这项文字系统后,电脑文字编码就有了一套标准,下一个挑战就是要确保自行能正确地被转为网路或手机上的文字,去年Google 推出开放的Noto 字型,可以支援800 种语言、11 亿个文字,可呈现各式各样的文字。

但这样还不够,虽然文字能呈现,但却不是每个人都知道如何输入文字,因此除了Gboard 提供300 多种键盘、 97 种手写系统、语音输入等方法让使用者可以依照自己方便的方式来输入文字。

在开发手写系统上,Google 也花了一番心力,由于每个人的字迹都不同,因此Google 导入人工智慧技术,搜集很多自愿者的手写范本,让机器学习来辨认文字和书写风格,进而达到更精确的手写辨识。语音输入方面则是透过GOOG-411 的服务来搜集语音资料,类似我们的查号台,当有人打电话进去问问题查电话,GOOG-411 就会帮忙转接,在这样的过程中Google 建立了大量的语音资料库范本,英文语音搜集还算满顺利的。不过其他语言就没这么容易了,虽然说Google 有和专门经营文字和语音资料库的业者合作,但有些语言本身的资料库就较少,例如广东话,因此Google 又开启了下一阶段的任务。

语音搜寻实验,搜集准确的语音资料

既然缺乏语音资料,Google 就开始想方法来搜集各种语言的语音讯息,比方说2010 年Google 推出了荷兰语的Word of Mouth 计画,提供参与实验的使用者手机来搜集他们和亲友间的对话样本,进而得到准确的语音资料。

有了语音资料之后下个问题则是口音和俗语,关于这方面的资料目前Google 仍正在努力发展中,不过经过过去这么长一段时间的努力,到2012 年之后,语音搜寻已可支援到50 种语言,Google 也导入了深度神经网路提升语音辨识的准确性,今年则再新增30 多种的语音输入,甚至包含了非洲两种主要语言,斯瓦希里语(Swahili)和阿姆哈拉语(Amharic),对于弥平语言隔阂来说,这是一个重要的里程碑。

怎么将机器学习应用在语音服务上

既然有了机器学习这项技术,也就意味着Google 能透过演算以及建构更有效的模型来解决语音辨识问题。

Google 这回用了一个超级低成本的预算(2000 美金)来增加孟加拉语的文字转语音服务,首先先准备一套麦克风、USB 转接器和前置声音放大器,并建立一组便携式的录音工作室「ChitChat」让实验者可以录音。

工具有了,下一步就是找来15 名孟加拉的Googler,录制了2000 多个从维基百科撷取出来的孟加拉语和英语,实验者每隔30 分钟至60 分钟就录制250 多个句子,平衡的混音成几个不同的声音后,再交给Google 社群投票看看大家最偏好哪一个声音,最终产出的声学模型刚好就可以代表平均型的人声,成功推出了孟加拉语的文字转语音服务。

除了把更多语言放到网路上,Google 也着手发展方言领域,像是英文就分成美式英文、英式英文、澳洲英文等等,最近Google 正着手处理新加坡式英语,另外,西班牙语、阿拉伯语也是Google 努力的方向。

Google 的中文语音什么时候会有更多突破?

至于***人最常用的中文呢?Google 语言研究计画总经理Linne Ha 不讳言,中文真的是很有挑战的语言,比方说中国人说着中文、写着简体中文,***人说也说着中文、但写的是繁体中文,香港人写的也是繁体中文、不过说的是广东话,繁体中文、简体中文、广东话间各有连结但又不尽相似。

过去Google 是使用「单一语言模式」来处理,比方说***人说的中文就套用繁体中文资料库,香港人说广东话则套用另外一个繁体中文资料库,但这样的语音辨识效果发展有限,近期Google 尝试着将相近的语言加进同一个模型中,目前的实验结果还不错。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1699

    浏览量

    56754
  • AI
    AI
    +关注

    关注

    87

    文章

    26142

    浏览量

    263716
  • 语言
    +关注

    关注

    1

    文章

    97

    浏览量

    24027

原文标题:【Google 谈人工智慧】有了机器学习后,语言还会是隔阂吗

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Stability AI发布Stable Code Instruct 3B大语言模型,可编译多种编程语言

    据报道,Stability AI公司近期推出了适配程序员使用的Stable Code Instruct 3B大语言模型,此款模型的显著特点是能够实现编程语言间的自如切换。
    的头像 发表于 03-27 10:04 53次阅读

    vb语言和c++语言的区别

    VB语言和C++语言是两种不同的编程语言,虽然它们都属于高级编程语言,但在设计和用途上有很多区别。下面将详细比较VB语言和C++
    的头像 发表于 02-01 10:20 428次阅读

    自然语言处理的研究内容

    多模态 NLP:NLP 正在与计算机视觉融合,允许 AI 将文本和图像一起处理以获得更丰富的理解。 3. 对话式AI:聊天机器人和虚拟助手正变得越来越对话,使人与AI的交互更加流畅和自然。 4.
    的头像 发表于 01-18 16:39 142次阅读

    基于机器翻译增加的跨语言机器阅读理解算法

    近日,阿里云人工智能平台 PAI 与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议 EMNLP2023 上发表基于机器翻译增加的跨语言机器阅读理解算法 X
    的头像 发表于 12-12 10:28 328次阅读
    基于机器<b class='flag-5'>翻译</b>增加的跨<b class='flag-5'>语言</b>机器阅读理解算法

    语言模型简介:基于大语言模型模型全家桶Amazon Bedrock

    本文基于亚马逊云科技推出的大语言模型与生成式AI的全家桶:Bedrock对大语言模型进行介绍。大语言模型指的是具有数十亿参数(B+)的预训练语言
    的头像 发表于 12-04 15:51 366次阅读

    如何将大模型应用到效能评估系统中去

    维度对应用数据进行评估,从而对应用的效能产生评估,进而获得量化评估应用的效能水平的总分数。 智慧华盛恒辉效能评估系统将大模型应用到效能评估系统中是一项具有挑战性的任务。首先,我们需要考虑到大模型可能会占用大量
    的头像 发表于 09-27 16:16 255次阅读

    沐曦首次将AI超分成功应用到3D模型领域

    算力,结合眸瑞科技丰富的算法库资源和先进的AI超分算法,首次将AI超分成功应用到了3D模型领域,实力打造自主可控、安全可信的国产软硬件一体化解决方案,为企业单位和专业创作者提供一个安全可靠的一站式全新三维开发生态。 “贴图超分”
    的头像 发表于 09-06 14:11 568次阅读

    自然语言处理和人工智能的区别

      自然语言处理(Natural Language Processing,NLP)是人工智能(AI)中的一个分支,它利用计算机技术对自然语言进行处理,使得电脑能够理解和操作人类语言。自
    发表于 08-28 17:32 818次阅读

    人工智能语言是什么

    AI语言可以分为两类:一类是面向专业人士的AI语言,如Python、R、Matlab等,这些语言在科学研究、数据分析、机器学习等领域具有着广
    的头像 发表于 08-13 10:33 2207次阅读

    Phrase正在推动语言技术变革

    Phrase正在推动语言技术变革,助力企业拓展全球业务,帮您触达更多受众并建立深入联系,进而推动业务增长。借助功能全面的产品套件,获取您所需的全部翻译工具。
    的头像 发表于 08-09 16:31 383次阅读
    Phrase正在推动<b class='flag-5'>语言</b>技术变革

    自然语言处理包括哪些内容 自然语言处理技术包括哪些

    (Speech Synthesis):将计算机生成的文本转换为人类语言。 机器翻译(Machine Translation):将一种语言翻译成另一种
    的头像 发表于 08-03 16:22 3487次阅读

    Go语言简介和安装方法

    Go 又称 Golang ,是 Google 的 Robert Griesemer,Rob Pike 及 Ken Thompson 开发的一种静态强类型、编译型语言。Go 语言语法与 C 相近,但功能上有:内存安全,GC(垃圾回
    发表于 07-19 16:33 396次阅读

    大型语言模型的应用

       大型语言模型(LLM) 是一种深度学习算法,可以通过大规模数据集训练来学习识别、总结、翻译、预测和生成文本及其他内容。大语言模型(LLM)代表着 AI 领域的重大进步,并有望通过
    的头像 发表于 07-05 10:27 1498次阅读

    关于编程语言开发技术和AI的部分

    。本文主要介绍关于开发技术和 AI 的部分。 最流行编程语言 JavaScript 连续 11 年成为最流行编程语言,Python 取代 SQL 成为第三大流行编程语言。其他编程
    的头像 发表于 06-26 09:45 314次阅读
    关于编程<b class='flag-5'>语言</b>开发技术和<b class='flag-5'>AI</b>的部分

    语言模型的多语言机器翻译能力分析

    以ChatGPT为代表的大语言模型(Large Language Models, LLM)在机器翻译(Machine Translation, MT)任务上展现出了惊人的潜力。
    的头像 发表于 05-17 09:56 917次阅读
    大<b class='flag-5'>语言</b>模型的多<b class='flag-5'>语言</b>机器<b class='flag-5'>翻译</b>能力分析