0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google最强模型BERT出炉

电子工程师 来源:未知 作者:工程师李察 2018-10-27 10:37 次阅读

经过近几年的发展,深度学习给自然语言处理带来了很多新的变化,包括 Word2Vec、ELMO、OpenAI GPT、Glove、Fasttext 等主流模型也在这一端时间内涌现。直到最近 Google 发布的论文“ Pre-training of Deep Bidirectional Transformers for Language Understanding ”中提到的 BERT 模型又刷新了自然语言处理的 11 项记录。

在不少人看来,BERT 对自然语言处理的研究具有里程碑式的意义,至少在复旦大学计算机科学技术学院副教授邱锡鹏看来:“证明了一个非常深的模型可以显著提高 NLP 任务的准确率,而这个模型可以从无标记数据集中预训练得到。”

也正是因为如此,深度学习的不可解释性,在面对某个具体任务时进行迁移学习是十分困难的,相对而言,基于知识图谱的自然语言理解则是可解释性的,更加类似于人类思考过程的技术。BERT 的出现或将对提高知识图谱质量,并进一步提高自然语言处理的质量将非常有帮助。

于是,在以移动互联网为基础高速发展的背景之下,人们获取信息并进行传播的渠道越来越丰富、数据量也越来越巨大,如何更好地进行人机语言交互,让机器既能听懂又能学会迁移?如智能客服、对话机器人已作为主要落地方式被应用于电商、游戏、金融等场景。

今年7月,思必驰北京研发院首先提出了启发式对话系统的框架,通过话题路径规划和知识点推荐模型,实现信息传播和目标引导,可以帮助企业快速构建信息服务对话机器人,并能大幅提升关键信息的用户触达能力。

此外,自然语言处理还在搜索、推荐、翻译等文本类场景上有着更为广泛的落地,放在目前来看,如国外的 Facebook、微软必应等,国内的阿里、今日头条等不少门户类公司都有自己相对完备的搜索、推荐系统。

现在,CSDN 就为大家提供了这样一个机会,让你能够聆听以上公司在自然语言处理方面的最新技术实践,并有机会与它们的资深技术人员面对面交流。

2018 年 11 月 8-9 日,由中国 IT 社区 CSDN 与硅谷 AI 社区 AICamp 联合出品的 2018 AI 开发者大会(AI NEXTCon)将于北京召开。

本次大会设有“自然语言处理技术专场”,我们很荣幸邀请到在研究和工业界都极富盛名的一线技术专家们:思必驰北京研发院院长、公司副总裁 初敏、Facebook语音识别科学家 Baiyang Liu、字节跳动高级技术总监和杰出科学家 Xiaobing Liu、阿里巴巴智能服务事业部北京团队负责人 孙健、微软(亚洲)互联网工程院资深应用科学研发总监陈一宁。

下面重磅介绍自然语言处理技术专题的讲师团和他们的议题概要:

初敏:思必驰北京研发院院长、公司副总裁

演讲主题:启发式对话助力企业服务智能化

初敏博士毕业于中科院声学所,主要研究方向覆盖语音识别与合成、自然语言处理、机器学习和数据挖掘、大数据处理和计算等,在相关领域发表了近百篇学术论文并取得30多项国内外专利。

2000年,初敏博士加入微软亚洲研究院,从事科学研究近10年,创建并领导语音合成研究小组,研制出了第一个中英文双语语音合成系统“木兰”;2009年入职阿里云,承担过各种大数据应用项目。从2014开始,组建阿里iDST智能语音交互团队,在短短两年时间,完成语音交互全链路技术的研发和应用落地,他们的技术在淘宝客服、支付宝客服、Yun OS、手机支付宝、手机淘宝、钉钉等产品广泛应用;2017年加入思必驰,担任思必驰公司副总裁,组建思必驰北京研发院并担任院长,负责语音合成、自然语言处理等核心技术的研发,以及智能语音交互技术在企业服务智能化等新场景的产品研发和业务拓展。

Baiyang Liu:Facebook语音识别科学家

演讲议题:自然语言理解在Facebook的应用与实践

Baiyang Liu是Facebook语音识别研究科学家。自2015年初以来,他一直致力于建立众多支持Facebook AI产品的话语理解和对话系统。在此之前,Baiyang是亚马逊语音识别系统的早期机器学习工程师之一。他获得计算机科学博士学位,主攻计算机视觉领域。

Xiaobing Liu:字节跳动高级技术总监和杰出科学家

演讲议题:大规模深度学习和序列模型的研究及应用

Xiaobing Liu,自2014年起担任Google Brain Staff软件工程师和机器学习研究员。工作中,他专注于TensorFlow以及一些可以应用深度学习来改进Google产品的关键应用,如Google Ads、Google Play推荐、Google翻译、医学大脑等。他的研究兴趣从系统到应用机器学习如ASR、机器翻译、医学HER建模、推荐建模。他的研究成果已成功应用于雅虎、腾讯、Google的各类商业产品。他曾担任2017年ACL计划委员会和2017年AAAI会议主席,负责包括一些顶级会议的部分出版物。

孙 健:阿里巴巴智能服务事业部北京团队负责人

演讲议题:关于人机对话交互的反思、实践和未来展望

孙健,阿里巴巴智能服务事业部北京团队负责人。他主导的自然语言处理基础平台有力支撑和服务了淘宝搜索、阿里妈妈广告等核心业务,主导了阿里巴巴自然交互平台(Natural User Interface, NUI)的设计开发,NUI平台广泛应用于天猫魔盒、互联网汽车等各种设备中。目前他正带领团队打造面向全行业的企业智能服务对话机器人(云小蜜),从而让每一家企业/组织能够及时响应用户的需求,与用户进行7*24的自然交互。

陈一宁:微软(亚洲)互联网工程院资深应用科学研发总监

演讲议题:搜索中的自然语言先验知识

陈一宁是清华大学博士,主要研发方向涵盖语音识别与合成、自然语言处理、人工智能、大数据等方向,并在相关领域发表多篇论文并取得多项专利。2004年,陈一宁博士加入微软亚洲研究院,从事语音合成方面的研究。2009年加入阿里巴巴,负责多项算法工作,是神马搜索的共同创始人,并曾负责iDST智能语音方向的商业化。2017年加入微软互联网工程院,从事自然语言处理相关的研发工作。

除了语音技术专题之外,我们还为大家准备了“语音技术”、“机器学习工具”、“数据分析”、“机器学习”、“计算机视觉”、“知识图谱”等技术专题,以及“智慧金融”、“智能驾驶”、“智慧医疗”等行业峰会。大会完整日程以及嘉宾议题请查看下方海报。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1712

    浏览量

    56788
  • AI
    AI
    +关注

    关注

    87

    文章

    26410

    浏览量

    264016
  • 深度学习
    +关注

    关注

    73

    文章

    5235

    浏览量

    119893
收藏 人收藏

    评论

    相关推荐

    全球最强模型易主,GPT-4被超越

    近日,AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型,其中包括最强版Claude 3 Opus。据该公司称,Claude 3系列在推理、数学、编码、多语言理解和视觉方面全面超越了包括GPT-4在内的所有大型
    的头像 发表于 03-05 09:58 268次阅读

    谷歌模型训练软件有哪些功能和作用

    谷歌模型训练软件主要是指ELECTRA,这是一种新的预训练方法,源自谷歌AI。ELECTRA不仅拥有BERT的优势,而且在效率上更胜一筹。
    的头像 发表于 02-29 17:37 392次阅读

    谷歌发布最先进的开放模型Gemma

    Google,我们致力于让 AI 助力每个人。长期以来,我们对开放社区的创新贡献了许多成果,如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold
    的头像 发表于 02-23 10:12 255次阅读
    谷歌发布最先进的开放<b class='flag-5'>模型</b>Gemma

    谷歌发布全球最强开源大模型Gemma

    谷歌近日宣布,其全新开源大模型Gemma正式亮相。Gemma被誉为全球性能最强大、同时也是最轻量级的模型系列,分为2B(20亿参数)和7B(70亿)两种尺寸版本。令人瞩目的是,即便是2B版本,也能够在笔记本电脑上流畅运行。
    的头像 发表于 02-22 14:51 337次阅读

    模型与人类的注意力视角下参数规模扩大与指令微调对模型语言理解的作用

    近期的大语言模型(LLM)在自然语言理解和生成上展现出了接近人类的强大能力,远远优于先前的BERT等预训练模型(PLM)。
    的头像 发表于 01-04 14:06 153次阅读
    <b class='flag-5'>模型</b>与人类的注意力视角下参数规模扩大与指令微调对<b class='flag-5'>模型</b>语言理解的作用

    Google多模态大模型看后续大模型应该具备哪些能力

    前段时间Google推出Gemini多模态大模型,展示了不凡的对话能力和多模态能力,其表现究竟如何呢?
    的头像 发表于 12-28 11:19 472次阅读
    从<b class='flag-5'>Google</b>多模态大<b class='flag-5'>模型</b>看后续大<b class='flag-5'>模型</b>应该具备哪些能力

    大语言模型背后的Transformer,与CNN和RNN有何不同

    Google)研究团队提出,主要用于处理自然语言。 2018年10月,Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers
    的头像 发表于 12-25 08:36 1548次阅读
    大语言<b class='flag-5'>模型</b>背后的Transformer,与CNN和RNN有何不同

    基于BERT算法搭建一个问答搜索引擎

    鼎鼎大名的 Bert 算法相信大部分同学都听说过,它是Google推出的NLP领域“王炸级”预训练模型,其在NLP任务中刷新了多项记录,并取得state of the art的成绩。 但是有很多深度
    的头像 发表于 10-30 11:46 336次阅读
    基于<b class='flag-5'>BERT</b>算法搭建一个问答搜索引擎

    最强科普!深度解析华为云盘古大模型

    搭档完成复杂任务 预测台风路径降低灾害损失 帮助缩短药物研发周期 …… 此次发布有诸多新升级 更为客户提供了“开箱即用”的模型服务 简直就是一个AI大礼包! 一支视频为你深度解析盘古大模型硬实力! 你想了解的都在这儿 原文标题:最强
    的头像 发表于 07-14 15:20 1386次阅读

    如何部署ML模型Google云平台

    实践中的机器学习:在 Google 云平台上部署 ML 模型
    的头像 发表于 07-05 16:30 420次阅读
    如何部署ML<b class='flag-5'>模型</b>到<b class='flag-5'>Google</b>云平台

    Multi-CLS BERT:传统集成的有效替代方案

    在 GLUE 和 SuperGLUE 数据集上进行了实验,证明了 Multi-CLS BERT 在提高整体准确性和置信度估计方面的可靠性。它甚至能够在训练样本有限的情况下超越更大的 BERT 模型。最后还提供了 Multi-CL
    的头像 发表于 07-04 15:47 454次阅读
    Multi-CLS <b class='flag-5'>BERT</b>:传统集成的有效替代方案

    PyTorch教程-16.6. 针对序列级和令牌级应用程序微调 BERT

    和 MLPs。当存在空间或时间限制时,这些模型很有用,但是,为每个自然语言处理任务制作一个特定模型实际上是不可行的。在 15.8 节中,我们介绍了一种预训练模型 BERT,它需要对
    的头像 发表于 06-05 15:44 264次阅读
    PyTorch教程-16.6. 针对序列级和令牌级应用程序微调 <b class='flag-5'>BERT</b>

    PyTorch教程-15.9。预训练 BERT 的数据集

    实验室在 SageMaker Studio Lab 中打开笔记本 为了预训练第 15.8 节中实现的 BERT 模型,我们需要以理想的格式生成数据集,以促进两项预训练任务:掩码语言建模和下一句预测
    的头像 发表于 06-05 15:44 548次阅读

    PyTorch教程15.9之预训练BERT的数据集

    电子发烧友网站提供《PyTorch教程15.9之预训练BERT的数据集.pdf》资料免费下载
    发表于 06-05 11:06 0次下载
    PyTorch教程15.9之预训练<b class='flag-5'>BERT</b>的数据集

    PyTorch教程15.10之预训练BERT

    电子发烧友网站提供《PyTorch教程15.10之预训练BERT.pdf》资料免费下载
    发表于 06-05 10:53 0次下载
    PyTorch教程15.10之预训练<b class='flag-5'>BERT</b>