0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google最强模型BERT出炉

电子工程师 来源:未知 作者:工程师李察 2018-10-27 10:37 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

经过近几年的发展,深度学习给自然语言处理带来了很多新的变化,包括 Word2Vec、ELMO、OpenAI GPT、Glove、Fasttext 等主流模型也在这一端时间内涌现。直到最近 Google 发布的论文“ Pre-training of Deep Bidirectional Transformers for Language Understanding ”中提到的 BERT 模型又刷新了自然语言处理的 11 项记录。

在不少人看来,BERT 对自然语言处理的研究具有里程碑式的意义,至少在复旦大学计算机科学技术学院副教授邱锡鹏看来:“证明了一个非常深的模型可以显著提高 NLP 任务的准确率,而这个模型可以从无标记数据集中预训练得到。”

也正是因为如此,深度学习的不可解释性,在面对某个具体任务时进行迁移学习是十分困难的,相对而言,基于知识图谱的自然语言理解则是可解释性的,更加类似于人类思考过程的技术。BERT 的出现或将对提高知识图谱质量,并进一步提高自然语言处理的质量将非常有帮助。

于是,在以移动互联网为基础高速发展的背景之下,人们获取信息并进行传播的渠道越来越丰富、数据量也越来越巨大,如何更好地进行人机语言交互,让机器既能听懂又能学会迁移?如智能客服、对话机器人已作为主要落地方式被应用于电商、游戏、金融等场景。

今年7月,思必驰北京研发院首先提出了启发式对话系统的框架,通过话题路径规划和知识点推荐模型,实现信息传播和目标引导,可以帮助企业快速构建信息服务对话机器人,并能大幅提升关键信息的用户触达能力。

此外,自然语言处理还在搜索、推荐、翻译等文本类场景上有着更为广泛的落地,放在目前来看,如国外的 Facebook、微软必应等,国内的阿里、今日头条等不少门户类公司都有自己相对完备的搜索、推荐系统。

现在,CSDN 就为大家提供了这样一个机会,让你能够聆听以上公司在自然语言处理方面的最新技术实践,并有机会与它们的资深技术人员面对面交流。

2018 年 11 月 8-9 日,由中国 IT 社区 CSDN 与硅谷 AI 社区 AICamp 联合出品的 2018 AI 开发者大会(AI NEXTCon)将于北京召开。

本次大会设有“自然语言处理技术专场”,我们很荣幸邀请到在研究和工业界都极富盛名的一线技术专家们:思必驰北京研发院院长、公司副总裁 初敏、Facebook语音识别科学家 Baiyang Liu、字节跳动高级技术总监和杰出科学家 Xiaobing Liu、阿里巴巴智能服务事业部北京团队负责人 孙健、微软(亚洲)互联网工程院资深应用科学研发总监陈一宁。

下面重磅介绍自然语言处理技术专题的讲师团和他们的议题概要:

初敏:思必驰北京研发院院长、公司副总裁

演讲主题:启发式对话助力企业服务智能化

初敏博士毕业于中科院声学所,主要研究方向覆盖语音识别与合成、自然语言处理、机器学习和数据挖掘、大数据处理和计算等,在相关领域发表了近百篇学术论文并取得30多项国内外专利。

2000年,初敏博士加入微软亚洲研究院,从事科学研究近10年,创建并领导语音合成研究小组,研制出了第一个中英文双语语音合成系统“木兰”;2009年入职阿里云,承担过各种大数据应用项目。从2014开始,组建阿里iDST智能语音交互团队,在短短两年时间,完成语音交互全链路技术的研发和应用落地,他们的技术在淘宝客服、支付宝客服、Yun OS、手机支付宝、手机淘宝、钉钉等产品广泛应用;2017年加入思必驰,担任思必驰公司副总裁,组建思必驰北京研发院并担任院长,负责语音合成、自然语言处理等核心技术的研发,以及智能语音交互技术在企业服务智能化等新场景的产品研发和业务拓展。

Baiyang Liu:Facebook语音识别科学家

演讲议题:自然语言理解在Facebook的应用与实践

Baiyang Liu是Facebook语音识别研究科学家。自2015年初以来,他一直致力于建立众多支持Facebook AI产品的话语理解和对话系统。在此之前,Baiyang是亚马逊语音识别系统的早期机器学习工程师之一。他获得计算机科学博士学位,主攻计算机视觉领域。

Xiaobing Liu:字节跳动高级技术总监和杰出科学家

演讲议题:大规模深度学习和序列模型的研究及应用

Xiaobing Liu,自2014年起担任Google Brain Staff软件工程师和机器学习研究员。工作中,他专注于TensorFlow以及一些可以应用深度学习来改进Google产品的关键应用,如Google Ads、Google Play推荐、Google翻译、医学大脑等。他的研究兴趣从系统到应用机器学习如ASR、机器翻译、医学HER建模、推荐建模。他的研究成果已成功应用于雅虎、腾讯、Google的各类商业产品。他曾担任2017年ACL计划委员会和2017年AAAI会议主席,负责包括一些顶级会议的部分出版物。

孙 健:阿里巴巴智能服务事业部北京团队负责人

演讲议题:关于人机对话交互的反思、实践和未来展望

孙健,阿里巴巴智能服务事业部北京团队负责人。他主导的自然语言处理基础平台有力支撑和服务了淘宝搜索、阿里妈妈广告等核心业务,主导了阿里巴巴自然交互平台(Natural User Interface, NUI)的设计开发,NUI平台广泛应用于天猫魔盒、互联网汽车等各种设备中。目前他正带领团队打造面向全行业的企业智能服务对话机器人(云小蜜),从而让每一家企业/组织能够及时响应用户的需求,与用户进行7*24的自然交互。

陈一宁:微软(亚洲)互联网工程院资深应用科学研发总监

演讲议题:搜索中的自然语言先验知识

陈一宁是清华大学博士,主要研发方向涵盖语音识别与合成、自然语言处理、人工智能、大数据等方向,并在相关领域发表多篇论文并取得多项专利。2004年,陈一宁博士加入微软亚洲研究院,从事语音合成方面的研究。2009年加入阿里巴巴,负责多项算法工作,是神马搜索的共同创始人,并曾负责iDST智能语音方向的商业化。2017年加入微软互联网工程院,从事自然语言处理相关的研发工作。

除了语音技术专题之外,我们还为大家准备了“语音技术”、“机器学习工具”、“数据分析”、“机器学习”、“计算机视觉”、“知识图谱”等技术专题,以及“智慧金融”、“智能驾驶”、“智慧医疗”等行业峰会。大会完整日程以及嘉宾议题请查看下方海报。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1819

    浏览量

    60693
  • AI
    AI
    +关注

    关注

    91

    文章

    41964

    浏览量

    303059
  • 深度学习
    +关注

    关注

    73

    文章

    5614

    浏览量

    124748
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    阿里巴巴正式发布全新一代千问旗舰模型Qwen3.7-Max

    、DeepSeek-v4-pro、GLM-5.1等一众国产对手,与GPT、Claude、Gemini等国际最强模型水平接近,强势位列国产模型第一。
    的头像 发表于 05-21 09:10 598次阅读

    Google为Gemma 4系列发布MTP草稿模型

    上个月,我们推出了 Gemma 4 —— 我们迄今为止最强大的开放模型。在发布之初的短短几周内,Gemma 4 的全球下载量便突破了 6,000 万次。它为开发者工作站、移动设备以及云端环境带来
    的头像 发表于 05-20 14:43 340次阅读
    <b class='flag-5'>Google</b>为Gemma 4系列发布MTP草稿<b class='flag-5'>模型</b>

    零基础手写大模型资料2026

    的梯度按比例缩放,确保训练过程平稳。例如在BERT训练中,全局梯度范数超过阈值时,会统一乘以阈值/范数进行裁剪。 3. 分布式训练:突破单机限制 当模型参数超过单机内存时,需采用数据并行或模型并行
    发表于 05-01 17:44

    Cadence 与 Google 合作,利用 ChipStack AI Super Agent 在 Google Cloud 上扩展 AI 驱动的芯片设计

    Cadence ChipStack AI Super Agent 集成 Google Gemini 模型,加速新一代代理驱动型设计自动化 Cadence近日宣布与 Google Cloud 达成战略
    的头像 发表于 04-24 13:22 228次阅读

    Cadence与Google合作,利用ChipStack AI Super Agent在Google Cloud上扩展AI驱动的芯片设计

    Cadence ChipStack AI Super Agent 集成 Google Gemini 模型,加速新一代代理驱动型设计自动化 中国上海,2026 年 4 月 24 日 —— 半导体与系统
    的头像 发表于 04-24 10:36 2366次阅读

    华宝新能2025年专利成绩单出炉

    华宝新能2025年度专利成绩单新鲜出炉!创新实力再上新台阶,硬核 buff 叠满!
    的头像 发表于 04-22 10:53 511次阅读

    Google正式推出最新开放模型Gemma 4

    今天,我们正式推出 Gemma 4 —— 这是我们迄今为止最智能的开放模型。Gemma 4 专为高级推理和智能体 (Agentic) 工作流而设计,实现了单位参数下前所未有的智能水平。这一突破性进展
    的头像 发表于 04-08 10:06 711次阅读
    <b class='flag-5'>Google</b>正式推出最新开放<b class='flag-5'>模型</b>Gemma 4

    NVIDIA与Google探讨AI模型的演进方向

    在 GTC 会场,观众座无虚席,两位计算领域最具影响力的领导人物,NVIDIA 首席科学家 Bill Dally,以及 Google DeepMind 与 Google Research 首席科学家 Jeff Dean 登台对话。他们的工作深刻塑造了大规模机器学习的发展轨
    的头像 发表于 04-03 10:03 569次阅读

    昆仑万维天工AI大模型SkyReels V4登上Artificial Analysis榜单全球第一

    Google Veo 3.1、Vidu Q3、OpenAI Sora 2等全球主流模型,成为全球AI视频生成能力最强的大模型,标志中国AI视频生成技术实现世界级引领。
    的头像 发表于 03-26 10:10 1175次阅读

    借助Google MedGemma系列模型打造下一代医疗应用

    人工智能在医疗保健领域的应用正在急速增长,其行业的 AI 采用率已达到整体经济领域的两倍。为了助力这一变革,Google 于去年通过 Health AI Developer Foundations (HAI-DEF) 计划发布了 MedGemma 系列开放医疗生成式 AI 模型
    的头像 发表于 02-25 10:52 746次阅读

    谷歌查找我的设备配件(Google Find My Device Accessory)详解和应用

    谷歌查找我的设备配件(Google Find My Device Accessory)介绍 谷歌查找我的设备配件是与谷歌 “查找我的设备” 应用程序配合使用的配件,旨在帮助用户更方便地追踪和定位个人
    发表于 08-31 21:10

    Google Cloud展示一系列前沿技术更新

    在 2025 Google 谷歌开发者大会上,Google Cloud 展示了一系列前沿技术更新——不仅是模型升级,更是智能体、创意、行业应用的全面进化。这些前沿技术,正为出海开发者提供强大的技术支撑,助力他们打造面向全球用户的
    的头像 发表于 08-29 09:38 1396次阅读

    Google Fast Pair服务简介

    Google Fast Pair 是一项利用低功耗蓝牙(Bluetooth LE)技术,实现设备间快速安全配对及提供多种服务的协议。其主要功能包括: 设备处于配对模式时,显示半页通知,便于用户进行
    发表于 06-29 19:28

    商汤科技日日新V6大模型斩获“双料第一” 一项国内榜首,一个全球第一

    卫冕“双冠”! 通用语言能力并列国内榜首、多模态能力全球最强,商汤「日日新V6」近期斩获“双料第一”。 5月28日,权威大模型测评机构SuperCLUE《中文大模型基准测评2025年5月报告》全新
    的头像 发表于 05-30 11:13 1798次阅读
    商汤科技日日新V6大<b class='flag-5'>模型</b>斩获“双料第一” 一项国内榜首,一个全球第一

    2025 Google I/O大会演讲亮点回顾

    在今年的 Google I/O 大会上,我们展示了如何在 Google 的各个平台进行应用构建,并利用 Google DeepMind 的卓越 AI 模型实现创新,大展拳脚。以下是开发
    的头像 发表于 05-28 09:34 1121次阅读