0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用TensorFlow开发的一款通用深度学习框架,侧重于针对语言相关任务的序列模型

Tensorflowers 来源:lp 2019-03-22 16:59 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

Lingvo 是国际性语言世界语中的一个单词,意为 “语言”。此名称寓指 Lingvo 框架的根基,即它是使用 TensorFlow 开发的一款通用深度学习框架,侧重于针对语言相关任务(例如机器翻译、语音识别和语音合成)的序列模型。

此框架在 Google 内部非常受欢迎,使用它的研究人员也越来越多。目前已发表 数十篇使用 Lingvo 获得顶尖成果的论文,未来还会有更多论文面世。Lingvo 支持多种架构,从传统的循环神经网络 (RNN) 序列模型到 Transformer 模型,再到包含变分自编码器 (VAE) 组件的模型,不一而足。为表示对研究社区的支持,同时鼓励可复现的研究工作,我们开源了此框架,并开始发布论文中使用的模型。

图 1:Lingvo 框架概览,简要展示了如何实例化和训练模型,以及如何将模型导出以进行评估和部署

在构建 Lingvo 时,我们秉持着协作研究的理念,通过在不同任务之间共享公共层的实现来提升代码复用率。此外,所有层都采用相同的公共界面,并且以相同的方式布局。这不仅可以产生更简洁易懂的代码,还能让您非常轻松地将其他开发者为其他任务所做的改进应用到您自己的任务上。执行这种一致性的确成本不菲,需要更多的规则和样板文件,但 Lingvo 会努力将成本降至最低,以确保在研究过程中更快地进行迭代。

协作的另一个方面是共享可复现的成果。Lingvo 提供一个集中的位置,用于存储检入的模型超参数配置。这不仅可以用来记录重要的实验,还能让其他研究者通过训练相同的模型,轻松复现您的成果。

虽然 Lingvo 最初的关注重点是 NLP,但它其实非常灵活,研究人员已经使用此框架成功实现了图像分割、点云分类等任务的模型。它还支持提炼、生成式对抗网络 (GAN) 和多任务模型。同时,此框架的速度并未因此而受到影响,它具有经优化的输入管道和快速分布式训练能力。最后,Lingvo 还将易于实现生产化也纳入考虑,它甚至有一条明确定义的路径,可以将模型移植到移动推理。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4842

    浏览量

    108168
  • 深度学习
    +关注

    关注

    73

    文章

    5607

    浏览量

    124625
  • tensorflow
    +关注

    关注

    13

    文章

    336

    浏览量

    62370

原文标题:Lingvo:TensorFlow 序列建模框架

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    LuatOS框架的使用(上)

    在资源受限的物联网终端设备中,如何实现快速开发与稳定运行是关键挑战。LuatOS框架通过将Lua语言与底层硬件抽象层深度融合,提供了套简洁
    的头像 发表于 01-27 19:38 351次阅读
    LuatOS<b class='flag-5'>框架</b>的使用(上)

    物联网新手小白,求前辈推荐一款学习开发

    我是新手小白,想自学物联网和人工智能技术,希望前辈们能推荐一款适合进行初级到中级知识学习、实验和项目开发开发板兼顾性价比,包括具体的品牌和型号。
    发表于 12-25 18:44

    VLA与世界模型有什么不同?

    [首发于智驾最前沿微信公众号]当前自动驾驶行业,各车企的技术路径普遍选择了单车智能方向。而在实际落地过程中,不同企业选择了差异化的技术实现方式,部分车企侧重于视觉—语言—动作模型(Vision
    的头像 发表于 12-17 09:13 869次阅读
    VLA与世界<b class='flag-5'>模型</b>有什么不同?

    摩尔线程新代大语言模型对齐框架URPO入选AAAI 2026

    近日,摩尔线程在人工智能前沿领域取得重要突破,其提出的新代大语言模型对齐框架——URPO统奖励与策略优化,
    的头像 发表于 11-17 16:03 602次阅读
    摩尔线程新<b class='flag-5'>一</b>代大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>对齐<b class='flag-5'>框架</b>URPO入选AAAI 2026

    SpeedDP和SmartDP有什么不同?

    SpeedDP和SmartDP是两个专注于计算机视觉模型生成与部署的专业软件平台,均基于YOLO系列算法架构,但在技术路径和适用场景上形成了显著互补。SpeedDP侧重于数据驱动的高性能模型定制
    的头像 发表于 09-09 17:57 987次阅读
    SpeedDP和SmartDP有什么不同?

    自动驾驶中Transformer大模型会取代深度学习吗?

    [首发于智驾最前沿微信公众号]近年来,随着ChatGPT、Claude、文心言等大语言模型在生成文本、对话交互等领域的惊艳表现,“Transformer架构是否正在取代传统深度
    的头像 发表于 08-13 09:15 4365次阅读
    自动驾驶中Transformer大<b class='flag-5'>模型</b>会取代<b class='flag-5'>深度</b><b class='flag-5'>学习</b>吗?

    超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.

    才能做好。 但是Neuton的推出,这个障碍现在已经不存在。 Neuton 是个自动生成ML 模型框架,其大小仅为TensorFlow Lite 等传统
    发表于 07-31 11:38

    不用UI也能开发NXP Time Series Studio(TSS)应用吗?起看下TSS命令行形式介绍

    基于AI的时间序列开发任务。实现从数据到模型的端到端流程,简化用户开发流程,以及针对于AI应用的
    的头像 发表于 07-10 14:41 2624次阅读
    不用UI也能<b class='flag-5'>开发</b>NXP Time Series Studio(TSS)应用吗?<b class='flag-5'>一</b>起看下TSS命令行形式介绍

    任正非说 AI已经确定是第四次工业革命 那么如何从容地加入进来呢?

    GitHub等平台上寻找感兴趣的AI开源项目。例如,可以参与些小型的深度学习框架改进项目,或者数据标注工具的开发项目。通过参与这些项目,可
    发表于 07-08 17:44

    Nordic收购 Neuton.AI 关于产品技术的分析

    Nordic Semiconductor 于 2025 年收购了 Neuton.AI,这是家专注于超小型机器学习(TinyML)解决方案的公司。 Neuton 开发种独特的神经网
    发表于 06-28 14:18

    UI开发概述

    使用UI开发框架开发应用时,主要涉及如下开发过程。开发者可以先通过第个入门实例了解整个应用的UI
    发表于 06-24 06:36

    ESP-Brookesia:融合 AI 大模型,全新代 GUI 开发与管理平台

    乐鑫信息科技(688018.SH)推出ESP-Brookesia——一款专为物联网设备打造、集成AI交互能力的UI开发与管理框架。ESP-Brookesia深度融合AI大
    的头像 发表于 06-05 18:08 1088次阅读
    ESP-Brookesia:融合 AI 大<b class='flag-5'>模型</b>,全新<b class='flag-5'>一</b>代 GUI <b class='flag-5'>开发</b>与管理平台

    AlphaEvolve:一款基于Gemini的编程Agent,用于设计高级算法

    构思创新理念。如今,Google 进步扩展这些能力,将其应用于解决数学基础领域和现代计算中高度复杂的难题。 AlphaEvolve 是一款由大语言模型驱动的进化式编程代理,致力于
    的头像 发表于 05-19 11:19 1900次阅读
    AlphaEvolve:<b class='flag-5'>一款</b>基于Gemini的编程Agent,用于设计高级算法

    小白学大模型:从零实现 LLM语言模型

    在当今人工智能领域,大型语言模型(LLM)的开发已经成为个热门话题。这些模型通过学习大量的文本
    的头像 发表于 04-30 18:34 1447次阅读
    小白学大<b class='flag-5'>模型</b>:从零实现 LLM<b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    模型时代的深度学习框架

    量是约为 25.63M,在ImageNet1K数据集上,使用单张消费类显卡 RTX-4090只需大约35~40个小时 ,即可完成ResNet50模型的预训练。在 大模型时代 ,由于大模型参数规模庞大,无法跟CNN时代的小
    的头像 发表于 04-25 11:43 961次阅读
    大<b class='flag-5'>模型</b>时代的<b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>框架</b>