0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用TensorFlow开发的一款通用深度学习框架,侧重于针对语言相关任务的序列模型

Tensorflowers 来源:lp 2019-03-22 16:59 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

Lingvo 是国际性语言世界语中的一个单词,意为 “语言”。此名称寓指 Lingvo 框架的根基,即它是使用 TensorFlow 开发的一款通用深度学习框架,侧重于针对语言相关任务(例如机器翻译、语音识别和语音合成)的序列模型。

此框架在 Google 内部非常受欢迎,使用它的研究人员也越来越多。目前已发表 数十篇使用 Lingvo 获得顶尖成果的论文,未来还会有更多论文面世。Lingvo 支持多种架构,从传统的循环神经网络 (RNN) 序列模型到 Transformer 模型,再到包含变分自编码器 (VAE) 组件的模型,不一而足。为表示对研究社区的支持,同时鼓励可复现的研究工作,我们开源了此框架,并开始发布论文中使用的模型。

图 1:Lingvo 框架概览,简要展示了如何实例化和训练模型,以及如何将模型导出以进行评估和部署

在构建 Lingvo 时,我们秉持着协作研究的理念,通过在不同任务之间共享公共层的实现来提升代码复用率。此外,所有层都采用相同的公共界面,并且以相同的方式布局。这不仅可以产生更简洁易懂的代码,还能让您非常轻松地将其他开发者为其他任务所做的改进应用到您自己的任务上。执行这种一致性的确成本不菲,需要更多的规则和样板文件,但 Lingvo 会努力将成本降至最低,以确保在研究过程中更快地进行迭代。

协作的另一个方面是共享可复现的成果。Lingvo 提供一个集中的位置,用于存储检入的模型超参数配置。这不仅可以用来记录重要的实验,还能让其他研究者通过训练相同的模型,轻松复现您的成果。

虽然 Lingvo 最初的关注重点是 NLP,但它其实非常灵活,研究人员已经使用此框架成功实现了图像分割、点云分类等任务的模型。它还支持提炼、生成式对抗网络 (GAN) 和多任务模型。同时,此框架的速度并未因此而受到影响,它具有经优化的输入管道和快速分布式训练能力。最后,Lingvo 还将易于实现生产化也纳入考虑,它甚至有一条明确定义的路径,可以将模型移植到移动推理。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4829

    浏览量

    106820
  • 深度学习
    +关注

    关注

    73

    文章

    5591

    浏览量

    123921
  • tensorflow
    +关注

    关注

    13

    文章

    331

    浏览量

    61858

原文标题:Lingvo:TensorFlow 序列建模框架

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    摩尔线程新代大语言模型对齐框架URPO入选AAAI 2026

    近日,摩尔线程在人工智能前沿领域取得重要突破,其提出的新代大语言模型对齐框架——URPO统奖励与策略优化,
    的头像 发表于 11-17 16:03 239次阅读
    摩尔线程新<b class='flag-5'>一</b>代大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>对齐<b class='flag-5'>框架</b>URPO入选AAAI 2026

    自动驾驶中Transformer大模型会取代深度学习吗?

    [首发于智驾最前沿微信公众号]近年来,随着ChatGPT、Claude、文心言等大语言模型在生成文本、对话交互等领域的惊艳表现,“Transformer架构是否正在取代传统深度
    的头像 发表于 08-13 09:15 3928次阅读
    自动驾驶中Transformer大<b class='flag-5'>模型</b>会取代<b class='flag-5'>深度</b><b class='flag-5'>学习</b>吗?

    超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.

    才能做好。 但是Neuton的推出,这个障碍现在已经不存在。 Neuton 是个自动生成ML 模型框架,其大小仅为TensorFlow Lite 等传统
    发表于 07-31 11:38

    不用UI也能开发NXP Time Series Studio(TSS)应用吗?起看下TSS命令行形式介绍

    基于AI的时间序列开发任务。实现从数据到模型的端到端流程,简化用户开发流程,以及针对于AI应用的
    的头像 发表于 07-10 14:41 2241次阅读
    不用UI也能<b class='flag-5'>开发</b>NXP Time Series Studio(TSS)应用吗?<b class='flag-5'>一</b>起看下TSS命令行形式介绍

    任正非说 AI已经确定是第四次工业革命 那么如何从容地加入进来呢?

    GitHub等平台上寻找感兴趣的AI开源项目。例如,可以参与些小型的深度学习框架改进项目,或者数据标注工具的开发项目。通过参与这些项目,可
    发表于 07-08 17:44

    ESP-Brookesia:融合 AI 大模型,全新代 GUI 开发与管理平台

    乐鑫信息科技(688018.SH)推出ESP-Brookesia——一款专为物联网设备打造、集成AI交互能力的UI开发与管理框架。ESP-Brookesia深度融合AI大
    的头像 发表于 06-05 18:08 761次阅读
    ESP-Brookesia:融合 AI 大<b class='flag-5'>模型</b>,全新<b class='flag-5'>一</b>代 GUI <b class='flag-5'>开发</b>与管理平台

    小白学大模型:从零实现 LLM语言模型

    在当今人工智能领域,大型语言模型(LLM)的开发已经成为个热门话题。这些模型通过学习大量的文本
    的头像 发表于 04-30 18:34 1068次阅读
    小白学大<b class='flag-5'>模型</b>:从零实现 LLM<b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    模型时代的深度学习框架

    量是约为 25.63M,在ImageNet1K数据集上,使用单张消费类显卡 RTX-4090只需大约35~40个小时 ,即可完成ResNet50模型的预训练。在 大模型时代 ,由于大模型参数规模庞大,无法跟CNN时代的小
    的头像 发表于 04-25 11:43 665次阅读
    大<b class='flag-5'>模型</b>时代的<b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>框架</b>

    百度飞桨框架3.0正式版发布

    、推理等任务都离不开深度学习框架的优化与支撑。 飞桨框架3.0,从设计理念上实现了从底层硬件适配到顶层
    的头像 发表于 04-02 19:03 1046次阅读
    百度飞桨<b class='flag-5'>框架</b>3.0正式版发布

    用树莓派搞深度学习TensorFlow启动!

    介绍本页面将指导您在搭载64位Bullseye操作系统的RaspberryPi4上安装TensorFlowTensorFlow个专为深度学习
    的头像 发表于 03-25 09:33 974次阅读
    用树莓派搞<b class='flag-5'>深度</b><b class='flag-5'>学习</b>?<b class='flag-5'>TensorFlow</b>启动!

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    DeepSeek-V3 和 DeepSeek-R1 是深度求索公司(DeepSeek)推出的两个不同定位的大模型,其核心差异主要体现在目标场景、能力侧重和技术优化方向上。以下是二者的实质性
    发表于 02-14 02:08

    新品| LLM630 Compute Kit,AI 大语言模型推理开发平台

    LLM630LLM推理,视觉识别,可开发,灵活扩展···LLM630ComputeKit是一款AI大语言模型推理开发平台,专为边缘计算和智能
    的头像 发表于 01-17 18:48 1211次阅读
    新品| LLM630 Compute Kit,AI 大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>推理<b class='flag-5'>开发</b>平台

    【「基于大模型的RAG应用开发与优化」阅读体验】+大模型微调技术解读

    今天学习<基于大模型的RAG应用开发与优化>这本书。大模型微调是深度学习领域中的
    发表于 01-14 16:51

    Triton编译器在机器学习中的应用

    多种深度学习框架,如TensorFlow、PyTorch、ONNX等,使得开发者能够轻松地将不同框架
    的头像 发表于 12-24 18:13 1639次阅读

    AI大语言模型开发步骤

    开发个高效、准确的大语言模型个复杂且多阶段的过程,涉及数据收集与预处理、模型架构设计、训练
    的头像 发表于 12-19 11:29 1226次阅读