0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA发布Riva语音AI和大型LLM软件

星星科技指导员 来源:NVIDIA 作者:Siddharth Sharma 2022-04-01 16:27 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

NVIDIA 发布了 NVIDIA Riva 在语音人工智能方面的新突破, NVIDIA NeMo 在大规模语言建模( LLM )方面的新突破。 Riva 是一款 GPU 加速语音人工智能 SDK ,用于企业为其品牌和虚拟助手生成富有表现力的类人语音。 NeMo 是语音和 NLU 的加速培训框架,它现在有能力开发具有数万亿参数的大规模语言模型。

语音和语言人工智能的这些进步使企业和研究机构能够轻松构建针对其行业和领域定制的最先进的对话人工智能功能。

英伟达 Riva

NVIDIA 发布了一个具有定制语音功能的新版本,企业只需 30 分钟的语音数据即可轻松创建独特的语音来代表其品牌。

此外, NVIDIA 宣布了Riva Enterprise,这是一项付费计划,包括为需要大规模 Riva 部署的企业提供 NVIDIA 专家支持。 Riva 仍然免费提供给工作量较小的客户和合作伙伴。

亮点包括:

在 A100 上用一天 30 分钟的音频数据创建一个新的神经语音。

细粒度控件以生成富有表现力的声音。

A100 上的 Fastpitch + HiFiGAN 比 V100 上的 Tacotron2 + WaveGlow 性能高 12 倍。

支持五种其他语言的世界级语音识别

扩展到成百上千的实时流。

在任何云端、本地和边缘运行。

注册以接收有关 Riva Enterprise 的最新消息和更新,以进行大规模部署 》》

使用 Riva 开发应用程序

阅读此introductory post to了解 Riva 工作流中的组件。

接下来,按照本教程构建您自己的端到端语音识别服务:

Parthart: 1-EC6

Parthart: H2-Em7

Parthut: 3-ECEN-18

有关构建virtual assistants和transcription with entity recognition等语音应用程序的更多教程,请访问Riva Getting Started. 》》

NVIDIA NeMo Megatron 、 Triton 多 – GPU 多节点推理和 Megatron 530B

NVIDIA 还推出了为企业构建、定制和部署大型语言模型的功能。 NeMo Megatron 是 NeMo 框架中的一项新功能,用于培训多达数万亿个参数的大型语言模型( LLM )。

它包括Megatron方面的进步,这是一个由 NVIDIA 研究人员领导的开源项目,旨在开发有效培训法学硕士的技术。企业可以使用 NeMo Megatron 定制 LLM ,如 Megatron 530B ,并使用 NVIDIA Triton 推理服务器跨多个 GPU 和节点进行部署。

亮点包括:

在包含数十亿页文本的庞大数据集上自动化数据整理。

为新的域和语言培训Megatron 530B等模型。

从单节点扩展到超级计算机,包括数十个DGX A100系统。

导出到多个节点和 GPU s ,用于使用 NVIDIA Triton 推理服务器进行实时推理。

关于作者

Siddharth Sharma 是NVIDIA 加速计算的高级技术营销经理。在加入NVIDIA 之前, Siddharth 是 Mathworks Simulink 和 Stateflow 的产品营销经理,与汽车和航空航天公司密切合作,采用基于模型的设计来创建控制软件。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5496

    浏览量

    109095
  • 服务器
    +关注

    关注

    13

    文章

    10093

    浏览量

    90886
  • 人工智能
    +关注

    关注

    1813

    文章

    49741

    浏览量

    261549
  • LLM
    LLM
    +关注

    关注

    1

    文章

    340

    浏览量

    1257
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA宣布开源Aerial软件

    NVIDIA 开源其 Aerial 软件,并将 NVIDIA Sionna 研究套件和 Aerial 测试平台引入 NVIDIA DGX Spark 平台,为研究人员提供强大的工具和便
    的头像 发表于 11-03 15:14 573次阅读

    NVIDIA TensorRT LLM 1.0推理框架正式上线

    TensorRT LLM 作为 NVIDIA 为大规模 LLM 推理打造的推理框架,核心目标是突破 NVIDIA 平台上的推理性能瓶颈。为实现这一目标,其构建了多维度的核心实现路径:一
    的头像 发表于 10-21 11:04 756次阅读

    MediaTek携手NVIDIA开启个人AI算力新纪元

    Spark 助力开发者能在本地端对大型 AI 模型进行原型设计(Prototype)、微调(Fine-tune)和推理(Inference)。NVIDIA DGX Spark 将于 10 月 15 日上市,将驱动各产业迎来新一
    的头像 发表于 10-16 11:26 477次阅读

    Votee AI借助NVIDIA技术加速方言小语种LLM开发

    Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 数据处理软件、NeMo Framework 模型训练框架及 Auto Configurator 优化工具,高效构建
    的头像 发表于 08-20 14:21 650次阅读

    如何在魔搭社区使用TensorRT-LLM加速优化Qwen3系列模型推理部署

    TensorRT-LLM 作为 NVIDIA 专为 LLM 推理部署加速优化的开源库,可帮助开发者快速利用最新 LLM 完成应用原型验证与产品部署。
    的头像 发表于 07-04 14:38 1757次阅读

    使用NVIDIA Triton和TensorRT-LLM部署TTS应用的最佳实践

    针对基于 Diffusion 和 LLM 类别的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能显著提升推理速度。在单张 NVIDIA Ada Love
    的头像 发表于 06-12 15:37 1300次阅读
    使用<b class='flag-5'>NVIDIA</b> Triton和TensorRT-<b class='flag-5'>LLM</b>部署TTS应用的最佳实践

    LM Studio使用NVIDIA技术加速LLM性能

    随着 AI 使用场景不断扩展(从文档摘要到定制化软件代理),开发者和技术爱好者正在寻求以更 快、更灵活的方式来运行大语言模型(LLM)。
    的头像 发表于 06-06 15:14 779次阅读
    LM Studio使用<b class='flag-5'>NVIDIA</b>技术加速<b class='flag-5'>LLM</b>性能

    Cognizant将与NVIDIA合作部署神经人工智能平台,加速企业人工智能应用

    -Cognizant将与NVIDIA合作部署神经人工智能平台,加速企业人工智能应用 Cognizant将在关键增长领域提供解决方案,包括企业级AI智能体、定制化行业大型语言模型及搭载NVIDI
    的头像 发表于 03-26 14:42 578次阅读
    Cognizant将与<b class='flag-5'>NVIDIA</b>合作部署神经人工智能平台,加速企业人工智能应用

    Oracle 与 NVIDIA 合作助力企业加速代理式 AI 推理

    ——Oracle 和 NVIDIA 今日宣布,NVIDIA 加速计算和推理软件与 Oracle 的 AI 基础设施以及生成式 AI 服务首
    发表于 03-19 15:24 470次阅读
    Oracle 与 <b class='flag-5'>NVIDIA</b> 合作助力企业加速代理式 <b class='flag-5'>AI</b> 推理

    无法在OVMS上运行来自Meta的大型语言模型 (LLM),为什么?

    无法在 OVMS 上运行来自 Meta 的大型语言模型 (LLM),例如 LLaMa2。 从 OVMS GitHub* 存储库运行 llama_chat Python* Demo 时遇到错误。
    发表于 03-05 08:07

    NVIDIA发布全新NIM AI Guardrail微服务

    NVIDIA近期推出了一项旨在保障代理式AI应用安全性的重要技术——NIM AI Guardrail微服务。这一全新微服务是NVIDIA NeMo Guardrails
    的头像 发表于 01-18 11:48 1048次阅读

    NVIDIA 发布保障代理式 AI 应用安全的 NIM 微服务

    务是 NVIDIA NeMo Guardrails 软件工具系列的一部分。这些可移植且经过优化的推理微服务可帮助企业提高生成式 AI 应用的安全性、精准性
    发表于 01-17 16:29 282次阅读

    NVIDIA推出面向RTX AI PC的AI基础模型

    NVIDIA 今日发布能在 NVIDIA RTX AI PC 本地运行的基础模型,为数字人、内容创作、生产力和开发提供强大助力。
    的头像 发表于 01-08 11:01 870次阅读

    NVIDIA TensorRT-LLM中启用ReDrafter的一些变化

    Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术,该技术现在可与 NVIDIA TensorRT-LLM 一起使用。
    的头像 发表于 12-25 17:31 1236次阅读
    在<b class='flag-5'>NVIDIA</b> TensorRT-<b class='flag-5'>LLM</b>中启用ReDrafter的一些变化

    解锁NVIDIA TensorRT-LLM的卓越性能

    NVIDIA TensorRT-LLM 是一个专为优化大语言模型 (LLM) 推理而设计的库。它提供了多种先进的优化技术,包括自定义 Attention Kernel、Inflight
    的头像 发表于 12-17 17:47 1608次阅读