0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

利用 NVIDIA Jetson 实现生成式 AI

NVIDIA英伟达 来源:未知 2023-11-07 21:25 次阅读

近日,NVIDIA 发布了 Jetson 生成式 AI 实验室(Jetson Generative AI Lab),使开发者能够通过 NVIDIA Jetson 边缘设备在现实世界中探索生成式 AI 的无限可能性。不同于其他嵌入式平台,Jetson 能够在本地运行大语言模型(LLM)、视觉 Transformer 和 stable diffusion,包括在 Jetson AGX Orin 上以交互速率运行的 Llama-2-70B 模型。

wKgZomVKO9uARD1rAAEX6RZYLcQ926.jpg

图 1. 领先的生成式 AI 模型在

Jetson AGX Orin 上的推理性能

如要在 Jetson 上快速测试最新的模型和应用,请使用 Jetson 生成式 AI 实验室提供的教程和资源。现在,您可以专注于发掘生成式 AI 在物理世界中尚未被开发的潜力。

本文将探讨可以在 Jetson 设备上运行和体验到的振奋人心的生成式 AI 应用,所有这些也都在实验室的教程中予以了说明。

边缘生成式 AI

在快速发展的 AI 领域,生成式模型和以下模型备受关注:

  • 能够参与仿照人类对话的 LLM。

  • 使 LLM 能够通过摄像机感知和理解现实世界的视觉语言模型(VLM)。

  • 可将简单的文字指令转换成惊艳图像的扩散模型。

这些在 AI 领域的巨大进步激发了许多人的想象力。但是,如果您去深入了解支持这种前沿模型推理的基础架构,就会发现它们往往被“拴”在云端,依赖其数据中心的处理能力。这种以云为中心的方法使得某些需要高带宽、低延迟的数据处理的边缘应用在很大程度上得不到开发。

视频 1. NVIDIA Jetson Orin 为边缘带来强大的生成式 AI 模型

在本地环境中运行 LLM 和其他生成式模型这一新趋势正在开发者社群中日益盛行。蓬勃发展的在线社区为爱好者提供了一个讨论生成式 AI 技术最新进展及其实际应用的平台,如 Reddit 上的 r/LocalLlama。在 Medium 等平台上发表的大量技术文章深入探讨了在本地设置中运行开源 LLM 的复杂性,其中一些文章提到了利用 NVIDIA Jetson。

Jetson 生成式 AI 实验室是发现最新生成式 AI 模型和应用,以及学习如何在 Jetson 设备上运行它们的中心。随着该领域快速发展,几乎每天都有新的 LLM 出现,并且量化程序库的发展也在一夜之间重塑了基准,NVIDIA 认识到了提供最新信息和有效工具的重要性。因此我们提供简单易学的教程和预构建容器。

而实现这一切的是 jetson-containers,一个精心设计和维护的开源项目,旨为 Jetson 设备构建容器。该项目使用 GitHub Actions,以 CI/CD 的方式构建了 100 个容器。这些容器使您能够在 Jetson 上快速测试最新的 AI 模型、程序库和应用,无需繁琐地配置底层工具和程序库。

通过 Jetson 生成式 AI 实验室和 jetson-containers,您可以集中精力使用 Jetson 探索生成式 AI 在现实世界中的无限可能性。

演示

以下是一些振奋人心的生成式 AI 应用,它们在 Jetson 生成式 AI 实验室所提供的 NVIDIA Jetson 设备上运行。

stable-diffusion-webui

wKgZomVKO9uAFjpQAB6-4qyjh1k756.gif

图 2. Stable Diffusion 界面

A1111 的 stable-diffusion-webui 为 Stability AI 发布的 Stable Diffusion 提供了一个用户友好界面。您可以使用它执行许多任务,包括:

  • 文本-图像转换:根据文本指令生成图像。

  • 图像-图像转换:根据输入图像和相应的文本指令生成图像。

  • 图像修复:对输入图像中缺失或被遮挡的部分进行填充。

  • 图像扩展:扩展输入图像的原有边界。

网络应用会在首次启动时自动下载 Stable Diffusion v1.5 模型,因此您可以立即开始生成图像。如果您有一台 Jetson Orin 设备,就可以按照教程说明执行以下命令,非常简单。

git clone https://github.com/dusty-nv/jetson-containers
cd jetson-containers
./run.sh$(./autotagstable-diffusion-webui)

有关运行 stable-diffusion-webui 的更多信息,参见 Jetson 生成式 AI 实验室教程。Jetson AGX Orin 还能运行较新的 Stable Diffusion XL(SDXL)模型,本文开头的主题图片就是使用该模型生成的。

text-generation-webui

wKgZomVKO9yANroxAAdIysar7b8049.gif

图 3. 在 Jetson AGX Orin与 Llama-2-13B 互动聊天

Oobabooga 的 text-generation-webui 也是一个基于 Gradio、可在本地环境中运行 LLM 的常用网络接口。虽然官方资源库提供了各平台的一键安装程序,但 jetson-containers 提供了一种更简单的方法。

通过该界面,您可以轻松地从 Hugging Face 模型资源库下载模型。根据经验,在 4 位量化情况下,Jetson Orin Nano 一般可容纳 70 亿参数模型,Jetson Orin NX 16GB 可运行 130 亿参数模型,而 Jetson AGX Orin 64GB 可运行惊人的 700 亿参数模型。

现在很多人都在研究 Llama-2。这个 Meta 的开源大语言模型可免费用于研究和商业用途。在训练基于 Llama-2 的模型时,还使用了监督微调(SFT)和人类反馈强化学习(RLHF)等技术。有些人甚至声称它在某些基准测试中超过了 GPT-4。

Text-generation-webui 不但提供扩展程序,还能帮助您自主开发扩展程序。在以下 llamaspeak 示例中可以看到,该界面可以用于集成您的应用,还支持多模态 VLM,如 Llava 和图像聊天。

wKgZomVKO9yAYZ3rABx48ytUgUw669.gif

图 4. 量化的 Llava-13B VLM 对图像查询的响应

有关运行 text-generation-webui 的更多信息,参见 Jetson 生成式 AI 实验室教程:https://www.jetson-ai-lab.com/tutorial_text-generation.html

llamaspeak

wKgZomVKO92AN0YHAB-xE7O8IBU182.gif

图 5. 使用 Riva ASR/TTS 与

LLM 进行 Llamaspeak 语音对话

Llamaspeak 是一款交互式聊天应用,通过实时 NVIDIA Riva ASR/TTS 与本地运行的 LLM 进行语音对话。Llamaspeak 目前已经成为 jetson-containers 的组成部分。

如果要进行流畅无缝的语音对话,就必须尽可能地缩短 LLM 第一个输出标记的时间。Llamaspeak 不仅可以缩短这一时间,还能在此基础上处理对话中断的情况,这样当 llamaspeak 在对生成的回复进行 TTS 处理时,您就可以开始说话了。容器微服务适用于 Riva、LLM 和聊天服务器。

wKgZomVKO92AMupSAAFSTdQklNI640.png

图 6. 流式 ASR/LLM/TTS 管道

到网络客户端的实时对话控制流

Llamaspeak 具备响应式界面,可从浏览器麦克风或连接到 Jetson 设备的麦克风传输低延迟音频流。有关自行运行的更多信息,参见 jetson-containers 文档:https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/llamaspeak

NanoOWL

wKgZomVKO96AaB5ZAJ7d0Xcry7Q948.gif

图 7. NanoOWL 可实时执行物体检测

Open World Localization with Vision Transformers(OWL-ViT)是一种由 Google Research 开发的开放词汇检测方法。该模型使您能够通过提供目标对象的文本提示进行对象检测。

比如在检测人和车时,使用描述该类别的文本提示系统:

prompt = “a person, a car”

这种监测方法很有使用价值,无需训练新的模型,就能实现快速开发新的应用。为了解锁边缘应用,我们团队开发了一个名为 NanoOWL 的项目,使用 NVIDIA TensorRT 对该模型进行优化,从而在 NVIDIA Jetson Orin 平台上获得实时性能(在 Jetson AGX Orin 上的编码速度约为 95FPS)。该性能意味着您可以运行远高于普通摄像机帧率的 OWL-ViT。

该项目还包含一个新的树形检测管道,能够加速 OWL-ViT 模型与 CLIP 相结合,从而实现任何级别的零样本检测和分类。比如,在检测人脸时对快乐或悲伤进行区分,请使用以下提示:

prompt = “[a face (happy, sad)]”

如果要先检测人脸,再检测每个目标区域的面部特征,请使用以下提示:

prompt = “[a face [an eye, a nose, a mouth]]”

将两者组合:

prompt = “[a face (happy, sad)[an eye, a nose, a mouth]]”

这样的例子数不胜数。这个模型在某些对象或类的可能更加精准,而且由于开发简单,您可以快速尝试不同的组合并确定是否适用。我们期待着看到您所开发的神奇应用!

Segment Anything 模型

wKgZomVKO96AYW7xAAYy5WL_sUw914.png

图 8. Segment Anything 模型(SAM)的 Jupyter 笔记本

Meta 发布了 Segment Anything 模型(SAM),这个先进的图像分割模型能够精确识别并分割图像中的对象,无论其复杂程度或上下文如何。

其官方资源库中也设有 Jupyter 笔记本,以实现轻松检查模型的影响,同时 jetson-containers 也提供了一个内置 Jupyter Lab 的便捷容器。

NanoSAM

图 9. 实时追踪和分割电脑鼠标的 NanoSAM

Segment Anything(SAM)是能将点转化成分割掩码的神奇模型。遗憾的是,它不支持实时运行,这限制了其在边缘应用中发挥作用。

为了克服这一局限性,我们最近发布了一个新的项目 NanoSAM,能够将 SAM 图像编码器提炼成一个轻量级模型,我们也使用 NVIDIA TensorRT 对该模型进行优化,从而在 NVIDIA Jetson Orin 平台上实现了实时性能的应用。现在,您无需接受任何额外的培训,就可以轻松地将现有的边界框或关键点检测器转化成实例分割模型。

Track Anything 模型

正如该团队的论文:https://arxiv.org/abs/2304.11968所述,Track Anything 模型(TAM)是“Segment Anything 与视频的结合”。在其基于 Gradio 的开源界面上,您可以点击输入视频的某一个帧,来指定待追踪和分割的任何内容。TAM 模型甚至还具备通过图像修补去除追踪对象的附加功能。

wKgZomVKO-CAFnFKACxNptrC0C0809.gif

图 10. Track Anything 界面

NanoDB

视频 2. Hello AI World -

NVIDIA Jetson 上的实时多模态 VectorDB

除了在边缘对数据进行有效的索引和搜索外,这些矢量数据库还经常与 LLM 配合使用,在超出其内置上下文长度(Llama-2 模型为 4096 个标记)的长期记忆上实现检索增强生成(RAG)。视觉语言模型也使用相同的嵌入作为输入。

wKgZomVKO-CAObRNAACeeTYx-uY889.jpg

图 11. 以 LLM/VLM 为核心的架构图

有了来自边缘的所有实时数据以及对这些数据的理解能力,AI 应用就成为了能够与真实世界互动的智能体。想要在您自己的图像和数据集上尝试使用 NanoDB ,了解更多信息,请参见实验室教程:https://www.jetson-ai-lab.com/tutorial_nanodb.html

总结

正如您所见,激动人心的生成式 AI 应用正在涌现。您可以按照这些教程,在 Jetson Orin 上轻松运行体验。如要见证在本地运行的生成式 AI 的惊人能力,请访问 Jetson 生成式 AI 实验室:https://www.jetson-ai-lab.com/

如果您在 Jetson 上创建了自己的生成式 AI 应用并想要分享您的想法,请务必在 Jetson Projects 论坛https://forums.developer.nvidia.com/c/agx-autonomous-machines/jetson-embedded-systems/jetson-projects/78上展示您的创作。

欢迎参加我们于北京时间 2023 年 11 月 8 日周三凌晨 1-2 点举行的网络研讨会,深入了解本文中讨论的多项主题并进行现场提问!

在本次研讨会中,您将了解到:

  • 开源 LLM API 的性能特点和量化方法

  • 加速 CLIP、OWL-ViT 和 SAM 等开放词汇视觉转换器

  • 多模态视觉代理,向量数据库和检索增强生成

  • 通过 NVIDIA Riva ASR/NMT/TTS 实现多语言实时对话和会话

扫描下方二维码,马上报名参会!

wKgZomVKO-CAemNiAAAUj1uo7-s184.png        GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击“阅读原文”扫描下方海报二维码,立即注册 GTC 大会


原文标题:利用 NVIDIA Jetson 实现生成式 AI

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    21

    文章

    3059

    浏览量

    87040

原文标题:利用 NVIDIA Jetson 实现生成式 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA Jetson 的嵌入式系统AI应用

    在这个平台上可以使用多个不同的芯片 ,案例的主角是AIMobile AIM Edge Ncox,一款基于NVIDIA Jetson Orin NX的小型被动冷却嵌入式系统。该系统具有6-8个Arm内核和NVIDIA Ampere
    发表于 12-11 17:37 220次阅读

    NVIDIA再出手!加速开发边缘AI应用,迎接生成AI新纪元

    NVIDIA 近日宣布,对适用于边缘 AI 和机器人的 NVIDIA Jetson 平台上的两个框架进行大规模扩展。NVIDIA Isaac
    的头像 发表于 11-23 17:31 563次阅读
    <b class='flag-5'>NVIDIA</b>再出手!加速开发边缘<b class='flag-5'>AI</b>应用,迎接<b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>新纪元

    Banana Pi为何选择rk3588开发与Jetson Nano引脚兼容的嵌入产品

    。这篇文章将解释我们选择RK3588的原因以及如何实现Jetson Nano引脚的兼容性。 Jetson Nano一直是嵌入计算领域的领先产品,具有强大的性能和丰富的功能,广受开发
    发表于 11-02 12:30

    NVIDIA 扩展机器人平台,迎接生成AI 的崛起

    基于 NVIDIA Jetson 平台进行开发的 1 万多家公司现在可以利用全新的生成AI、API 和微服务来加快推进行业数字化 强大的
    的头像 发表于 10-20 02:05 304次阅读
    <b class='flag-5'>NVIDIA</b> 扩展机器人平台,迎接<b class='flag-5'>生成</b>式 <b class='flag-5'>AI</b> 的崛起

    NVIDIA 扩展机器人平台,迎接生成AI 的崛起

    基于 NVIDIA Jetson 平台进行开发的 1 万多家公司现在可以利用全新的生成AI、API 和微服务来加快推进行业数字化    
    发表于 10-19 17:16 112次阅读
    <b class='flag-5'>NVIDIA</b> 扩展机器人平台,迎接<b class='flag-5'>生成</b>式 <b class='flag-5'>AI</b> 的崛起

    使用 NVIDIA Jetson 优化功率

    ,还配有高效率的功率管理集成电路(PMIC)、稳压器和电源树来进行功率效率优化。NVIDIA 提供多种工具和资源,帮助您充分利用功率架构并优化资源使用: 各种功率模式 功率、散热和电气管理功能 用于监控功率和散热状态的 Jetson
    的头像 发表于 10-19 11:10 234次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 优化功率

    armsom:为何选择rk3588开发与Jetson Nano引脚兼容的嵌入产品

    的原因以及如何实现Jetson Nano引脚的兼容性。Jetson Nano一直是嵌入计算领域的领先产品,具有强大的性能和丰富的功能,广受开发者和制造商的欢迎。然而,armsom认
    发表于 10-18 17:35

    NVIDIA AI Enterprise 4.0 推出,助力企业构建生产就绪的生成AI 为业务赋能

    时。NVIDIA 正在将专业知识投入到解决方案的开发过程中,助力企业实现这样的飞跃。 推出 NVIDIA AI Enterprise 4.0 最新版 
    的头像 发表于 09-19 20:20 350次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Enterprise 4.0 推出,助力企业构建生产就绪的<b class='flag-5'>生成</b>式 <b class='flag-5'>AI</b> 为业务赋能

    NVIDIA Jetson还能让AI驱动维修机器人?

    这位边缘 AI 领域的“绝地武士”使用 NVIDIA Jetson Orin Nano 开发者套件作为机器人的大脑,让这个身高不到四英尺、眼睛只有一个简单网络摄像头的机器人能够识别物体,并将头部转向物体。
    的头像 发表于 08-18 15:37 631次阅读

    京东和美团已选用NVIDIA Jetson AGX Xavier 平台

    电商巨头选用NVIDIA Jetson AGX Xavier打造下一代配送机器人 京东、美团采用NVIDIA AI计算平台,以满足大量处理需求
    的头像 发表于 08-01 14:54 478次阅读

    在线研讨会 | 利用 NVIDIA Jetson 赋能工业边缘 AI 应用

    的工作流程提供智能化和实时处理,正在彻底改变着工业环境。在农业、建筑、能源、航空航天、卫星及公共部门等领域,AI 应用正变得越来越普遍。先进的 NVIDIA Jetson AGX Orin 工业模块可帮助
    的头像 发表于 07-18 17:35 161次阅读
    在线研讨会 | <b class='flag-5'>利用</b> <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 赋能工业边缘 <b class='flag-5'>AI</b> 应用

    Made with KiCad(一):Jetson Nano Baseboard

    、软件和AI工程公司,也是NVIDIA Jetson生态系统的合作伙伴。 ” 概览 电路板可通过统一的柔性扁平电缆 (FFC) 连接器与 MIPI CSI-2 视频设备连接,在 2 通道配置中支持多达
    发表于 06-27 13:40

    利用 NVIDIA JetsonAI 学习延展至边缘

    .com/zh-cn/jetson/edu/ )。自从 10 年前首次发布以来, NVIDIA Jetson 平台 已经为全球嵌入式计算和边缘 AI 设立了标准。这些用于深度学习和计算
    的头像 发表于 06-13 20:55 305次阅读
    <b class='flag-5'>利用</b> <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 将 <b class='flag-5'>AI</b> 学习延展至边缘

    NVIDIA 推出 Jetson AGX Orin 工业级模块助力边缘 AI

    Jetson 边缘 AI 和机器人平台 ,您可以在此类复杂的环境中部署 AI 和传感器融合算法。 NVIDIA 在 COMPUTEX 2023 上发布了全新
    的头像 发表于 06-05 10:45 667次阅读
    <b class='flag-5'>NVIDIA</b> 推出 <b class='flag-5'>Jetson</b> AGX Orin 工业级模块助力边缘 <b class='flag-5'>AI</b>

    GTC23 | 使用 NVIDIA Jetson Orin Nano 开发套件开发 AI 机器人及智能视觉系统

    NVIDIA Jetson Orin Nano Developer Kit  为创建入门级 AI 机器人、智能无人机和智能视觉系统设定了一个新标准,同时简化了  NVIDIA
    的头像 发表于 03-29 03:40 923次阅读