0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GTC 2023:多模态短视频模型推理优化方案解析

西西 来源:英伟达官网 作者:英伟达官网 2023-03-23 18:17 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

演讲人:李杰,快手科技算法引擎工程师

关于多模态短视频模型推理优化方案解析

多卡推理--流水线并行:将模型和数据切分,以流水线形式计算,提高GPU利用率。模型切分策略:依照各部分的计算时间和参数量设计。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5100

    浏览量

    134479
  • 英伟达
    +关注

    关注

    23

    文章

    4041

    浏览量

    97698
  • gtc
    gtc
    +关注

    关注

    0

    文章

    73

    浏览量

    4722
  • 短视频
    +关注

    关注

    1

    文章

    128

    浏览量

    9521
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    基于米尔瑞芯微RK3576开发板的Qwen2-VL-3B模型NPU模态部署评测

    ,RKLLM 通过量化优化模态支持等降低模型内存占用与推理延迟。实测中,RK3576 运行 Qwen2-VL-3B
    发表于 08-29 18:08

    米尔RK3576部署端侧模态轮对话,6TOPS算力驱动30亿参数LLM

    话的 KV-Cache 维护与手动清除; Prompt 模板的动态渲染; 用户输入的解析处理与推理结果的回显展示。 1.3 核心逻辑:轮对话的处理流程该方案
    发表于 09-05 17:25

    CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

    和分发的角度介绍整体方案,并且重点讲解短视频加速的注意事项和用户体验优化要点。深圳云栖大会已经圆满落幕,在3月29日飞天技术汇-弹性计算、网络和CDN专场中,阿里云CDN高级技术专家周哲为我们带来
    发表于 04-03 14:32

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释
    发表于 11-05 18:22

    GTC 2023短视频模态超大模型的场景应用

    快手科技围绕提高模型计算效率和可部署开展技术攻关,沉淀了一套通用的混合并行训练、压缩、推理整体解决方案
    的头像 发表于 03-23 17:56 2640次阅读
    <b class='flag-5'>GTC</b> <b class='flag-5'>2023</b>:<b class='flag-5'>短视频</b><b class='flag-5'>多</b><b class='flag-5'>模态</b>超大<b class='flag-5'>模型</b>的场景应用

    VisCPM:迈向多语言模态模型时代

    可以大致分为两类: 1. 在图生文(image-to-text generation)方面,以 GPT-4 为代表的模态模型,可以面向图像进行开放域对话和深度推理; 2. 在文生图
    的头像 发表于 07-10 10:05 1208次阅读
    VisCPM:迈向多语言<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>模型</b>时代

    更强更通用:智源「悟道3.0」Emu模态模型开源,在模态序列中「补全一切」

    热度。Flamingo 具备强大的模态上下文少样本学习能力。 Flamingo 走的技术路线是将大语言模型与一个预训练视觉编码器结合,并插入可学习的层来捕捉跨模态依赖,其采用图文对、
    的头像 发表于 07-16 20:45 1324次阅读
    更强更通用:智源「悟道3.0」Emu<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>模型</b>开源,在<b class='flag-5'>多</b><b class='flag-5'>模态</b>序列中「补全一切」

    北大&amp;华为提出:模态基础大模型的高效微调

    深度学习的大模型时代已经来临,越来越多的大规模预训练模型在文本、视觉和模态领域展示出杰出的生成和推理能力。然而大
    的头像 发表于 11-08 16:20 2231次阅读
    北大&amp;华为提出:<b class='flag-5'>多</b><b class='flag-5'>模态</b>基础大<b class='flag-5'>模型</b>的高效微调

    探究编辑模态大语言模型的可行性

    不同于单模态模型编辑,模态模型编辑需要考虑更多的模态信息。文章出发点依然从单
    发表于 11-09 14:53 992次阅读
    探究编辑<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>的可行性

    模型+模态的3种实现方法

    我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上引入跨模态的信息,让其变得更强
    的头像 发表于 12-13 13:55 3008次阅读
    大<b class='flag-5'>模型</b>+<b class='flag-5'>多</b><b class='flag-5'>模态</b>的3种实现方法

    自动驾驶和模态大语言模型的发展历程

    模态大语言模型(MLLM) 最近引起了广泛的关注,其将 LLM 的推理能力与图像、视频和音频数据相结合,通过多
    发表于 12-28 11:45 1322次阅读
    自动驾驶和<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>的发展历程

    李未可科技正式推出WAKE-AI模态AI大模型

    李未可科技模态 AI 大模型正式发布,积极推进 AI 在终端的场景应用   4月18日,2024中国生成式AI大会上李未可科技正式发布为眼镜等未来终端定向优化等自研WAKE-AI
    发表于 04-18 17:01 1062次阅读
    李未可科技正式推出WAKE-AI<b class='flag-5'>多</b><b class='flag-5'>模态</b>AI大<b class='flag-5'>模型</b>

    利用OpenVINO部署Qwen2模态模型

    模态模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说
    的头像 发表于 10-18 09:39 2621次阅读

    阿里云发布开源模态推理模型QVQ-72B-Preview

    近日,阿里云宣布了一项重大技术突破,正式发布了业界首个开源模态推理模型——QVQ-72B-Preview。这一模型的问世,标志着阿里云在AI技术领域的又一次重要飞跃
    的头像 发表于 12-27 10:28 861次阅读

    亚马逊云科技上线Amazon Nova模态嵌入模型

    Embeddings模态嵌入模型现已在Amazon Bedrock上线,这是一款专为Agentic RAG与语义搜索应用打造的顶尖模态
    的头像 发表于 10-29 17:15 123次阅读
    亚马逊云科技上线Amazon Nova<b class='flag-5'>多</b><b class='flag-5'>模态</b>嵌入<b class='flag-5'>模型</b>