0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GTC 2023:多模态短视频模型推理优化方案解析

西西 来源:英伟达官网 作者:英伟达官网 2023-03-23 18:17 次阅读

演讲人:李杰,快手科技算法引擎工程师

关于多模态短视频模型推理优化方案解析

多卡推理--流水线并行:将模型和数据切分,以流水线形式计算,提高GPU利用率。模型切分策略:依照各部分的计算时间和参数量设计。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4415

    浏览量

    126652
  • 英伟达
    +关注

    关注

    22

    文章

    3323

    浏览量

    87746
  • gtc
    gtc
    +关注

    关注

    0

    文章

    72

    浏览量

    4361
  • 短视频
    +关注

    关注

    1

    文章

    119

    浏览量

    8292
收藏 人收藏

    评论

    相关推荐

    玩转短视频?守护视频安全?AI智能提速?一分钱体验? 阿里云视频点播大招盘点

    ,提供了视频录制、导入裁剪压缩、视频特效编辑等功能,具备美颜、人脸识别+AR贴纸、变速录制、实时混音、视频拼接、实时滤镜、动图、音乐、MV、字幕、涂鸦等市面上主流的
    发表于 03-16 15:46

    CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

    和分发的角度介绍整体方案,并且重点讲解短视频加速的注意事项和用户体验优化要点。深圳云栖大会已经圆满落幕,在3月29日飞天技术汇-弹性计算、网络和CDN专场中,阿里云CDN高级技术专家周哲为我们带来
    发表于 04-03 14:32

    2018亚太CDN峰会开幕,阿里云王海华解读云+端+AI的短视频最佳实践

    和阿里云技术解决方案。4月11-12日,2018亚太CDN峰会在北京隆重召开,在11日下午的短视频论坛中,阿里云高级技术专家王海华进行了《短视频最佳实践:云+端+AI》的主题演讲,分享了短视频
    发表于 04-12 15:35

    从手淘搜索到优酷短视频,阿里巴巴是如何在搜索推荐领域下应用深度学习的?

    的信息,而在短视频搜索场景下的模型中则是将个性化前移到召回的部分,同时与最终的排序模型进行了统一;其次就是模态信息的使用,
    发表于 05-08 16:28

    简单的模型进行流固耦合的模态分析

      本次分享,对一个简单的模型进行流固耦合的模态分析,有限元科技小编主要给大家演示如何使用Hypermesh与Nastran对流固耦合的结构进行模态分析,以及了解声腔对结构模态的影响。
    发表于 07-07 17:15

    短视频源码开发中,源码快速搭建的关键点是什么

    短视频的火爆基于他对于移动互联网时代用户触媒习惯的符合,另一方面,基于各类互联网平台的产品功能、用户群体以及短视频内嵌需求的差异性,也给予了“短视频+”不同的滋生土壤。而各种短视频程序
    发表于 09-30 14:11

    压缩模型会加速推理吗?

    你好我使用 STM32CUBE-AI v5.1.2 ApplicationTemplate 将简单的 CNN 导入到 STM32L462RCT我发现压缩模型推理时间没有影响。aiRun 程序在 8
    发表于 01-29 06:24

    AscendCL快速入门——模型推理篇(上)

    重要。但是对于一些模型推理的应用来讲,这个问题就要多思考一步了。首先,设备总内存是有限的,每个模型加载进来都要占用一部分内存。对于
    发表于 08-24 11:04

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释

    使用rk3588npu推理模型模型推理时间还增加了,这怎么解释
    发表于 11-05 18:22

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    场景介绍 MindSpore Lite 是一款 AI 引擎,它提供了面向不同硬件设备 AI 模型推理的功能,目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍
    发表于 12-14 11:41

    短视频系统源码更新内容说明-国内短视频平台优秀作品

    消息时还加入了全新的表情功能,彻底告别纯文除了以上的优化更新功能之外,还优化了原有的短视频平台的基本操作功能。同时我们提供免费的搭建部署方案和功能二次开发服务,这样
    发表于 08-13 15:02 481次阅读

    云海计费系统v4.1 视频解析解析收费接口专用 短视频解析解析收费接口专用 影视视频电影解析计费平台源码程序

    介绍:云海计费系统v4.1 视频解析 短视频解析 影视视频电影解析计费平台源码程序云海
    发表于 01-11 16:02 13次下载
    云海计费系统v4.1 <b class='flag-5'>视频</b><b class='flag-5'>解析</b><b class='flag-5'>解析</b>收费接口专用 <b class='flag-5'>短视频</b><b class='flag-5'>解析</b><b class='flag-5'>解析</b>收费接口专用 影视<b class='flag-5'>视频</b>电影<b class='flag-5'>解析</b>计费平台源码程序

    GTC 2023短视频模态超大模型的场景应用

    快手科技围绕提高模型计算效率和可部署开展技术攻关,沉淀了一套通用的混合并行训练、压缩、推理整体解决方案
    的头像 发表于 03-23 17:56 1975次阅读
    <b class='flag-5'>GTC</b> <b class='flag-5'>2023</b>:<b class='flag-5'>短视频</b>多<b class='flag-5'>模态</b>超大<b class='flag-5'>模型</b>的场景应用

    模型+多模态的3种实现方法

    我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上引入跨模态的信息,让其变得更强
    的头像 发表于 12-13 13:55 718次阅读
    大<b class='flag-5'>模型</b>+多<b class='flag-5'>模态</b>的3种实现方法

    自动驾驶和多模态大语言模型的发展历程

    模态大语言模型(MLLM) 最近引起了广泛的关注,其将 LLM 的推理能力与图像、视频和音频数据相结合,通过多模态对齐使它们能够更高效地执
    发表于 12-28 11:45 205次阅读
    自动驾驶和多<b class='flag-5'>模态</b>大语言<b class='flag-5'>模型</b>的发展历程