0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

阿里首推AI视频生成利器Tora:指尖画圈,自由操控物体运动轨迹

要长高 2024-08-06 16:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,阿里巴巴团队震撼发布了一项革命性的创新成果——Tora,一个前所未有的AI视频生成框架。Tora深度融合了文本、视觉与轨迹条件,依托其独创的轨迹导向扩散变换器(DiT)技术,彻底颠覆了视频内容的创造与控制方式,为电影特效、虚拟现实等多个领域开辟了广阔的创意天地。

该框架的精髓在于其三大核心组件的精密协作:轨迹提取器(TE)、时空DiT模块以及运动引导融合器(MGF)。TE运用前沿的3D视频压缩网络技术,如同魔法般将输入的轨迹信息转化为高效的分层时空运动补丁,为视频生成铺设了一条坚实的道路。随后,MGF凭借其独特魅力,将这些运动补丁与DiT模块无缝对接,确保每一帧视频都严格遵循预设轨迹,展现出流畅且逼真的动态画面。

尤为令人瞩目的是,Tora框架能够轻松驾驭长达204帧、720P高清视频的创作,同时赋予用户前所未有的自由度,精准调控视频的时长、尺寸及分辨率,满足不同场景下的多样化需求。在保持卓越运动保真度的同时,Tora还能细腻捕捉并模拟物理世界的微妙运动规律,为观众开启一扇通往极致沉浸体验的大门。

阿里巴巴团队将Tora誉为“数字时代的神笔马良”,象征着用户只需简单勾勒,即可驾驭物体的运动轨迹,轻松编织出复杂而精彩的视频故事。这一创新不仅极大降低了视频制作的技术门槛,更为电影特效师、广告创意人及虚拟现实开发者等业界精英提供了前所未有的强大工具,预示着视频创作与传播领域即将迎来一场深刻的变革。

随着Tora框架的正式问世,阿里巴巴再次证明了其在人工智能领域的领先地位与创新能力。展望未来,随着技术的持续演进与升级,我们有充分的理由期待Tora能够引领全球视频创作与传播领域迈向更加辉煌的明天,不断创造新的奇迹与可能。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 视频
    +关注

    关注

    6

    文章

    2017

    浏览量

    75245
  • AI
    AI
    +关注

    关注

    91

    文章

    42075

    浏览量

    303112
  • 阿里巴巴
    +关注

    关注

    7

    文章

    1653

    浏览量

    49381
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    可灵推出AI原生4K直出功能:开启AI视频生成“院线级”新纪元

    4月23日,可灵AI视频3.0系列模型中推出业内首个原生4K直出功能,以“无需后期、直出4K”的颠覆性能力,直接匹配影视行业4K制作标准,标志着AI视频生成技术从“内容
    的头像 发表于 04-27 13:39 520次阅读

    昆仑万维天工AI大模型SkyReels V4登上Artificial Analysis榜单全球第一

    、Google Veo 3.1、Vidu Q3、OpenAI Sora 2等全球主流模型,成为全球AI视频生成能力最强的大模型,标志中国AI视频生成技术实现世界级引领。
    的头像 发表于 03-26 10:10 1186次阅读

    NVIDIA和ComfyUI携手简化本地AI视频生成工作流

    借助 ComfyUI 的应用视图、NVIDIA RTX Video 超分辨率和全新的 NVFP4 模型,AI 驱动的视频生成更加易用。
    的头像 发表于 03-14 16:37 2629次阅读
    NVIDIA和ComfyUI携手简化本地<b class='flag-5'>AI</b><b class='flag-5'>视频生成</b>工作流

    SeaVerse发布全球首个AI Native平台,“All in AI Native”引领AI创作前瞻革命

    2026年1月10日,SeaVerse宣布全球发布SeaVerse AI平台。这是全球首个AI原生的创建和部署平台,集合大语言模型、图像生成视频生成、Agent等多方面的能力,通过全
    的头像 发表于 01-14 17:41 1589次阅读

    商汤科技日日新Seko系列模型与寒武纪成功适配

    12月15日,商汤科技基于在生成AI与多模态交互领域的技术积累,正式发布Seko2.0——行业首个多剧集生成智能体。该智能体在多剧集视频生成的一致性方面展现出显著优势,其背后依托的是
    的头像 发表于 12-17 14:06 680次阅读

    让HMI“动”起来:移动手持HMI在智能制造中的多场景应用

    宏集EXOR推出了全新一代X系列移动手持HMI,将“移动化、智能化、安全化”的理念真正落地,让人机交互从固定屏幕走向自由操控
    的头像 发表于 12-03 14:39 1000次阅读
    让HMI“动”起来:移动手持HMI在智能制造中的多场景应用

    DIPO框架实现应用于具身智能仿真的3D铰链物体生成新范式

    在具身智能从理解环境向与环境交互进化的当下,构建真实且可交互的仿真环境是重要路径。单一刚体生成已难满足需求,机器人需要面对的是柜门、抽屉、微波炉等大量具有物理约束的铰链物体。受限于复杂的运动学结构,高质量3D铰链
    的头像 发表于 12-03 09:18 650次阅读
    DIPO框架实现应用于具身智能仿真的3D铰链<b class='flag-5'>物体</b><b class='flag-5'>生成</b>新范式

    OpenAI Sora 2模型上线微软Azure AI Foundry国际版

    我们非常激动地宣布,OpenAI 的新一代多模态视频生成模型 Sora 2 现已在 Azure AI Foundry(国际版)上线,进入公共预览阶段。
    的头像 发表于 10-22 09:44 1048次阅读
    OpenAI Sora 2模型上线微软Azure <b class='flag-5'>AI</b> Foundry国际版

    全球首个动漫专属AI视频生成平台Animon,国内版&quot;萌动AI&quot;正式发布

    Animon国内版——"萌动AI"首秀:AI动漫创作进入全民时代 北京2025年9月25日 /美通社/ -- CreateAI(OTC:TSPH)今日宣布,其打造的全球首个专注于动漫的AI视频
    的头像 发表于 09-25 12:33 1507次阅读

    AI的核心操控:从算法到硬件的协同进化

           人工智能(AI)的核心操控涉及算法、算力和数据三大要素的深度融合,其技术本质是通过硬件与软件的协同优化实现对复杂任务的自主决策与执行。这一过程依赖多层技术栈的精密配合,从底层的芯片架构
    的头像 发表于 09-08 17:51 1254次阅读

    智能体化AI生成AI的区别

    生成AI 的核心是“生成内容” —— 比如用大模型写报告,是对输入指令的被动响应。而智能体化 AI(Agentic AI)的关键是 “自
    的头像 发表于 08-25 17:24 2014次阅读

    一种基于扩散模型的视频生成框架RoboTransfer

    在机器人操作领域,模仿学习是推动具身智能发展的关键路径,但高度依赖大规模、高质量的真实演示数据,面临高昂采集成本与效率瓶颈。仿真器虽提供了低成本数据生成方案,但显著的“模拟到现实”(Sim2Real)鸿沟,制约了仿真数据训练策略的泛化能力与落地应用。
    的头像 发表于 07-09 14:02 999次阅读
    一种基于扩散模型的<b class='flag-5'>视频生成</b>框架RoboTransfer

    关于鸿蒙App上架中“AI文本生成模块的资质证明文件”的情况说明

    的内容(不管是图片、文字还是视频)以及AI生成的内容(也不管是什么形式),都要进行审核功能,不能有违法违规信息,会进行现场测试,但是测试标准为止,对我的项目的测试……就是在生成的内容上
    发表于 06-30 18:37

    4K、多模态、长视频AI视频生成的下一个战场,谁在领跑?

    电子发烧友网报道(文/李弯弯) 6月11日,豆包App上线视频生成模型豆包Seedance 1.0 pro。这是字节跳动最新视频模型,支持文字与图片输入,可生成多镜头无缝切换的1080P高品质
    的头像 发表于 06-16 00:13 7653次阅读

    AKOOL发布全球首款实时摄像头

    近日,硅谷新锐公司AKOOL发布全球首款实时摄像头Akool Live Camera,集虚拟数字人、AI视频翻译、实时换脸、实时AI视频生成四大功能于一身,重新定义了
    的头像 发表于 06-09 16:30 2501次阅读