0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于动态编译(Just-in-Time)的全新深度学习框架

电子设计 来源:风君子 作者:风君子 2020-11-25 11:08 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

据官方消息,清华大学计算机系图形实验室宣布开源一个全新的深度学习框架:Jittor,中文名计图。

Jittor 是一个采用元算子表达神经网络计算单元、完全基于动态编译(Just-in-Time)的深度学习框架。[1]

据介绍,Jittor 内部使用创新的元算子和统一计算图的深度学习框架。和 Numpy 相比,元算子在保证易用性的同时,能够实现更复杂、更高效的操作。而统一计算图则是融合了静态计算图和动态计算图的诸多优点,在易于使用的同时,提供高性能的优化。基于元算子开发的深度学习模型,可以被计图实时自动优化并且运行 CPUGPU 等指定的硬件上。

Jittor 特性

Jittor 是基于易用、可定制、实现与优化分离、即时的理念设计的。用户只需要数行代码,就可定义新的算子和模型,且所有的代码都是即时编译运行。

在 Jittor 上,多个元算子之间可以相互融合,成为更加复杂的算子,进一步构成神经网络和深度学习应用。

支持计算任意高阶导数。元算子在 Jittor 上反向传播后仍然是元算子,因此,在深度学习开发过程中,你不用算子的反向传播而重复开发。同时,还可以使用统一的优化策略。

使用 Jittor 内置的元算子编译器,用户可以直接将通过元算子编写的 Python 代码动态编译成更高效的 C++ 代码。

Jittor 能够自动优化动态编译的代码。其内置的优化编译遍(complier pass)兼容 LLVM,可以根据设备进行自动优化,生成的底层算子对计算设备非常友好。

Jittor 统一管理 GPU 和 CPU 的内存。当深度学习耗尽 GPU 内存资源时,将用 CPU 内存弥补。

Jittor 同时提供同步接口和异步接口,用户可以同时享受同步接口的易用性和异步接口的高效性。

使用辅助转换脚本,PyTorch 代码可以直接转换成 Jittor 模型。在参数保存和数据传输上,Jittor使用和 PyTorch 一样的 Numpy+pickle 协议,二者的模型可以相互加载和调用。

性能超越 Pytorch

虽然这是清华大学第一次发布开源机器学习框架,但与国际主流平台相比,Jittor 豪不逊色。 目前 ResNet、VGG、SSD、DeepLab、LSGAN 等多个网络模型已经在 Jittor 平台实现,可供用户使用。与同类型框架相比,Jittor 在收敛精度一致情况下,推理速度取得了 10%-50% 的性能提升 。

目前,Jittor 得到了国家自然科学基金项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室项目的资助和支持。

开源超级玩家

开源,特别是人工智能领域的开源,逐渐成为综合实力的象征。清华在这方面有着独到的优势。

首先,是在人工智能领域的学术传承。2019 年,清华人工智能研究院动作频频,在张钹院士的带领下,4 月成立听觉智能研究中心,由郑方教授担任主任,5 月成立基础理论研究中心,朱军任主任,在基础算法AI 框架、AI 应用、数据资源等方面早已布好基础。

第一代院士打好基础,第二代老师形成了中坚力量。此次惊艳推出的计图(Jittor),牵头人就是清华大学计算机系的胡事民教授,1969 年生人,正属于中坚,而开发团队的主体,正是他带领的图形学实验室的一批博士生。今天出世的计图更不免让人想到当年的清华毕业生贾扬清,他在加州大学伯克利分校攻读博士期间创建了 Caffe 项目。

清华大学自然语言处理实验室(THUNLP)也有一个知名的开源项目,叫 OpenNRE。[2] 这是一个在自然语言处理里进行关系提取的开源框架,可以用于扩展知识图谱,是推荐系统、搜索引擎、问题解答这些应用的基础和关键技术。

实验室由孙茂松教授领衔,带出了一批骨干老师,以及本硕博的尖子。THUNLP 在 GitHub 上得到的 star,已经跟全球最强的斯坦福 NLP 小组的 star 差不多了。

由此带出的第三代学生梯队也人才济济。清华姚班自不必说,去年以本科人才培养著名的姚期智教授又开设智班,重点培养人工智能领域的后备军。

姚班毕业,目前在 MIT 就读的博士生胡渊鸣,设计、实现了 Taichi 编程语言及其优化编译器,后生可畏。[3]

另外,清华和企业以实验室形式的合作,硕果累累,吸引了像张亚勤、沈向洋这样的大师级科学家加入。

比如,清华和微软研究院合作了 Convlab 开源端到端对话系统 [4],和美团合作了视频动作分析的开源数据集 COIN [5]。

去年,清华-伯克利深圳学院更是成立了“RISC-V 国际开源实验室”,直接将图灵奖得主、最早提出“精简指令集”(RISC)体系的大卫·帕特森(David Patterson)引入,抓住了开源和源创的源头,有可能在芯片领域形成新的开源 CPU 生态体系,打造国家重器。

编辑:hfy
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4842

    浏览量

    108170
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5271

    浏览量

    136068
  • 人工智能
    +关注

    关注

    1820

    文章

    50324

    浏览量

    266927
  • 深度学习
    +关注

    关注

    73

    文章

    5607

    浏览量

    124625
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    晶科能源与Energy Time签署100MW飞虎3系列光伏组件供货协议

    近日,全球领先的光伏企业晶科能源与合作伙伴 Energy Time举行战略会谈,双方就2026至2027年约100MW的飞虎3(Tiger Neo 3.0)组件供应达成框架性合作协议。
    的头像 发表于 04-23 16:18 365次阅读

    恩智浦推出全新eIQ Agentic AI框架

    恩智浦半导体宣布推出全新eIQ Agentic AI框架,进一步巩固其在安全实时边缘AI领域的领导地位。该工具支持在边缘设备上直接实现自主智能体功能,助力资深与新手设备开发人员简化并加速智能体AI
    的头像 发表于 01-13 11:15 1550次阅读

    机器学习深度学习中需避免的 7 个常见错误与局限性

    无论你是刚入门还是已经从事人工智能模型相关工作一段时间,机器学习深度学习中都存在一些我们需要时刻关注并铭记的常见错误。如果对这些错误置之不理,日后可能会引发诸多麻烦!只要我们密切关注数据、模型架构
    的头像 发表于 01-07 15:37 349次阅读
    机器<b class='flag-5'>学习</b>和<b class='flag-5'>深度</b><b class='flag-5'>学习</b>中需避免的 7 个常见错误与局限性

    【团购】独家全套珍藏!龙哥LabVIEW视觉深度学习实战课(11大系列课程,共5000+分钟)

    (包含资深工程师) 1)技术盲区突破 传统视觉进阶:九点标定误差补偿、手眼协调动态精度优化等高级技巧,提升系统稳定性 深度学习落地:模型轻量化部署(YOLOv8篇)、LabVIEW与GPU协同训练,解决算
    发表于 12-04 09:28

    【团购】独家全套珍藏!龙哥LabVIEW视觉深度学习实战课程(11大系列课程,共5000+分钟)

    (包含资深工程师) 1)技术盲区突破 传统视觉进阶:九点标定误差补偿、手眼协调动态精度优化等高级技巧,提升系统稳定性 深度学习落地:模型轻量化部署(YOLOv8篇)、LabVIEW与GPU协同训练,解决算
    发表于 12-03 13:50

    新思科技携手微软、英伟达发布可实时优化动态制造流程框架

    新思科技(纳斯达克代码:SNPS)近日携手技术合作伙伴在微软 Ignite 大会上发布了一套仿真技术驱动的可实时优化动态制造流程框架。该框架已经被全球领先的灌装包装系统集成商 Krones 率先采用,构建了物理精确的虚拟装配线,
    的头像 发表于 11-30 09:53 646次阅读

    如何深度学习机器视觉的应用场景

    深度学习视觉应用场景大全 工业制造领域 复杂缺陷检测:处理传统算法难以描述的非标准化缺陷模式 非标产品分类:对形状、颜色、纹理多变的产品进行智能分类 外观质量评估:基于学习的外观质量标准判定 精密
    的头像 发表于 11-27 10:19 327次阅读

    如何在机器视觉中部署深度学习神经网络

    图 1:基于深度学习的目标检测可定位已训练的目标类别,并通过矩形框(边界框)对其进行标识。 在讨论人工智能(AI)或深度学习时,经常会出现“神经网络”、“黑箱”、“标注”等术语。这些概
    的头像 发表于 09-10 17:38 1049次阅读
    如何在机器视觉中部署<b class='flag-5'>深度</b><b class='flag-5'>学习</b>神经网络

    摩尔线程发布Torch-MUSA v2.1.1版本

    近日,摩尔线程发布其面向PyTorch深度学习框架的MUSA扩展库——Torch-MUSA v2.1.1。该版本在v2.1.0的基础上,进一步扩展了对大规模深度
    的头像 发表于 09-10 11:02 1229次阅读

    深度学习对工业物联网有哪些帮助

    深度学习作为人工智能的核心分支,通过模拟人脑神经网络的层级结构,能够自动从海量工业数据中提取复杂特征,为工业物联网(IIoT)提供了从数据感知到智能决策的全链路升级能力。以下从技术赋能、场景突破
    的头像 发表于 08-20 14:56 1204次阅读

    一种适用于动态环境的自适应先验场景-对象SLAM框架

    由于传统视觉SLAM在动态场景中容易会出现严重的定位漂移,本文提出了一种新颖的基于场景-对象的可靠性评估框架,该框架通过当前帧质量指标以及相对于可靠参考帧的场景变化,全面评估SLAM的稳定性。
    的头像 发表于 08-19 14:17 996次阅读
    一种适用于<b class='flag-5'>动态</b>环境的自适应先验场景-对象SLAM<b class='flag-5'>框架</b>

    自动驾驶中Transformer大模型会取代深度学习吗?

    [首发于智驾最前沿微信公众号]近年来,随着ChatGPT、Claude、文心一言等大语言模型在生成文本、对话交互等领域的惊艳表现,“Transformer架构是否正在取代传统深度学习”这一话题一直被
    的头像 发表于 08-13 09:15 4365次阅读
    自动驾驶中Transformer大模型会取代<b class='flag-5'>深度</b><b class='flag-5'>学习</b>吗?

    思岚科技AI工业机器人开放底盘Phoebus P350全新发布:深度学习导航+300KG负载

    工业4.0时代,智能搬运的“底盘力”决定效率天花板。 SLAMTEC全新推出 Phoebus P350工业级机器人底盘 ,以 “开放AI架构+深度学习导航” 为核心,融合300KG超强负载、60cm
    的头像 发表于 05-12 11:33 1619次阅读
    思岚科技AI工业机器人开放底盘Phoebus P350<b class='flag-5'>全新</b>发布:<b class='flag-5'>深度</b><b class='flag-5'>学习</b>导航+300KG负载

    上海光机所在基于深度时空先验的动态定量相位成像研究方面取得进展

    图1 (a) 非干涉动态定量相位成像示意图。(b) 仅利用空间先验的模型驱动深度学习。(c) 引入时空先验的模型驱动学习。(d) 分别使用 STeP 和空间先验从视频序列重建相位的仿真
    的头像 发表于 04-27 06:23 739次阅读
    上海光机所在基于<b class='flag-5'>深度</b>时空先验的<b class='flag-5'>动态</b>定量相位成像研究方面取得进展

    大模型时代的深度学习框架

    作者:算力魔方创始人/英特尔创新大使刘力 在 CNN时代 ,AI模型的参数规模都在百万级别,仅需在单张消费类显卡上即可完成训练。例如,以业界知名的CNN模型: ResNet50 为例,模型参数量是约为 25.63M,在ImageNet1K数据集上,使用单张消费类显卡 RTX-4090只需大约35~40个小时 ,即可完成ResNet50模型的预训练。在 大模型时代 ,由于大模型参数规模庞大,无法跟CNN时代的小模型一样在单张显卡上完成训练,需要构建多张AI加速卡的集群才能完成AI大模型的预训练
    的头像 发表于 04-25 11:43 961次阅读
    大模型时代的<b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>框架</b>