0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于动态编译(Just-in-Time)的全新深度学习框架

电子设计 来源:风君子 作者:风君子 2020-11-25 11:08 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

据官方消息,清华大学计算机系图形实验室宣布开源一个全新的深度学习框架:Jittor,中文名计图。

Jittor 是一个采用元算子表达神经网络计算单元、完全基于动态编译(Just-in-Time)的深度学习框架。[1]

据介绍,Jittor 内部使用创新的元算子和统一计算图的深度学习框架。和 Numpy 相比,元算子在保证易用性的同时,能够实现更复杂、更高效的操作。而统一计算图则是融合了静态计算图和动态计算图的诸多优点,在易于使用的同时,提供高性能的优化。基于元算子开发的深度学习模型,可以被计图实时自动优化并且运行 CPUGPU 等指定的硬件上。

Jittor 特性

Jittor 是基于易用、可定制、实现与优化分离、即时的理念设计的。用户只需要数行代码,就可定义新的算子和模型,且所有的代码都是即时编译运行。

在 Jittor 上,多个元算子之间可以相互融合,成为更加复杂的算子,进一步构成神经网络和深度学习应用。

支持计算任意高阶导数。元算子在 Jittor 上反向传播后仍然是元算子,因此,在深度学习开发过程中,你不用算子的反向传播而重复开发。同时,还可以使用统一的优化策略。

使用 Jittor 内置的元算子编译器,用户可以直接将通过元算子编写的 Python 代码动态编译成更高效的 C++ 代码。

Jittor 能够自动优化动态编译的代码。其内置的优化编译遍(complier pass)兼容 LLVM,可以根据设备进行自动优化,生成的底层算子对计算设备非常友好。

Jittor 统一管理 GPU 和 CPU 的内存。当深度学习耗尽 GPU 内存资源时,将用 CPU 内存弥补。

Jittor 同时提供同步接口和异步接口,用户可以同时享受同步接口的易用性和异步接口的高效性。

使用辅助转换脚本,PyTorch 代码可以直接转换成 Jittor 模型。在参数保存和数据传输上,Jittor使用和 PyTorch 一样的 Numpy+pickle 协议,二者的模型可以相互加载和调用。

性能超越 Pytorch

虽然这是清华大学第一次发布开源机器学习框架,但与国际主流平台相比,Jittor 豪不逊色。 目前 ResNet、VGG、SSD、DeepLab、LSGAN 等多个网络模型已经在 Jittor 平台实现,可供用户使用。与同类型框架相比,Jittor 在收敛精度一致情况下,推理速度取得了 10%-50% 的性能提升 。

目前,Jittor 得到了国家自然科学基金项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室项目的资助和支持。

开源超级玩家

开源,特别是人工智能领域的开源,逐渐成为综合实力的象征。清华在这方面有着独到的优势。

首先,是在人工智能领域的学术传承。2019 年,清华人工智能研究院动作频频,在张钹院士的带领下,4 月成立听觉智能研究中心,由郑方教授担任主任,5 月成立基础理论研究中心,朱军任主任,在基础算法AI 框架、AI 应用、数据资源等方面早已布好基础。

第一代院士打好基础,第二代老师形成了中坚力量。此次惊艳推出的计图(Jittor),牵头人就是清华大学计算机系的胡事民教授,1969 年生人,正属于中坚,而开发团队的主体,正是他带领的图形学实验室的一批博士生。今天出世的计图更不免让人想到当年的清华毕业生贾扬清,他在加州大学伯克利分校攻读博士期间创建了 Caffe 项目。

清华大学自然语言处理实验室(THUNLP)也有一个知名的开源项目,叫 OpenNRE。[2] 这是一个在自然语言处理里进行关系提取的开源框架,可以用于扩展知识图谱,是推荐系统、搜索引擎、问题解答这些应用的基础和关键技术。

实验室由孙茂松教授领衔,带出了一批骨干老师,以及本硕博的尖子。THUNLP 在 GitHub 上得到的 star,已经跟全球最强的斯坦福 NLP 小组的 star 差不多了。

由此带出的第三代学生梯队也人才济济。清华姚班自不必说,去年以本科人才培养著名的姚期智教授又开设智班,重点培养人工智能领域的后备军。

姚班毕业,目前在 MIT 就读的博士生胡渊鸣,设计、实现了 Taichi 编程语言及其优化编译器,后生可畏。[3]

另外,清华和企业以实验室形式的合作,硕果累累,吸引了像张亚勤、沈向洋这样的大师级科学家加入。

比如,清华和微软研究院合作了 Convlab 开源端到端对话系统 [4],和美团合作了视频动作分析的开源数据集 COIN [5]。

去年,清华-伯克利深圳学院更是成立了“RISC-V 国际开源实验室”,直接将图灵奖得主、最早提出“精简指令集”(RISC)体系的大卫·帕特森(David Patterson)引入,抓住了开源和源创的源头,有可能在芯片领域形成新的开源 CPU 生态体系,打造国家重器。

编辑:hfy
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4829

    浏览量

    106880
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5110

    浏览量

    134511
  • 人工智能
    +关注

    关注

    1813

    文章

    49783

    浏览量

    261873
  • 深度学习
    +关注

    关注

    73

    文章

    5591

    浏览量

    123959
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【团购】独家全套珍藏!龙哥LabVIEW视觉深度学习实战课(11大系列课程,共5000+分钟)

    (包含资深工程师) 1)技术盲区突破 传统视觉进阶:九点标定误差补偿、手眼协调动态精度优化等高级技巧,提升系统稳定性 深度学习落地:模型轻量化部署(YOLOv8篇)、LabVIEW与GPU协同训练,解决算
    发表于 12-04 09:28

    【团购】独家全套珍藏!龙哥LabVIEW视觉深度学习实战可(11大系列课程,共5000+分钟)

    领域主流开发环境,LabVIEW与深度学习的集成一直是行业痛点。课程提供独家开发的labview调用框架,实现从模型训练(Python)到部署(LabVIEW)的无缝衔接,已成功应用于DIP、AOI
    发表于 12-03 13:50

    一种适用于动态环境的自适应先验场景-对象SLAM框架

    由于传统视觉SLAM在动态场景中容易会出现严重的定位漂移,本文提出了一种新颖的基于场景-对象的可靠性评估框架,该框架通过当前帧质量指标以及相对于可靠参考帧的场景变化,全面评估SLAM的稳定性。
    的头像 发表于 08-19 14:17 664次阅读
    一种适用于<b class='flag-5'>动态</b>环境的自适应先验场景-对象SLAM<b class='flag-5'>框架</b>

    思岚科技AI工业机器人开放底盘Phoebus P350全新发布:深度学习导航+300KG负载

    工业4.0时代,智能搬运的“底盘力”决定效率天花板。 SLAMTEC全新推出 Phoebus P350工业级机器人底盘 ,以 “开放AI架构+深度学习导航” 为核心,融合300KG超强负载、60cm
    的头像 发表于 05-12 11:33 794次阅读
    思岚科技AI工业机器人开放底盘Phoebus P350<b class='flag-5'>全新</b>发布:<b class='flag-5'>深度</b><b class='flag-5'>学习</b>导航+300KG负载

    百度飞桨框架3.0正式版发布

    大模型训练成本高?推理效率低?硬件适配难? 4月1日,百度发布 飞桨框架3.0正式版 !五大特性专为大模型设计。 作为大模型时代的Infra“基础设施”,深度学习框架的重要性愈发凸显,
    的头像 发表于 04-02 19:03 1049次阅读
    百度飞桨<b class='flag-5'>框架</b>3.0正式版发布

    嵌入式AI技术之深度学习:数据样本预处理过程中使用合适的特征变换对深度学习的意义

      作者:苏勇Andrew 使用神经网络实现机器学习,网络的每个层都将对输入的数据做一次抽象,多层神经网络构成深度学习框架,可以深度理解数
    的头像 发表于 04-02 18:21 1297次阅读

    如何排除深度学习工作台上量化OpenVINO™的特定层?

    无法确定如何排除要在深度学习工作台上量化OpenVINO™特定层
    发表于 03-06 07:31

    军事应用中深度学习的挑战与机遇

    人工智能尤其是深度学习技术的最新进展,加速了不同应用领域的创新与发展。深度学习技术的发展深刻影响了军事发展趋势,导致战争形式和模式发生重大变化。本文将概述
    的头像 发表于 02-14 11:15 834次阅读

    BP神经网络与深度学习的关系

    BP神经网络与深度学习之间存在着密切的关系,以下是对它们之间关系的介绍: 一、BP神经网络的基本概念 BP神经网络,即反向传播神经网络(Backpropagation Neural Network
    的头像 发表于 02-12 15:15 1379次阅读

    Triton编译器的优化技巧

    在现代计算环境中,编译器的性能对于软件的运行效率至关重要。Triton 编译器作为一个先进的编译框架,提供了一系列的优化技术,以确保生成的代码既高效又适应不同的硬件架构。 1. 指令
    的头像 发表于 12-25 09:09 1914次阅读

    Triton编译器的优势与劣势分析

    Triton编译器作为一种新兴的深度学习编译器,具有一系列显著的优势,同时也存在一些潜在的劣势。以下是对Triton编译器优势与劣势的分析:
    的头像 发表于 12-25 09:07 1901次阅读

    Triton编译器在机器学习中的应用

    多种深度学习框架,如TensorFlow、PyTorch、ONNX等,使得开发者能够轻松地将不同框架下训练的模型部署到GPU上。 2. Triton
    的头像 发表于 12-24 18:13 1665次阅读

    Triton编译器支持的编程语言

    编写和优化深度学习代码。Python是一种广泛使用的高级编程语言,具有简洁易读、易于上手、库丰富等特点,非常适合用于深度学习应用的开发。 二、领域特定语言(DSL) Triton也提供
    的头像 发表于 12-24 17:33 1498次阅读

    Triton编译器与其他编译器的比较

    Triton编译器与其他编译器的比较主要体现在以下几个方面: 一、定位与目标 Triton编译器 : 定位:专注于深度学习中最核心、最耗时的
    的头像 发表于 12-24 17:25 1625次阅读

    Triton编译器功能介绍 Triton编译器使用教程

    Triton 是一个开源的编译器前端,它支持多种编程语言,包括 C、C++、Fortran 和 Ada。Triton 旨在提供一个可扩展和可定制的编译框架,允许开发者添加新的编程语言特性和优化技术
    的头像 发表于 12-24 17:23 2754次阅读