0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

TenstorrentInc首席CPU构架师 练维汉:助力数字化升级的RISC-V AI 高性能CPU

电子麦克风 来源:电子发烧友 作者:张迎辉 2023-08-28 12:05 次阅读

电子发烧友网 张迎辉)在2023年8月28日上海临港举行的第三届滴水湖中国RISC-V产业论坛上,主办方特别邀请到了高性能 RISC-V AI芯片公司Tenstorrent Inc首席CPU构架师练维汉现场作了“助力数字化升级的RISC-V”专题演讲。Tenstorrent Inc.是一家加拿大AI芯片独角兽企业,从事高性能RISC-V芯片的设计。他们公司的CEO是CPU产业界的“知名大拿”,曾在水果公司作CPU的架构设计师。练维汉除介绍RISC-V内核的高性能 CPU IP内核技术之外,也对近期热门的RISC-V AI技术和Chiplet 芯粒对高性能 AI芯片的助力、异构CPU架构等分享了观点。

为何会有Digital Transformer?

数百年前的第一次工业革命是机器取代人的劳动力,而现在正在发生的“工业革命”是机器替代人的脑力。我们经常讨论,共同的感觉就是Digital这个事情是在改变着世界。其实AI带给人最重要的是一个什么东西呢?你作为的东西都可以因为你而“最佳化”,你可以享受到专门为你量身定做的东西。这样的东西在以前是没有可能的,因为没有那样的算力可以到达为你量身定做任何一样的事情。这是一个巨量的计算!我在十年前如果要出来开一个创业的公司,说:“我要做芯片”,没有人会投。为什么十年之后全世界各国,我去跟欧洲的谈、日本的谈、印度的谈,他们都有注入大量的钱到这个行业。他们投入百亿、千亿的资金在这个芯片上面,就是这个原因。



图:Tenstorrent Inc首席CPU构架师练维汉在第三届滴水源RISC-V产业论坛演讲(图片来源:电子发烧友网)

1947年Transistor发展,这个技术每年以两倍的速度翻倍。1997年个人PC时代的开始,在这个开始之后、2007年iPhone是另外一个革命性的东西,手机可以每一天跟着你记录你的使用信息。另外一个里程碑,是3G、然后有4G5G,慢慢你有很大的频宽传送你的Data。你每天拿着手机产生大量的资讯,然后可以传到“云”上、大量的数据被产生了。然后两年之后你看到巨量的数据产生了,你开始在挖这个“金”,然后到2012年爆炸性的成长,然后一直到最近的ChatGPT3。所以这是有历史痕迹的,我要让大家知道“为什么今天走到AI”的地步?有了大数据你才能够用AI解释、为你做量身定制。

这个东西的结果是什么?就是巨量的Data每天被产生,你要了解这些资讯、找出里面的有价值数据。ChatGPT4说:2.5个月,计算能够就要翻一倍。ChatGPT4=2-trillion parameter,有人说会到4trillion。每天人类要处理多少的讯息?所有的数据都要经过储存。为什么今天大家坐在这个地方,说:芯片有它发展的原因,就是因为有这个数字。现在没有人知道,用什么样的方法来解决这个计算的问题。我看一个数据,就是说:谷歌如果要把他们所有的数据转换成ChatGPT的这种结果,要花一千亿美金。然后,电力要增加20倍。企业要巨量的投资,你们的Data产生的也是越来越多、不仅要数字上的、还要变成视频,这是海量的数据。我们现在站在这个历史的风口,怎么样解决这个算力的问题?我个人觉得是没有很好的解决方法、在这个阶段,除非说有在AI的上面有科学家看出来有更基本的改变才有可能有办法应付,目前看到是没有办法。这个产业每个国家巨量投资就是因为这个原因,因为有巨量的数据和巨量的计算的需要。

怎么解决这个呢?我们的看到:计算必须要在每一个地方发生。例如:人类是一个非常复杂的生物机器,如果所有碰触到你皮肤的数据都要传递到大脑做决定是不可能的事。如果这样的话,你的神经可能要比现在宽多少倍都不知道。很多触觉上的东西在皮肤层就做了筛选,有用的讯息才会传递到大脑。在生物学上基本上告诉你已经不可能了,所以在实践上面要把所有的计算都放到云端算了再传回来这是一件不可能的事情。我们在想这件事情,就是说:计算必须要在每一个地方发生,然后你才能够达到你所要的功效需求和传输的需求。你们都知道人类的大脑事实上是全世界最复杂的一个处理系统,假如要跟现在的计算相比、人类好像是1万倍吧。所以说你基本上是不可能把所有的东西传到云端算了再放回来,所以可能要放在你的IoT上面、放在你的机器上面,到处都需要有这个计算。

有这样的一个需求以后,我们需要Heterogeneity(异构)。还有就是要能够可扩充性,你发明的东西不能用在一个点、要用在从最简单的到最复杂的东西。就像爱因斯坦希望用一个理论来解释宇宙所有的现象,我们也希望一个解决方案可以通用到所有的事情上面去。还有就是你也不能让它太复杂,我们常常做架构经常问的一个问题,就是说:你做的这个东西是不是足够的简单,是不是去无从轻到最高极限、最简单的东西去解决同样一个问题。我们永远寻求的最终解决方案,永远是要找到最精简的东西来解决同样的一个问题。精简有什么好处?容易实现。以后做变动的时候等等,都有很多的好处。

为什么RISC-V非常适合?

为什么RISC-V很适合这个东西?因为它是一个Open source(开源)。我们的好处就是说,我做了一个架构、不需要跟ARM说:“我可不可以做这样,可不可以做那样。”有非常大的弹性,这是指令集给你的一个方便的东西。我为什么认为这个东西一定会起来?就是基于这个考量。因为以后的计算是非常复杂的,你需要一个指令集能够让你做这样的事情。RISC-V就是一个很好的“点”。

我们大概有1/3的人做CPU、2/3的人做AI的东西。我是带领RISC-V CPU的团队,我们公司很特别、因为我们是世界上唯一一个公司有Workink的机器学习。我们公司有RISC-V、CHIPLETS。(图)我们公司有Grayskul(2021)、Wormhole(2022),2023公司开始有Blach Hole,因为我们知道未来很多东西没有办法用AI来做这样的事情,那么你就需要一个很好的介入、我们后来发现算力还是不够,我们就说:我们自己研发RISC-V的芯片。两年前开始研发RISC-V的芯片,开始看看怎么整合等等。在未来、下一步要走向Chiplet,、研发上面Quasar跟Grendel。我们可以成为一个很好的,对于未来AI的一个架构。

基于AI技术的可扩展 RISC-V芯片

我们公司AI是怎么做到的?看我们公司实际上是很多AI的好的解决方案。每个“人”都有自己的任务要做,有一个是把Data拿起来、有一个是把Data送出去。你可以把它往上扩充,也可以往上减少。(图)这是一个大系统的Skill APP,它可以解决更大的运算的需求、解决更大算力的问题。所以我们的Scalable AI Architecture可以把它变成一个大的系统,然后我们变成一个芯片之后又可以放到更大的系统里面。我们的软件系统可以了解到计算所需求的要求,可以帮你聚焦到这些、完成这些工作,它是从一个到几万个芯片在一起。

AI的改变非常快,今年说Transformer很牛、可能五年后Transformer不牛了怎么办呢?你所有的AI不能只为现在做设想,你必须要设计的足够有弹性、以便于可以去应付未来AI方案的需求。也就是说,你必须要有弹性。像我们做这种东西,一定要看长远一点、不能只聚焦在当下。在Application的架构上,也要想到以后可能没有办法在你现在设计的AI方案上面做的很好。以后你怎么办?你不能把系统拆掉再换一个新的,所以你要有弹性接口兼容。你要两个都是最好,要不然你没有办法做到最好的系统。

介绍一下公司的可扩展 RISC-V处理器家族

(图)我们架构这个东西的时候,我们希望这个要具有很强的可扩展性。为什么要放CPU在里面?因为我们预测未来AI的运算CPU还是会占一个很重要的地位。所以它在两个不同算力的东西在一起的时候,我们有几种很多的考虑。(图)这是AEGIS Chiplet,希望每32核变成一个Chiplet。

Chiplet芯粒与AI芯片

刚才我已经说了,你做这个东西要考虑到很多的应用场景。,统统都是用Chiplets的方法,把AI拿掉就可以跟AMD做PK。如果内存不够,它就可以变成一个助手,所以它是一个很好的、让你很有弹性设计你的系统架构。下面,讲一下应用。例如:Ascalon-D2,Mobile Computing。你你可以调整它的功率,让你具有最高的运用使用率。还有车载,你可以买我们的IP。你要做L2自动驾驶可以买我们的IP,我们帮你组装起来。不管你是用雷达还是什么,我们AI计算的核心都是要在那个地方,我们的设计可以帮助你用chiplet;你说要做L2,我给你chiplet、它是一个非常有弹性的东西。CPU也是一样,我们的CPU可以根据你的应用需求来选。也有很多人跟我们谈DPU、Storage Server,我们可以帮他们做Storage Server的东西。

我从Scalable Architecture讲一些应用场景,让你们了解我们怎么使用这些东西。我们的看法是:巨量的Data、巨量的AI需要的算力,对于未来计算的需求、基本上是需要“Compute Everywhere”。Compute Everywhere你不能让它太困难去执行东西,我们的公司符合那样的一个要求。当然,我们的客户也看到这样的一个东西。讲的比做的容易,我们也是一直在更新我们的软件、硬件,一直在学习这方面的东西。

我个人觉得这是一个,我一直在强调、就是说:这是一个非常有前景的事情。大家要看到这个历史的浪潮,我们也是看到了、我觉得未来十年、二十年可能是芯片的黄金时代。因为在算力方面,我现在没有看到任何解决方案来解决这个事情,所以这是巨大的产业、巨大的机会在这个地方,我希望跟在座的各位做合作。(完)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10434

    浏览量

    206522
  • Tenstorrent
    +关注

    关注

    0

    文章

    10

    浏览量

    101
收藏 人收藏

    评论

    相关推荐

    Imagination 推出全新Catapult CPU,加速RISC-V 设备采用

    CatapultCPUIP系列的最新产品ImaginationAPXM-6200CPU。这款RISC-V应用处理器具有极高的性能密度、无缝安全性和人工智能(AI)功能,
    的头像 发表于 04-12 08:30 80次阅读
    Imagination 推出全新Catapult <b class='flag-5'>CPU</b>,加速<b class='flag-5'>RISC-V</b> 设备采用

    瑞萨推出采用自研CPU内核的通用32位RISC-V MCU 加强RISC-V生态系统布局

    瑞萨推出采用自研CPU内核的通用32位RISC-V MCU 加强RISC-V生态系统布局 RISC-V MCU为开发人员带来低功耗、高性能
    发表于 03-28 19:00 115次阅读

    润开鸿基于高性能RISC-V开源架构DAYU800通过OpenHarmony兼容性测评

    近期,江苏润开鸿数字科技有限公司(以下简称“润开鸿”)基于高性能RISC-V开源架构处理器研发的OpenHarmony标准系统开发平台HH-SCDAYU800通过OpenHarmony 3.2.2
    发表于 12-14 17:33

    RISC-V内核突破百亿颗 RVV1.0如何解锁端侧AI市场应用潜能

    ”(南湖)开源高性能RISC-V处理器内核,其性能已超过ARM A76;阿里平头哥发布的首个自研RISC-V AI平台,支持运行170余个主
    发表于 12-01 13:17

    256核!赛昉发布全新RISC-V众核子系统IP平台

    相继推出两款高性能RISC-V CPU Core IP——主打极致性能的昉·天枢-90(Dubhe-90)和主打高能效比的昉·天枢-80(Dubhe-80),一款片上一致性互联IP——
    发表于 11-29 13:37

    读《玄铁RISC-V处理器入门与实战》

    。 全方位的介绍,带领我们了解RISC-V性能强大,不再局限于一个跑马灯、Hello World工程,而是开发高大上的系统级应用。未来RISC-V如果能在应用碎片、开发效率低、软硬
    发表于 09-28 11:58

    RISC-V强势崛起为芯片架构第三极

    很多人的概念里,应该是自嵌入市场而起。但实际上,在高性能计算市场,加速计算的重要性增强,CPU与其配合的灵活性也变得重要。”半导体行业资深产业分析黄烨锋表示,RISC-V指令集通往
    发表于 08-30 13:53

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    平台通过软硬件深度协同,较经典方案提升超 8 成性能,支持运行 170 余个主流 AI 模型,推动 RISC-V 进入高性能 AI 应用时代
    发表于 08-26 14:14

    【昉·星光 2 高性能RISC-V单板计算机体验】使用之一:星光 2开箱之硬件分析

    昉·星光 2 是全球首款集成了GPU的高性能RISC-V单板计算机。与昉·星光1 相比( JH7100 SoC 芯片采用双核64位高性能RISC-V
    发表于 07-28 15:02

    使用ANSI C代码实现RISC-V CPU内核

    今天在 GitHub 上看到一个 C 语言项目,用大约 600 行代码实现了一个 RISC-V CPU 核,甚为感叹,分享一下。不管是学习 C,还是学习 RISC-V,这个项目都有非常高的学习价值,开源万岁!
    的头像 发表于 07-23 11:02 626次阅读

    RISC-V,正在摆脱低端

    的焦点。在两年内,该公司招募了一批顶尖工程,为数据中心级AI/ML解决方案和系统开发高性能RISC-V内核。开发团队的成就包括全球首个8位RISC
    发表于 05-30 14:11

    性能超ARM A76!国产第二代“香山”RISC-V开源处理器最快6月流片

    ,SPEC 2006得分为20分。 据了解,“香山”是当前国际上性能最高的开源RISC-V处理器核,目前已确定“香山”经典核、“香山”高性能核“两核”发展目标。 经典核基于第二代“香山”工程
    发表于 05-28 08:41

    谈一谈RISC-V架构的优势和特点

    RISC-V 联盟,这将加速RISC-V 芯片的研发。 可以看到RISC-V架构将成为芯片产业发展的重要组成部分,将为不同应用场景提供高性能、低功耗的处理器解决方案。
    发表于 05-14 09:05

    Occamy RISC-V 前景如何

    位 FPU,以及两颗来自美光的 16GB HBM2e 内存。处理器的内核通过中介层实现互连,双块 CPU 可提供 0.75 FP64 TFLOPS 的性能和 6 FP8 TFLOPS 算力。那么Occamy RISC-V 前景
    发表于 05-13 08:44

    RISC-V入云!赛昉科技联合中国电信完成首个RISC-V云原生轻量级虚拟机验证

    近日, 中国电信研究院成功研发业界首个支持RISC-V的云原生轻量级虚拟机TeleVM,并联合赛昉科技在高性能RISC-V CPU IP——昉·天枢上完成了软硬件协同测试验证。 测试结
    发表于 05-11 14:08