0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经拟态计算是如何降耗的

要长高 2024-06-07 15:35 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

自计算机问世以来,运算效能与能耗消耗两大议题始终困扰着计算产业。在人工智能崛起的背景下,全球各地科研机构及相关公司积极探索提高处理器算力的新方法,神经拟态处理器即是一种创新尝试。

如何模仿大脑思维?

神经拟态计算,即模拟和探索人脑神经网络及其运作规律的领域,我们将之称为类脑计算或神经形态计算。数十年来,科学家们致力于复刻生物神经元的多功能运算模式,以期研发出高效能且低功耗的机器学习系统。

历经多年探索,业界已形成三种神经拟态处理器的实现路径。一为数字CMOS型,通过逻辑门电路模拟生物单元行为;二为数模混合的CMOS型,借助亚阈值模拟电路呈现生物神经元特性;前两者均基于硅基晶体管。第三种则是研发新型器件,如忆阻器、相变存储器、铁电器件、磁隧道结、离子栅控晶体管等,并采用非硅基材料。

然而,目前大部分研究尚未实现商业化生产。英特尔作为众多研究机构中的佼佼者,选择了第一种实现方式——用晶体管模拟人类神经元功能。其中,如何让处理器达到类似人脑的节能效果,便是他们的重要研究课题。

德国海德堡大学物理学家卡尔海因茨·迈耶(Karlheinz Meier)指出,相比计算机,人脑具有三大优势:低能耗,仅需约20瓦特的能量。

今年四月,英特尔推出神经拟态系统Hala Point。据称,该系统在处理AI推理负载和优化问题方面,速度较常规CPUGPU架构快50倍,而能耗却降低了100倍。近日,英特尔中国研究院院长宋继强向中国电子报记者详解了该系统模拟人脑节能的实现原理。他首先解释了市场上常见芯片系统的频率特征:通常提及的CPU主频,如5GHz,代表同步时钟的频率,即芯片内所有逻辑门、存储均以此频率运行,或在此基础上进行降级。例如,总线频率可能低于CPU主频,I/O接口频率更低,但总体来看,同一芯片内所有组件均受同步时钟驱动,从而实现同时工作。因此,各部件能耗也同步进行。

宋继强表示,英特尔的神经拟态计算无需同步时钟,取代之的是“时间步”概念——每当任务结束,“神经元”便依据预定顺序逐步推进。每个时间步里,信号均由一个神经元传至下一个,以此方式进行传播和扩散。尽管神经拟态计算要求系统在时间步级别保持同步,但并非所有神经元需在所有工作序列中完全同步,允许有些任务快速处理,有些则缓慢处理。这与人类大脑类似,部分神经元负责处理嗅觉信息,同时另一部分则处理视觉信息。因此,在神经拟态计算系统中,有任务执行的路径会消耗电力,其余路径则处于休眠状态。即使是大规模的神经拟态集群,其运行时神经元也仅进行少量并行运算。

该计算系统另一节能策略在于其存算一体的结构。当前市场上计算系统的能源消耗主要集中于计算和数据传输两个方面,而神经拟态计算系统通过实现存算一体,成功规避了传统核内外架构在处理大量数据传输时产生的能量损失。

节能与否,取决于具体情境

低能耗被视为神经拟态处理器的天然架构优势。早在2020年,宋继强就曾公开宣称:神经拟态计算在算法及芯片设计上,可以千分之一以内的功耗完成同等效果的模型训练。浙江大学的唐华锦教授亦认同神经拟态芯片为环保型芯片,因其体积小、功耗低,符合生物进化的根本优势。

然而,根据Hala Point最新实践成果,该架构处理器的节能效果与其使用情境密切相关。宋继强指出,现阶段发现该系统在处理物流调度数据中心的大规模优化任务时能效表现最佳,相较于CPU+GPU组合方案节能高达3000倍。

“但这并非指数据中心所有工作负载,仅针对个别项目。”他补充道,“我们正努力寻找该系统适用的场景,若赋予其不适宜的任务,能耗或高于原有处理系统。”

至于HalaPoint能否解决当前大模型训练中的高能耗问题,宋继强回应称:该系统设计初衷并非专为大模型服务,故不适合大规模数据输入。

ResNet50网络(残差网络的一种)是验证Hala Point节能效果的典型场景之一。在此类应用中,经优化的Hala Point在达到相同性能前提下,能耗可降至原有方案的百分之一以下。对于某些特定深度的神经网络,如视觉识别类应用,通过在脉冲神经网络上进行适当调整,结合硬件层面的适配,同样有助于降低能耗。

总的来说,该系统在稀疏性局部并发型应用中表现更为出色。目前,市面上大部分神经拟态处理器主要应用于机器人无人机等领域。宋继强透露,HalaPoint约有一半的应用涉及机器人、操控、多模态视觉等方面。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20154

    浏览量

    247501
  • 英特尔
    +关注

    关注

    61

    文章

    10276

    浏览量

    179379
  • 神经
    +关注

    关注

    0

    文章

    46

    浏览量

    12760
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    节能降耗平台的四大技术架构

    面对持续攀升的能源成本与日益严格的“双碳”政策,企业的节能工作正面临深层挑战:孤立的设备改造效益递减,而管理层面的“软性浪费”却难以触及。 节能降耗平台 应运而生,它不再是简单的能耗监测工具,而是一
    的头像 发表于 12-03 10:43 155次阅读
    节能<b class='flag-5'>降耗</b>平台的四大技术架构

    NMSIS神经网络库使用介绍

    NMSIS NN 软件库是一组高效的神经网络内核,旨在最大限度地提高 Nuclei N 处理器内核上的神经网络的性能并最​​大限度地减少其内存占用。 该库分为多个功能,每个功能涵盖特定类别
    发表于 10-29 06:08

    脉冲神经元模型的硬件实现

    会发生泄漏而降低。 以下公式 用来计算LIF模型的膜电势 其中表示神经元的膜电势,vrest 代表神经元复位电位,为时间常数。是权重和输入脉冲的乘累加,结果再与膜电势相加。当神经
    发表于 10-24 08:27

    CICC2033神经网络部署相关操作

    在完成神经网络量化后,需要将神经网络部署到硬件加速器上。首先需要将所有权重数据以及输入数据导入到存储器内。 在仿真环境下,可将其存于一个文件,并在 Verilog 代码中通过 readmemh 函数
    发表于 10-20 08:00

    能碳管理系统:如何助力企业解决节能降耗问题?

    在全球能源转型与“双碳”目标的大背景下,节能降耗已从企业可选项变为生存与发展的必答题。它不仅是降低成本、提升竞争力的经济诉求,更是履行社会责任、构建绿色未来的战略选择。然而,传统节能管理方式常常面临
    的头像 发表于 09-18 14:53 416次阅读
    能碳管理系统:如何助力企业解决节能<b class='flag-5'>降耗</b>问题?

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类脑芯片

    功耗和并行处理信息能力。 类脑芯片的理论基础是神经形态计算,即借鉴生物神经系统信息的处理模式和结构,以人脑为蓝本、旨在构建能够像人脑一样学习、感知及决策的计算系统。 实现
    发表于 09-17 16:43

    神经网络的并行计算与加速技术

    随着人工智能技术的飞速发展,神经网络在众多领域展现出了巨大的潜力和广泛的应用前景。然而,神经网络模型的复杂度和规模也在不断增加,这使得传统的串行计算方式面临着巨大的挑战,如计算速度慢、
    的头像 发表于 09-17 13:31 901次阅读
    <b class='flag-5'>神经</b>网络的并行<b class='flag-5'>计算</b>与加速技术

    新一代神经拟态类脑计算机“悟空”发布,神经元数量超20亿

    电子发烧友网综合报道 8月2日,浙江大学脑机智能全国重点实验室发布新一代神经拟态类脑计算机——Darwin Monkey(中文名“悟空”)。   “悟空”堪称国际首台神经元规模超20亿
    的头像 发表于 08-06 07:57 7294次阅读
    新一代<b class='flag-5'>神经</b><b class='flag-5'>拟态</b>类脑<b class='flag-5'>计算</b>机“悟空”发布,<b class='flag-5'>神经</b>元数量超20亿

    空间计算是如何运作的?它有哪些优势?

    空间计算将数字数据与物理世界实时融合,通过增强现实和虚拟现实头显或智能眼镜等设备、增强混合现实交互。
    的头像 发表于 07-02 09:14 940次阅读

    你以为的安全,真的安全吗?——拟态安全,一场关于认知的博弈

    一种系统漏洞,结果目标系统已经“变身”了,那么还能成功得手嘛?这就是 拟态安全 所带来的防护体系。   拟态安全是什么? 拟态安全是一种基于动态异构冗余架构(DHR)的主动防御技术,是由中国工程院邬江兴院士根据
    的头像 发表于 04-14 10:45 401次阅读
    你以为的安全,真的安全吗?——<b class='flag-5'>拟态</b>安全,一场关于认知的博弈

    【「芯片通识课:一本书读懂芯片技术」阅读体验】从deepseek看今天芯片发展

    神经元并行处理问题的能力,所以NPU要用大量计算单元(也称为“算子”)构成一个神经网络,而且这些算子的数据存储和计算是一体化的。这就突破了传统的冯·诺依曼
    发表于 04-02 17:25

    大数据与云计算是干嘛的?

    大数据与云计算是支撑现代数字化技术的两大核心。大数据专注于海量数据的采集、存储、分析与价值挖掘;云计算通过虚拟化资源池提供弹性计算、存储及服务能力。两者结合,共同赋能企业决策、业务创新和效率提升。下面UU云小编将详细剖析大数据与
    的头像 发表于 02-20 14:48 1286次阅读

    BP神经网络与卷积神经网络的比较

    BP神经网络与卷积神经网络在多个方面存在显著差异,以下是对两者的比较: 一、结构特点 BP神经网络 : BP神经网络是一种多层的前馈神经网络
    的头像 发表于 02-12 15:53 1354次阅读

    什么是BP神经网络的反向传播算法

    神经网络(即反向传播神经网络)的核心,它建立在梯度下降法的基础上,是一种适合于多层神经元网络的学习算法。该算法通过计算每层网络的误差,并将这些误差反向传播到前一层,从而调整权重,使得网
    的头像 发表于 02-12 15:18 1304次阅读

    多大的云服务器算是高防的?

    多大的云服务器算是高防的?“多大”的云服务器算是高防并没有一个固定的标准,因为这取决于多种因素,如服务器的硬件配置、网络带宽、安全防护策略等。以下是UU云小编对高防云服务器的一些关键特征的介绍:
    的头像 发表于 01-14 09:36 761次阅读