0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经模态芯片发展的方向

lviY_AI_shequ 来源:YXQ 2019-08-09 18:48 次阅读

神经模态芯片的发展方向首先是规模化,即扩大神经元的规模,这也是Intel和IBM等大厂主要押注的方向。

如果我们回顾深度学习的发展历程,我们会发现其实神经网络的原理早在上世纪60年代就已初见雏形,但是由于训练数据量不够以及算力不够,因此直到2012年才被人们重新发现,并且发现了众多之前完全没有想到的应用场景和市场。对于神经模态计算,大厂押注的也是类似的情况:神经模态计算的原理看起来是正确的(尤其是今天深度学习已经获得了很大的成功,那么基于相似原理的神经模态计算应该不会很不靠谱),目前或许只要把神经元的数量和神经突触连接数量跨过一个阈值(就像当年AlexNet跨过网络深度的门槛一样),那么神经模态计算就有可能爆发出巨大的能量,甚至远超之前的想象。这次Intel发布的超过八百万神经元的Pohoiki Beach系统显然就是在往规模化的方向大力发展。

根据Intel的官方消息,下一步将继续发布神经元数量更大的Pohoiki Spring计划,可见Intel是在往大规模神经模态计算的方向大力推进。

除了发展规模化之外,另一个方向就是利用神经模态计算低功耗和低延迟的特点并进一步优化芯片设计来开发出高能效比低延迟的芯片。这类芯片或许神经元数量不多,但是可以实现非常低的功耗和非常好的能效比,从而可以部署在传统深度学习无法部署的场景。事实上,目前如何高效训练大规模神经模态神经元的算法还没有找到,因此在现有训练框架的基础下,或许优先把能效比做到极致是比把神经元数量做大更接地气的方向。

瑞士苏黎世理工大学的Giacomo Indiveri教授就是这个方向的代表性人物,研究组在十数年内已经发表了多篇电路和系统论文,其研发的芯片作为欧洲神经模态计算研究的代表性工作在2018年ISSCC主题演讲中被重点介绍。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IBM
    IBM
    +关注

    关注

    3

    文章

    1661

    浏览量

    74241
  • intel
    +关注

    关注

    19

    文章

    3444

    浏览量

    184725

原文标题:市面精品 | 全套英语学习资源泄露,手慢则无!(禁止外传)

文章出处:【微信号:AI_shequ,微信公众号:人工智能爱好者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    集成芯片引脚如何辨识方向

    集成芯片引脚的方向辨识主要依赖于芯片的设计特点和标记方式。
    的头像 发表于 03-25 14:07 108次阅读

    自动驾驶和多模态大语言模型的发展历程

    模态大语言模型(MLLM) 最近引起了广泛的关注,其将 LLM 的推理能力与图像、视频和音频数据相结合,通过多模态对齐使它们能够更高效地执行各种任务,包括图像分类、将文本与相应的视频对齐以及语音检测。
    发表于 12-28 11:45 158次阅读
    自动驾驶和多<b class='flag-5'>模态</b>大语言模型的<b class='flag-5'>发展</b>历程

    语音识别技术最新进展:视听融合的多模态交互成为主要演进方向

    电子发烧友网报道(文/李弯弯)所谓“模态”,英文是modality,用通俗的话说,就是“感官”,多模态即将多种感官融合。多模态交互技术是近年来人工智能领域的一项重要创新。随着语音识别技术的发展
    的头像 发表于 12-28 09:06 1355次阅读
    语音识别技术最新进展:视听融合的多<b class='flag-5'>模态</b>交互成为主要演进<b class='flag-5'>方向</b>

    人工智能领域多模态的概念和应用场景

    随着人工智能技术的不断发展,多模态成为了一个备受关注的研究方向。多模态技术旨在将不同类型的数据和信息进行融合,以实现更加准确、高效的人工智能应用。本文将详细介绍多
    的头像 发表于 12-15 14:28 2324次阅读

    大模型+多模态的3种实现方法

    我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上引入跨模态的信息,让其变得更强大、更通用呢?本节将介绍“大模型+多
    的头像 发表于 12-13 13:55 567次阅读
    大模型+多<b class='flag-5'>模态</b>的3种实现方法

    探究编辑多模态大语言模型的可行性

    不同于单模态模型编辑,多模态模型编辑需要考虑更多的模态信息。文章出发点依然从单模态模型编辑入手,将单模态模型编辑拓展到多
    发表于 11-09 14:53 224次阅读
    探究编辑多<b class='flag-5'>模态</b>大语言模型的可行性

    汽车芯片未来的发展方向和机会

    将对汽车芯片的未来发展方向和机会进行深入探讨。1.辅助驾驶与自动驾驶芯片辅助驾驶技术,也被称为ADAS(AdvancedDriverAssistanceSystem
    的头像 发表于 10-13 08:28 813次阅读
    汽车<b class='flag-5'>芯片</b>未来的<b class='flag-5'>发展方向</b>和机会

    以四点法为例讲解模态识别方法

    导读:模态分析是研究结构动力特性一种近代方法,是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性,每一个模态具有特定的固有频率、阻尼比和模态振型。这些
    的头像 发表于 08-24 11:42 1902次阅读
    以四点法为例讲解<b class='flag-5'>模态</b>识别方法

    卷积神经网络的基本原理 卷积神经网络发展 卷积神经网络三大特点

    卷积神经网络的基本原理 卷积神经网络发展历程 卷积神经网络三大特点  卷积神经网络的基本原理 卷积神经
    的头像 发表于 08-21 16:49 1267次阅读

    AI芯片的诞生和发展背景 AI芯片发展的技术方向 AI芯片发展趋势

    随着类ChatGPT人工智能技术的快速发展,AI大模型作为重要的技术方向已经取得显著进展,应用场景不断拓展和渗透,全球科技企业纷纷入场角逐。然而,由此带来的算力瓶颈问题正越来越受到关注。AI大模型
    发表于 08-16 10:11 2233次阅读

    如何减小模态转换的影响呢?

    “传输通道结构发生变化时,在两种结构的交界处电磁场的模态(也就是场型、分布)会发生变化,进而产生模态转换。”
    的头像 发表于 06-16 11:19 953次阅读
    如何减小<b class='flag-5'>模态</b>转换的影响呢?

    邱锡鹏团队提出具有内生跨模态能力的SpeechGPT,为多模态LLM指明方向

    大型语言模型(LLM)在各种自然语言处理任务上表现出惊人的能力。与此同时,多模态大型语言模型,如 GPT-4、PALM-E 和 LLaVA,已经探索了 LLM 理解多模态信息的能力。然而,当前
    的头像 发表于 05-22 14:38 425次阅读
    邱锡鹏团队提出具有内生跨<b class='flag-5'>模态</b>能力的SpeechGPT,为多<b class='flag-5'>模态</b>LLM指明<b class='flag-5'>方向</b>

    ImageBind:跨模态之王,将6种模态全部绑定!

    最近,很多方法学习与文本、音频等对齐的图像特征。这些方法使用单对模态或者最多几种视觉模态。最终嵌入仅限于用于训练的模态对。因此,视频 - 音频嵌入无法直接用于图像 - 文本任务,反之亦然。学习真正的联合嵌入面临的一个主要障碍是缺
    的头像 发表于 05-11 09:30 608次阅读
    ImageBind:跨<b class='flag-5'>模态</b>之王,将6种<b class='flag-5'>模态</b>全部绑定!

    AI芯片发展历史及最新趋势

    Learning, DL)及为什么需要使用AI芯片,而AI芯片又有那些常见分类及未来可能发展方向。接下来就逐一为大家介绍不同类型的AI芯片用途及优缺点。
    的头像 发表于 05-06 16:33 1217次阅读
    AI<b class='flag-5'>芯片</b><b class='flag-5'>发展</b>历史及最新趋势

    什么是模态分析?为什么要进行模态分析?

    模态:物体按照某一阶固有频率振动时,物体上各个点偏离平衡位置的位移是满足一定的比例关系的,可以用一个向量表示,这个就称之为模态
    的头像 发表于 04-04 10:39 1.2w次阅读