0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

全光深度储备池计算机突破大模型训练难题

微云疏影 来源:综合整理 作者:综合整理 2024-01-23 10:01 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

当前,人工智能的飞速发展催生了大模型对海量算力的无尽渴望,使得原本基于冯诺依曼结构的计算机遇到了巨大的挑战。为此,寻找一种新的高效计算机结构来替代经典架构,成为了业内专家们长久以来的探索方向。近期,来自上海科技大学的研究团队便取得了突破性进展,他们首次研发出了全光深度储备池计算机,并在著名学术刊物《Optica》上公开发表了这一开创性的成果——名为“Deep photonic reservoir computing recurrent network”的论文。

储备池计算(Reservoir Computing)作为在2000年被提出的先进理念,是一类以较少培训成本和低硬件投入实现的可逆循环神经网络(RNN),在时序数据处理中拥有广泛的适用领域,诸如波形辨别、语音识别及时间序列预测等。尽管其使得训练成本更低且具有高效率、低延迟的优点,但却不适应那些需要深度神经网络多层次处理信息的大型模型,因为多数硬件储备池计算机只有一层厚度,无法胜任处理现实生活中纷繁复杂任务的需求。

然而,该研究团队这次创新性的成就便是通过运用级联光注入锁定的全新技术,成功组建了共4个隐藏层。这种储备池光计算机的独特之处在于,每个隐藏层都是由半导体激光芯片与光学反馈环组成,且两个层面之间的联系采用全光形式进行,无需经过光电变换或数模转换,这不仅大大降低了能源消耗,也有效缩短了延迟时间。

据悉,此款计算机工作频率高达20GHz,延迟时间仅为263ns,具备生成超过5000个神经元节点以及101TOPS强大算力的能力。此外,由于每一层都由相应的激光芯片提供能量,故而无论储备池深度如何扩展,系统中的光功率均不受影响。

为了论证这一计算机解决实际问题的能力,科研团队选取了四个隐藏层共计320个互连神经元(每层80个)来解决光纤通信领域的重要挑战——非线性信道均衡问题,这也是华为早先提出的后香农时代十大数学难题之一。试验结果显示,这款深度储备池光计算机展现出极强的光纤非线性补偿功能,有力提升了光纤信道的通信容量。

据了解,相较于市场主流的边缘计算产品,同功耗下的储备池光计算机算力至少高出1个数量级,且能将时延降低3至4个数量级。因此,未来这一新形态的储备池光计算机将被广泛应用于如智能制造、机器人、智慧医疗、智慧交通、智能家居等各类边缘计算应用场景。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4841

    浏览量

    108150
  • 大模型
    +关注

    关注

    2

    文章

    3761

    浏览量

    5269
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    千比特量子计算机横空出世!国产企业进入商业化“快车道”

    量子相继宣布新一轮融资,玻色量子还发布了国内首个突破千比特规模的专用量子计算机“驭量·山海1000”。     量子+A I成为关注点, 国内量子计算机多路线并进 什么是量子计算机?与
    的头像 发表于 04-14 09:07 5312次阅读
    千比特量子<b class='flag-5'>计算机</b>横空出世!国产企业进入商业化“快车道”

    Renesas 3858 组单芯片 8 位 CMOS 微计算机深度解析

    Renesas 3858 组单芯片 8 位 CMOS 微计算机深度解析 在电子设备不断发展的今天,微计算机作为核心部件,其性能和特性对于整个系统的运行起着至关重要的作用。今天我们就来深入探讨一下
    的头像 发表于 04-13 15:00 130次阅读

    计算机专业408考研科目

    408 跨考零基础:三个月入门到精通路线 站在2026年的节点回望,计算机考研408(计算机学科专业基础综合)早已超越了单纯的知识点考核,它更像是一场对逻辑思维与系统观的深度洗礼。对于跨考且零基
    发表于 04-11 16:44

    TDK和北海道大学联合开发模拟储备AI芯片原型

    随着AI时代的到来,AI所需的海量运算处理和电力消耗等成为全球性课题。“储备计算”作为解决方案之一而备受关注。与模仿大脑的万能“神经形态设备”不同,“储备
    的头像 发表于 11-24 11:22 932次阅读
    TDK和北海道大学联合开发模拟<b class='flag-5'>储备</b><b class='flag-5'>池</b>AI芯片原型

    高压放大器在铁磁铁电异质结储备计算中的前沿探索

    实验名称: 高压放大器 在铁磁铁电异质结系统物理储备计算中的应用 实验内容:将信号发生器产生的一段任意波形经高压放大器放大后输入到系统中,探测系统的实时输出,并对该系统进行储备
    的头像 发表于 11-03 16:14 558次阅读
    高压放大器在铁磁铁电异质结<b class='flag-5'>储备</b><b class='flag-5'>池</b><b class='flag-5'>计算</b>中的前沿探索

    2025中国计算机大会DPU技术论坛成功举办

    近日,备受瞩目的第22届中国计算机大会(CNCC2025)在哈尔滨开幕。本届大会注册人数突破1.2万人,汇聚了来自全球计算机领域的顶尖学者、产业领袖、青年学子及国际组织代表。大会以“数智赋能、无限可能”为主题,旨在
    的头像 发表于 11-02 09:29 879次阅读

    蔚来出席CNCC 2025中国计算机大会技术论坛

    2025年10月23日,CNCC 2025中国计算机大会技术论坛「AI落地应用的主战场——智能电动汽车」在哈尔滨成功举行。论坛聚焦计算机技术与汽车产业的深度融合,汇聚产业界与学术界顶尖专家,围绕世界
    的头像 发表于 10-27 15:47 751次阅读

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    , batch_size=512, epochs=20)总结 这个核心算法中的卷积神经网络结构和训练过程,是用来对MNIST手写数字图像进行分类的。模型将图像作为输入,通过卷积和化层提取图像的特征,然后通过
    发表于 10-22 07:03

    【作品合集】赛昉科技VisionFive 2单板计算机开发板测评

    VisionFive 2 上为目标检测准备软件环境并运行 MobileNet-SSD 模型【VisionFive 2单板计算机试用体验】VisionFive 2复古游戏机改造 作者:TLLED【VisionFive 2
    发表于 09-04 09:08

    自动化计算机经过加固后有什么好处?

    让我们讨论一下部署坚固的自动化计算机的一些好处。1.温度范围宽自动化计算机经过工程设计,配备了支持宽温度范围的组件,使自动化计算解决方案能够在各种不同的极端环境中运行。自动化计算机能够
    的头像 发表于 07-21 16:44 744次阅读
    自动化<b class='flag-5'>计算机</b>经过加固后有什么好处?

    自动化计算机的功能与用途

    工业自动化是指利用自动化计算机来控制工业环境中的流程、机器人和机械,以制造产品或其部件。工业自动化的目的是提高生产率、增加灵活性,并提升制造过程的质量。工业自动化在汽车制造中体现得最为明显,其中许多
    的头像 发表于 07-15 16:32 887次阅读
    自动化<b class='flag-5'>计算机</b>的功能与用途

    工业计算机与商用计算机的区别有哪些

    工业计算机是一种专为工厂和工业环境设计的计算系统,具有高可靠性和稳定性,能够应对恶劣环境下的自动化、制造和机器人操作。其特点包括无风扇散热技术、无电缆连接和防尘防水设计,使其在各种工业自动化场景中
    的头像 发表于 07-10 16:36 906次阅读
    工业<b class='flag-5'>计算机</b>与商用<b class='flag-5'>计算机</b>的区别有哪些

    DCU率先展开文心系列模型深度技术合作 FLOPs利用率(MFU)达47%

    模型深度技术适配,预训练模型FLOPs利用率(MFU)达到47%,在多个文本与多模态基准测试中取得SOTA水平。此次合作标志着国产算力基础设施与大
    的头像 发表于 07-01 14:35 2524次阅读

    NVIDIA驱动的现代超级计算机如何突破速度极限并推动科学发展

    现代高性能计算不仅使得更快的计算成为可能,它正驱动着 AI 系统解锁更多领域的科学突破。 高性能计算经历了多次迭代,每一次都源于对技术的创造性再利用。例如,早期的超级
    的头像 发表于 06-26 19:39 1417次阅读
    NVIDIA驱动的现代超级<b class='flag-5'>计算机</b>如何<b class='flag-5'>突破</b>速度极限并推动科学发展

    一文带你了解工业计算机尺寸

    一项艰巨的任务。本博客将指导您了解关键的工业计算机尺寸、使用案例。关键工业计算机外形要素及其使用案例一、工业微型PC尺寸范围:宽度:100毫米-180毫米深度:10
    的头像 发表于 04-24 13:35 1195次阅读
    一文带你了解工业<b class='flag-5'>计算机</b>尺寸