2025年12月11日,灵汐杭州电信类脑智算集群在杭州正式发布。该集群由杭州灵汐类脑科技有限公司牵头,杭州电信、中国电子科技南湖研究院以及脑启社区作为合作方参与。该集群部署在中国电信杭州智算中心,整体规模超百亿神经元、算力规模超200POPS,这也是国内首个支持大模型快速推理的类脑智算集群。
窦伟博士主持圆桌讨论,与六位嘉宾共同探讨类脑智能如何探索未来智算新模式。作为类脑智能技术的创新应用成果,该集群核心亮点在于模仿人类神经元连接方式,具备“存算一体、众核并行、稀疏计算、事件驱动”四大特性,直接破解了传统大模型推理的痛点,实现 “一快、一低、一降” 的突破性表现:
推理速度快:单用户推理延迟控制在毫秒级,可流畅支撑实时交互与长文本深度推理,彻底告别卡顿,性能远超传统方案;首 token 延迟低:延迟可降至百毫秒乃至十毫秒级,响应速度再升级;功耗大幅下降:较业界同等推理算力水平,功耗直降 1/2 至 2/3 以上,绿色低碳优势显著。
更值得关注的是,不同于纯神经拟态的专用技术路线,灵汐科技异构融合类脑芯片及系统可同时高效支持深度学习神经网络和脉冲神经网络,兼容 PyTorch、TensorFlow 等主流深度学习框架,能直接服务于多类开源大模型的快速推理,兼容性与实用性拉满!
发布仪式上,华宝洪还介绍了灵汐科技面向智算中心的新一代高密类脑计算产品。LynAInfra 128一体化方案(简称LynAInfra 128)是由灵汐科技自研的一体化大模型推理算力方案,为大模型提供模块化算力服务。通过多机柜的级联拓展,可支持各类规格的大模型,为客户提供一体化、高性能、低延时的大模型推理服务。
当前,大模型推理普遍面临吞吐速度慢、高延迟等问题,严重制约行业应用落地。而灵汐科技基于类脑智能技术打造的“高实时、高吞吐、低延迟”推理服务解决方案,正针对性破解这一痛点。未来,该方案将逐步在金融应用、情感陪聊、快速导览、大规模数据标注,以及无人机实时航拍处理、灾害预警与应急处置等多个领域落地应用,如安康ai玩具联合实验室推出的赛赛猫毛绒ai玩具,依托电信类脑集群提供大模型快速推理的算力支撑。
从首个类脑智算集群发布到新一代高密产品(LynAInfra)亮相,灵汐科技正以类脑智能为核心,持续探索未来智算新模式。这场 “时间敏感型推理” 的技术革命已悄然启程,让我们共同期待类脑智能赋能更多场景,书写产业智能化升级的新篇章!
-
集群
+关注
关注
0文章
158浏览量
17704 -
灵汐科技
+关注
关注
0文章
19浏览量
1569 -
大模型
+关注
关注
2文章
3873浏览量
5300
原文标题:重磅发布!国内首个类脑智算集群落地,大模型推理实现 “毫秒级响应”
文章出处:【微信号:北京灵汐科技有限公司,微信公众号:北京灵汐科技有限公司】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
灵汐科技深度参编的2026类脑计算芯片技术发展研究报告正式发布
【匠师共研】系列之二 解锁铁电材料密码,铺就类脑存算一体工程化之路
灵汐杭州电信类脑智算集群正式发布
评论