0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

国内科学家团队发布超大规模AI预训练模型

工程师邓生 来源: 爱集微APP 作者: 爱集微APP 2021-03-21 10:09 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

据消息,北京智源人工智能研究院发布四个超大规模人工智能预训练模型,统称为“悟道1.0”,涵盖中文语言、多模态、认知、蛋白质预测四个领域,是帮助国内企业、机构开发人工智能应用的大型基础设施。

“悟道1.0”由智源研究院学术副院长、清华大学唐杰教授领衔,带领来自北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合攻关,同时与快手、搜狗、360、阿里、新华社等龙头企业共同研发工业级示范性应用。

智源研究院院长黄铁军教授介绍,近几年这轮人工智能浪潮的基本特点是“数据+算力+算法=模型”,模型浓缩了训练数据的内部规律,是实现人工智能应用的载体。近年来人工智能的发展,已经从“大炼模型”逐步迈向了“炼大模型”的阶段,通过设计先进的算法,整合尽可能多的数据,汇聚大量算力,集约化地训练大模型,供大量企业使用,是必然趋势。

智源研究院2020年10月启动“悟道”项目,研发规模大(主要体现为参数量)、智商高、具备类人认知能力、统一对多模态数据的理解和建模、满足各种应用需要的预训练模型,特别是注重中文语料的采集和训练。

责任编辑:lq6

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 搜狗
    +关注

    关注

    0

    文章

    91

    浏览量

    14229
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261397
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    国际类脑计算科学家Yulia Sandamirskaya教授加盟时识科技

    近日,国际类脑计算与神经形态机器人领域知名科学家Yulia Sandamirskaya 教授,作为科学家顾问正式加入时识科技(SynSense)。
    的头像 发表于 10-13 13:50 434次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI科学应用

    AI被赋予了人的智能,科学家们希望在没有人类的引导下,AI自主的提出科学假设,诺贝尔奖级别的假设哦。 AI驱动
    发表于 09-17 11:45

    基于大规模人类操作数据训练的VLA模型H-RDT

    近年来,机器人操作领域的VLA模型普遍基于跨本体机器人数据集训练,这类方法存在两大局限:不同机器人本体和动作空间的差异导致统一训练困难;现有大规模
    的头像 发表于 08-21 09:56 771次阅读
    基于<b class='flag-5'>大规模</b>人类操作数据<b class='flag-5'>预</b><b class='flag-5'>训练</b>的VLA<b class='flag-5'>模型</b>H-RDT

    伟创力高效电源模块在超大规模数据中心的应用

    受云端存储和数据处理需求持续增长的推动,数据中心正以前所未有的速度扩张。当前全球超大规模数据中心,即规模最大的那些数据中心,总容量在过去四年内翻了一番,并仍在不断增长。
    的头像 发表于 07-07 15:41 893次阅读

    超大规模芯片验证:基于AMD VP1902的S8-100原型验证系统实测性能翻倍

    引言随着AI、HPC及超大规模芯片设计需求呈指数级增长原型验证平台已成为芯片设计流程中验证复杂架构、缩短迭代周期的核心工具。然而,传统原型验证系统受限于单芯片容量(通常
    的头像 发表于 06-06 13:13 1089次阅读
    <b class='flag-5'>超大规模</b>芯片验证:基于AMD VP1902的S8-100原型验证系统实测性能翻倍

    CMOS超大规模集成电路制造工艺流程的基础知识

    本节将介绍 CMOS 超大规模集成电路制造工艺流程的基础知识,重点将放在工艺流程的概要和不同工艺步骤对器件及电路性能的影响上。
    的头像 发表于 06-04 15:01 1878次阅读
    CMOS<b class='flag-5'>超大规模</b>集成电路制造工艺流程的基础知识

    纳微半导体推出12kW超大规模AI数据中心电源

    近日,纳微半导体宣布推出专为超大规模AI数据中心设计的最新12kW量产电源参考设计,可适配功率密度达120kW的高功率服务器机架。
    的头像 发表于 05-27 16:35 1148次阅读

    AI原生架构升级:RAKsmart服务器在超大规模模型训练中的算力突破

    近年来,随着千亿级参数模型的崛起,AI训练对算力的需求呈现指数级增长。传统服务器架构在应对分布式训练、高并发计算和显存优化等场景时逐渐显露瓶颈。而RAKsmart为
    的头像 发表于 04-24 09:27 608次阅读

    DeepSeek推动AI算力需求:800G光模块的关键作用

    随着人工智能技术的飞速发展,AI算力需求正以前所未有的速度增长。DeepSeek等大模型训练与推理任务对算力的需求持续攀升,直接推动了服务器、光通信设备以及数据中心基础设施的升级。特别是在
    发表于 03-25 12:00

    用PaddleNLP为GPT-2模型制作FineWeb二进制训练数据集

    作者:算力魔方创始人/英特尔创新大使刘力 《用PaddleNLP在4060单卡上实践大模型训练技术》发布后收到读者热烈反响,很多读者要求进一步讲解更多的技术细节。本文主要针对大语言
    的头像 发表于 03-21 18:24 3805次阅读
    用PaddleNLP为GPT-2<b class='flag-5'>模型</b>制作FineWeb二进制<b class='flag-5'>预</b><b class='flag-5'>训练</b>数据集

    训练好的ai模型导入cubemx不成功怎么处理?

    训练好的ai模型导入cubemx不成功咋办,试了好几个模型压缩了也不行,ram占用过大,有无解决方案?
    发表于 03-11 07:18

    伟创力如何应对超大规模数据中心建设挑战

    在当今瞬息万变的数字世界中,数据中心正面临着前所未有的挑战。随着人工智能(AI)的迅速崛起,传统的数据中心设计与运营模式遭遇了巨大压力。伟创力通信、企业和云业务总裁Rob Campbell 指出,超大规模数据中心建设面临独特挑战,传统运营模式亟待革新。
    的头像 发表于 03-06 13:58 751次阅读

    NVIDIA RAPIDS cuDF如何赋能AI加速数据科学

    随着 AI 正帮助各行各业推动创新和提高效率,基于海量的高质量数据来训练各种模型是充分发挥 AI 应用潜力的必经之路,正因如此,数据科学家
    的头像 发表于 01-24 09:26 1025次阅读

    一文说清楚什么是AI模型

    目前,大模型(特别是在2023年及之后的语境中)通常特指大语言模型(LLM, Large Language Model),但其范围也涵盖其他领域的超大规模深度学习模型,例如图像生成
    的头像 发表于 01-02 09:53 3941次阅读
    一文说清楚什么是<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>

    西湖大学:科学家+AI,科研新范式的样本

    研究,创新科研新范式。这一点在西湖大学的科研项目中已得到体现。 成立于2018年的西湖大学是由施一公院士领衔创办的、聚焦前沿科学研究的研究型大学,该校鼓励科学家们探索AI与各学科交叉融合,为科研创新提速。为此,西湖大学在浪潮信息
    的头像 发表于 12-12 15:59 847次阅读
    西湖大学:<b class='flag-5'>科学家</b>+<b class='flag-5'>AI</b>,科研新范式的样本