0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

zhKF_jqr_AI 来源:未知 作者:李倩 2018-08-15 08:47 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

编者按:CIFAR是加拿大政府牵头投资的一个先进科学项目研究所,多年来,它致力于为各行各业的佼佼者提供研究资金支持,其中包括机器学习领域的两位先驱:Hinton和Bengio。近日,CIFAR官网刊登了一篇对Yoshua Bengio的专访,在文章中,Bengio不仅讲述了研究实验室从无到有的建设过程,也展示了自己青年时期的彷徨和梦想。

Yoshua Bengio,听到这个名字,相信不少人心中会升起一股钦佩。Hinton、Bengio、LeCun,曾经的加拿大学术界“三剑客”,也是公认的北美地区深度学习“三巨头”。如今他们一个去了Google,一个去了Facebook,连曾经梦想着为工业界输送生力军的Bengio,最后还是走出了大学的三层教学楼,接过微软递来的“橄榄枝”。

但总的来说,Bengio是三人中最看重学术纯粹性的。虽然在微软担任顾问,他现在还是CIFAR机器与大脑学习项目的联合主任,是加拿大计算机科学与运筹学系的全职教授,也是蒙特利尔大学统计学习算法研究主席。

在天下熙熙皆为利来的当前,保持这样一颗教学的初心是不易的。那么,在蒙特利尔大学原本“贫瘠”的土壤中,他是如何缔造出世界上最好的人工智能实验室之一的呢?

唯一的学者

1993年,Yoshua Bengio入职蒙特利尔大学担任教员。在当时,这个法国小伙是学校里唯一一个做机器学习和神经网络的人,所以他对前来询问的学生来者不拒。很快,这份热情就把他压得不堪重负,有了前车之鉴,慢慢的,Bengio逐渐适应了有选择性地答疑。

为了支撑研究进展,除了向学校申请研究资金,Bengio还积极利用校外的社交网络,联系上了在宗师级大牛Michael I.Jordan门下读博士后时有过合作的对象。在这些为数不多的学者中,多伦多大学的Geoffrey Hinton成了他日后的挚友。

时至今日,我们已无法想象独自奋斗的Bengio是怎样一副处境,但在这种情况下,自己拓展,甚至构建“学术圈”似乎是摆脱困境的最好方法。而他是幸运的,蒙特利尔大学在他身上看到了潜力,并迅速给了他教学赞助。

Yoshua Bengio

但缺乏经验的他还是低估了努力奋斗带来的后果。

在学校教学的前7年,Bengio只有两门课,所以有余力去完善自己的人脉网络,花更多时间去做研究。但当第二个孩子出生时,他已经入选加拿大首席研究员计划,教学任务也从两门课也变成了三门课,再加上筹建实验室,他第一次对家庭感到愧疚,也对教师这份工作感到不知所措。

回想起来,我完全可以创造更好的平衡。

我应该向一些年长的教授请教,无论他们和我是不是一个领域的人。如果我不那么内向,我也许能得到更多经验,但当时的我并没有意识到这一点。无论你是哪个部门的人,新教师就应该主动伸出手去建立联系,老教师们通常都很乐意帮忙,只是他们不会主动。

我必须成为专家

虽然没能协调好工作和家庭的关系,但Bengio还是从校外同行身上获得了不少启示。在第一个十年里,他和异地的Hinton进行了大量互动,而正是这些讨论,让他把扰动的心平静下来,专注于自己的研究。

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员,他不应该为了当天的想法忘记自己的长期目标,无论这个想法的背后是否包含金钱、地位诱惑。同时,他每天至少应该为长期目标预留一部分时间,因为这个目标才是事业成功的决定性因素。

想法越多,就越容易陷入困境,也越容易错过重要的东西。

Geoffrey Hinton

在之后的十几年中,机器学习逐渐成了一个“吸金”又“吸睛”的领域,但这个理念一直支撑着Bengio保持“中立”。他认为,每个人都必须找到属于自己的路,如果你的目标是精通某一领域并取得突破,你就必须成为一名专家。因此,如果你是一名年轻的教员,你就应该瞅准一个方向,让自己成为这个领域最强大的人。

这样的观点并不是“站着说话不腰疼”。事实上,早在90年代,神经网络和机器学习就已经引起了工业界的兴趣。当时加拿大政府为了鼓励合作,向研究人员提供了数目可观的科研赞助资金。面对机遇,Bengio自然也无法免俗,当时他找了一些和自己研究契合领域的项目,收了不少赠款。

但这段经历显然给他留下了不良印象。当他向加拿大自然科学和工程研究委员会(NSERC)等组织提出建议时,他发现这些“金主”完全不关心研究人员的想法和意愿,他们只期待几年后的成果报告。

而这还不是更严重的。在学界,科研人员通常没法预测什么是热门课题,自己以后会遇到什么难题。但当你和公司签订协议后,你就可能会丧失研究的纯粹性,转而去迎合公司管理层的喜好。以NSERC的项目为例,Bengio就被要求去做最“先进”的研究,然后不停发表引人注目的研究论文。

对青年研究者来说,这绝对是科研道路上的甜蜜陷阱。

“以人为本”的实验室

凑足经费后,蒙特利尔的人工智能实验室开始步入正轨。早期,由于种种原因,Bengio其实还没有攒够培养博士后的钱,实验室运营捉襟见肘。为了解决这个问题,他尽量招收底子比较扎实的学员,尽快成立了一支强大队伍。至于实验室的管理,他大胆信任学生的自然领导能力,招收实习的博士生、研究生甚至本科生来进行尝试。

我们不应该低估年轻人在管理上的能力,他们可能比年长的人更优秀。

如今,虽然有不少大学都在抱怨科技公司抢走了学校的人才资源,但Bengio并没有为此担心。

相反地,他面对招生一直抱着一种“赌博”的心态。比起计算机科学和机器学习专业的优秀学生,Bengio更喜欢有深厚数学、物理学背景,且对机器学习有极大兴趣的博士。他认为这些人虽然目前进不了Google Brain这样的优质机构,但凭借知识功底,他们可以在短短两三年内就掌握深度学习技术,也能证明自己在这一领域的能力。这是个双赢的结局。

至于这些博士肯不肯来,这完全出于个人选择。如果愿意加入实验室,他们能参与研究,发表论文,大大提高自己对工业界的价值。这也意味着更多的公司选择、更高的职位和更多薪水。当然,有些人也不需要读个博士后来证明自己,他们可以直接入职工作。

另外,对于某些人来说,钱并不是他们的唯一追求。成为博士后带给他们的好处就是了解学术圈的运作方式,参与管理和做一些自己真正喜欢的研究。

机器学习“宗谱”

作为学校的“大老板”,Bengio的实验室已经经历了从最初的3人到现在几十人的蜕变。但这不是一朝一夕就能实现的,他必须学会如何管理更多的人、建立基础设施和管理资金,而这是一个循序渐进的过程。

现如今,许多大型实验室都普遍存在一个问题,就是随着人数增多,实验室发表的论文虽然多了,但教授花在学生身上的时间却少了,那么教授对学生又有什么意义呢?对此,Bengio的做法是把学生从家里拽出来,让他们始终和同学、其他教师互相协作。这样,虽然他们丧失了和教授的一对一关系,但这些人能围绕多个教授形成复杂网络,学到的东西更多。

而这种做法的一个前提就是让学生们亲自到实验室学习,让他们做到物理层面上的靠近。打通他们和陌生教授之间的交流障碍,不断扩大学习小组。

其他事项

既然是跟随导师做研究,研究经费是很多人关注的内容。众多周知,相比美国,加拿大博士的待遇会逊色不少,但这种差距似乎并没有阻止一批批学生投奔Yoshua Bengio的步伐。

在Bengio的实验室里,他采取的方法是把所有资金纳入总的资金池,当学生有科研经费需要时,任何人都会获得资助。换句话说,这其实是让学生放下资金压力,优先把精力投入到合作和研究中,而不是把经费额度作为标尺,衡量自己的科研目标。

当然,这中间必然有一个申请的过程,而资源也一定会向资深教授倾斜,降低他们获得资金的门槛。Bengio认为,如果科研人员不觉得自己受到金钱限制,那么他们一定是抱着快乐和探索的心在研究。

看到这里,也许有读者对跟随Bengio学习已经有所期望。事实上,自从深度学习热度被炒起来后,寻找优质生源对Bengio来说已经成了挑战,因为去年光是申请简历,他就收到了700多份;而今年,这个数字估计会超1000。在这种情况下,他无法做到亲自回复每封电子邮件,学生也没法体现自己的优势。

而Bengio本人也透露了录取率较高的几个途径,一是上他的课,给他留下深刻影响;二是去他的实验室当实习生,毕竟博士学习需要5年,合不合的来,这是件需要实践检验的事情。至于不在加拿大的同学,大家也不必气馁,你们要做的是让自己在顶会中崭露头角,并主动和Bengio本人建立联系。

作为学术派的代表,Bengio多少也会参与一些企业项目。对于这一点,他本人也积累了一些心得:有时候,你的期望与企业的期望合不合拍,这可能是合作了几年后才会知道的东西。但作为研究学者,你要做出一些事先声明,比如学者不是生产产品,也不是在给工业界提供廉价劳动力,他们的价值在于提出改变业务的惊人想法,因此雇佣人才本质上是一种变相投资。

有了这些想法,企业还要组织内部人员进行实现,否则合作很可能就失败了。AI技术很诱人,但企业也必须为此付出相当的代价。

总之,无论是经营实验室,还是治学研究,你都必须保持自信,保持自我独立思考的能力。如果感到困惑,就放下所有事,放下编程,有一些答案总是存在于我们大脑的深处,用一周时间思考让你烦恼的重大问题,有时也很有效果。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4846

    浏览量

    108386
  • 人工智能
    +关注

    关注

    1821

    文章

    50523

    浏览量

    267788
  • 机器学习
    +关注

    关注

    67

    文章

    8570

    浏览量

    137425

原文标题:Yoshua Bengio:在蒙特利尔,我如何让机器学习“平地起高楼”

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    SGS与科大讯飞达成实验室战略合作 共筑人工智能产业质量新标杆

    近日,科大讯飞人工智能终端测试中心在科大讯飞人工智能产业基地正式揭牌。揭牌仪式现场,国际公认的测试、检验与认证机构SGS与科大讯飞正式签署战略合作意向书,双方将共建人工智能终端测试中心联合实验
    的头像 发表于 05-25 17:18 234次阅读

    燧原科技首批加入上海人工智能实验室AI全环节软硬件验证平台工作组

    2026年5月14日,上海人工智能实验室(上海AI实验室)组织召开了AI全环节软硬件验证平台首次推进交流会,并正式成立验证平台工作组。燧原科技已作为首批成员加入工作组,并成为生态社区首批共建成员单位。
    的头像 发表于 05-19 16:24 377次阅读

    沐曦股份联合上海人工智能实验室发布高性能GPU算子生成系统Kernel-Smith

    近日,上海人工智能实验室和沐曦股份联合发布了高性能GPU算子生成系统—— Kernel-Smith。
    的头像 发表于 04-08 15:39 430次阅读
    沐曦股份联合上海<b class='flag-5'>人工智能</b><b class='flag-5'>实验室</b>发布高性能GPU算子生成系统Kernel-Smith

    致真精密仪器获批建设智能仪器方向北京市重点实验室

    近期,由北京航空航天大学牵头,致真精密仪器与松延动力共同参与建设的“人工智能全自动化实验室关键共性技术北京市重点实验室”正式获批。这是致真精密仪器面向人工智能赋能科学仪器和科学研究领域
    的头像 发表于 03-30 14:04 610次阅读

    DEKRA德凯成为欧盟人工智能法案下首家获得认可实验室

    全球领先的检验、检测与认证机构DEKRA德凯,现已正式成为欧盟《人工智能法案》(EU AI Act)框架下,首家获得官方认可的人工智能(AI)生物识别系统认证机构。凭借该资质,DEKRA德凯将助力制造商从容应对欧盟不断演进的监管要求,推动合规、负责任
    的头像 发表于 03-13 14:50 563次阅读

    壁仞科技与上海人工智能实验室合作推出全新DeepLink混推方案

    近日,上海人工智能实验室推出DeepLink多元算力混合推理加速方案(以下简称“DeepLink混推方案”),首次实现对壁仞科技等四家国产算力厂商多款芯片的混合调度与协同推理。
    的头像 发表于 03-10 16:38 1366次阅读
    壁仞科技与上海<b class='flag-5'>人工智能</b><b class='flag-5'>实验室</b>合作推出全新DeepLink混推方案

    浅谈人工智能(2)

    。 强人工智能(Strong AI),又称通用人工智能(Artificial General Intelligence)或完全人工智能,指的是可以胜任人类所有工作的人工智能。 超
    的头像 发表于 02-22 08:24 442次阅读
    浅谈<b class='flag-5'>人工智能</b>(2)

    壁仞科技与阶跃星辰及上海仪电智算服务成立人工智能联合实验室

    2月2日,壁仞科技(06082.HK)与上海仪电旗下智算服务、阶跃星辰携手打造的人工智能联合实验室正式揭牌。人工智能联合实验室积极响应国家“自主可控、安全可靠”
    的头像 发表于 02-04 10:14 537次阅读

    经世智能复合机器人,助力实验室检测样本上下料,提升实验效率

    流转效率低”等难题。经世智能以复合机器人技术为核心,打造出专为实验室场景设计的样本处理解决方案,通过“精准抓取+智能导航+信息化管理”的深度融合,重新定义
    的头像 发表于 11-18 13:43 2111次阅读
    经世<b class='flag-5'>智能</b>复合机器人,助力<b class='flag-5'>实验室</b>检测样本上下料,提升<b class='flag-5'>实验</b>效率

    强强联合:之江实验室与沐曦股份共建智算集群联合实验室

    2025年10月22日, 之江实验室与沐曦集成电路(上海)股份有限公司(以下简称“沐曦股份”)正式签署合作协议,共同组建“智算集群联合实验室”,携手推进人工智能算力基础设施创新发展 。之江实验
    的头像 发表于 10-23 10:50 1667次阅读

    挖到宝了!人工智能综合实验箱,高校新工科的宝藏神器

    的深度学习,构建起从基础到前沿的完整知识体系,实验箱就能满足多门课程的学习实践需求,既节省经费又不占地 。 五、代码全开源,学习底层算法 所有实验全部开源,这对于想要深入学习人工智能
    发表于 08-07 14:30

    挖到宝了!比邻星人工智能综合实验箱,高校新工科的宝藏神器!

    的深度学习,构建起从基础到前沿的完整知识体系,实验箱就能满足多门课程的学习实践需求,既节省经费又不占地 。 五、代码全开源,学习底层算法 所有实验全部开源,这对于想要深入学习人工智能
    发表于 08-07 14:23

    华清远见AI人工智能专业实验室建设方案,虚实融合,以产业应用驱动高校教学实训变革!

    的载体......而华清远见研发中心的人工智能实验室实验箱、实训台、机器人、具身智能、虚拟仿真软件),恰好为这些教学难题提供了破局思路——它不仅是搭载前沿技术的实
    的头像 发表于 07-31 15:14 2339次阅读
    华清远见AI<b class='flag-5'>人工智能</b>专业<b class='flag-5'>实验室</b>建设方案,虚实融合,以产业应用驱动高校教学实训变革!

    华清远见AI人工智能专业实验室建设方案,以产业应用驱动高校教学实训变革!

    的载体......而华清远见研发中心的人工智能实验室实验箱、实训台、机器人、具身智能、虚拟仿真软件),恰好为这些教学难题提供了破局思路——它不仅是搭载前沿技术的实
    的头像 发表于 06-27 13:45 2067次阅读
    华清远见AI<b class='flag-5'>人工智能</b>专业<b class='flag-5'>实验室</b>建设方案,以产业应用驱动高校教学实训变革!

    浦公山实验室正式启动!

    6月21日浦公山实验室在软件园三期正式启动浦公山实验室面向我国信创技术及产业生态,由集美区人工智能产业联盟主要成员单位共同组建,旨在打造覆盖通用计算与数据安全的自主可控人工智能产业软硬
    的头像 发表于 06-24 10:11 1201次阅读
    浦公山<b class='flag-5'>实验室</b>正式启动!