NIPS 2018又出事了：审稿信息泄露，双盲评审失效！

NIPS 2018又出事了：审稿信息泄露，由于论文提交CMT系统的重大漏洞，审稿人可以判断出单篇论文的姓名和机构，让双盲评审失效！不仅如此，本届NIPS毫无征兆地砍掉了一个历史悠久的Workshop，加上此前初审结果怨声载道，这届NIPS，真让人捏一把汗。

如果说2017年的NIPS以一张注册人数如火箭冲天般的表格创造了记录，那么，2018年的NIPS则凸显了当前火热不退、几近高烧的人工智能/深度学习领域蛰伏的诸多问题。

审稿信息泄露，双盲评审失效！

8月7日，就在NIPS初审结果rebuttal进行的过程当中，有人发现NIPS 2018的审稿系统出现了严重的信息泄露，本就颇受诟病的评审过程，又一次出现问题。

事情是这样的，跟其他会议一样，NIPS 2018也采用MS CMT3系统进行论文的提交及审核。

作为这次会议的一位审稿人，sweichwald 发现该系统服务器中有一个严重的漏洞，让“作者/机构/公司”的双盲性以及由此造成的评审公正和平等遭到破坏：

问题发生在所有提交论文的列表是不是静态的，而是根据审稿人的域名（也即姓名/机构/公司）在不断更新。

当审稿人输入域名冲突的信息时，CMT系统会自动过滤掉有域名相冲突的论文；因此，审稿人通过输入或者不输入某个域名冲突，再根据CMT系统给出的两个论文列表，就能明确哪些论文是属于哪个域名，换句话说，也就相当于能够知道哪些论文是属于哪位作者或哪个单位的了。

sweichwald指出，尽管会议规定采用双盲评审，但NIPS论文审稿平台本身允许这样主动暴露论文提交人姓名和论文所属机构/公司的做法，而且还能匹配到特定的单篇论文，属于重大过失（culpable negligence）。

当系统存在这样的漏洞时，很可能被人利用，让双盲评审机制失效。不仅如此，由于知道了论文的所属机构，某些审稿人很可能有意选择特定单位的论文进行评审，进而导致评审结果出现偏差。

实际上，sweichwald是在偶然之下发现了CMT系统的这个漏洞：当时，他因为忘记了，不小心输入了一个冲突的域名，结果发现返回得到的论文总数变少了。

于是，他对比了一下名单，找出两份列表中不同的某篇论文，私底下向一位同事确认，在没有让对方直接告诉他后者论文题目和摘要的情况下，通过两人交换的信息，sweichwald完全肯定，他看到的论文就是他同事提交的那一篇。

在写给NIPS AC的邮件里，sweichwald表示根据审稿规定，他重新输入了正确的域名，同时保证自己不会作为那篇论文的评审。

多人连续发现系统漏洞，好在修复比较及时

除了sweichwald以外，还有多位审稿人也发现并举报了这个系统漏洞，但是却没有得到NIPS方面的回复。

需要指出，这个问题与事先将论文上传到arXiv等预印本网站或其他意外泄露身份的情况有着根本的不同：这是存在于整个论文提交和审稿底层系统的问题，而且CMT3系统也被其他1000多个使用双盲和单盲评审的学术会议使用，这就意味着其他会议的评审公正性很可能也遭到了破坏。

根据CMT官网，2016年，CMT系统已用于1000多个国际会议、研讨会和各种其他项目的学术论文提交与审核，涉及上万篇论文和上千名审稿人。使用CMT的会议包括：

国际机器学习大会（ICML）

神经信息处理系统进展大会（NIPS）

国际人工智能和统计会议（AISTATS）

人工智能不确定性会议（UAI）

IEEE计算机视觉模式识别会议（CVPR）

国际计算机视觉会议（ICCV）

欧洲计算机视觉会议（ECCV）

亚洲计算机视觉会议（ACCV）

英国机器视觉会议（BMVC）

IEEE国际数据工程大会（ICDE）

ACM数据管理特别兴趣小组（SIGMOD）

超大型数据库国际会议（VLDB）

国际IEEE数据压缩会议（DCC）

IEEE多媒体与博览国际会议（ICME）

CMT最初是为ACM SIGKDD 1999开发的。从那时起，CMT经历了几次重大改进和扩展，迄今已在数千个会议中使用过。

5月29日，sweichwald 向NIPS 2018的领域主席和CMT系统管理员汇报这一系统漏洞。5月31日，NIPS会务组给出了回复，表示他们已经注意到这个问题，并建议前者在系统完全处理好之后，再将此事公布。

NIPS会务组的回复，表示已经有多人提醒他们这一漏洞，会尽快修复系统，并让sweichwald在事情解决前先不要声张

8月2日，包括其他使用CMT的会议在内系统全部得到修复。

现在，对于双盲评审的会议，CMT系统让任何人都不能更新他们的冲突域名，而审稿人在见到任何论文前，只有一次输入域名的机会。

根据官方反馈，目前没有发现其他CS/AI学术会议的审稿信息遭到泄露。

砍掉举办连续10年唯一的计算生物学Workshop

NIPS 2018的事件还没说完。

同样在8月7日，有学者反映本届NIPS无故砍掉了ML for Compbio（MLCB）workshop，这是一个有关机器学习领域中计算生物学的研讨会，也是NIPS唯一有关计算生物学的研讨会，已经连续举办了10年，而且2017年的论文提交数量创下了历史记录。

计算生物学是生物学的一个分支。根据美国国家卫生研究所（NIH）的定义，它是指开发和应用数据分析及理论的方法、数学建模和计算机仿真技术，用于生物学、行为学和社会群体系统的研究的一门学科。

计算生物学定义广泛，是包括计算机科学，应用数学，动画，统计学，生物化学，化学，生物物理学，分子生物学，遗传学，基因组学，生态学，进化，解剖学，神经科学和科学可视化的基础。

讽刺的是，当向NIPS提交论文的时候，“Combio”仍然属于子领域之一。

有人在Twitter上感叹，究竟有多少学计算机的人知道计算生物学与“AI医疗”或“AI临床应用”是完全不同的概念？

如果说领域日渐凋零也就算了，但正如前文所说，2017年该workshop的论文提交数量创下了历史记录，当时workshop参会还排起了长队，展示和讨论一直很活跃。

由此，Twitter上出现了很多表示遗憾的声音。

往好处想，这或许也是MLCB自己独立出来，成为一个单独学术会议的机会。

不然又该怎么办呢？

新增非洲、拉丁美洲、同性恋和犹太人 AI Workshop

但是，这届NIPS也不全是坏消息。

根据“机器学习包容性”这个账号，本届NIIPS变得更加包容和多样——除了此前已有的女性机器学习workshop（WIML），还新增了非洲AI、拉丁美洲AI、同性恋AI 和犹太人AI 这几个workshop。

NIPS将变得更加包容和多样，这当然是好事一桩。但同时也忍不住让人去想，或许这就是计算生物学workshop被砍掉的原因？

毕竟场地只有那么大，而2017年的NIPS注册人数已经高达8500人。

在四川，8000多人因高温挤进泳池。来源：四川在线

当然，NIPS 2017上也有寂寞的身影，图灵奖得主、贝叶斯网络之父Judea Pearl的演讲听众就寥寥无几。

NIPS 2017图灵奖得主Judea Pearl落寞的身影。图片来源：周志华

但是没问题，现在Judea Pearl也在Twitter等社交网络上活跃起来，关注人数也涨到9100多，大家对因果学习/模型的热情重新燃起，这次如果他再有讲座，应该也会座无虚席吧。