ICLR 2019最佳论文日前揭晓 微软与麻省等获最佳论文奖项

ICLR 2019最佳论文日前揭晓。来自微软研究院、加拿大蒙特利尔学习算法研究所 (MILA)和来自麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)夺得本次大会的最佳论文奖项。

其中，来自微软研究院、加拿大蒙特利尔学习算法研究所的论文《有序神经元：将树结构集成到循环神经网络》探讨了自然语言的处理问题。文中提到，自然语言是分层结构的，较小的单元嵌套在较大的单元中，当较大的组件结束时，嵌套在其中的所有较小的组件也必须关闭。虽然标准的LSTM架构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确偏向建模成分的层次结构。因此，提出了通过对神经元进行排序来增加这种归纳偏差。

来自麻省理工学院计算机科学与人工智能实验室的论文《彩票假设：寻找稀疏的、可训练的神经网络》探讨了模型压缩问题，提出了一个新的概念——彩票假说：密集、随机初始化的前馈网络包含子网络("中奖彩票")，当单独训练时，这些子网络能够在相似的迭代次数中达到与原始网络相当的测试准确度。

作为深度学习领域的顶级盛会，ICLR每年都会收到来自世界各地的专家、学者的投稿。根据官方消息，ICLR 2019共收到了1578篇投稿，相比ICLR 2018的935篇有了大幅增加。不过，有数据显示，ICLR 2018论文平均得分是5.24分，而2019年的论文平均得分为5.15分，比2018年下降近0.2分。