BERT是一种用于自然语言处理的先进神经网络方法

在一篇新论文中，Frankle及其同事发现了潜伏在BERT中的此类子网，BERT是一种用于自然语言处理（NLP）的先进神经网络方法。作为人工智能的一个分支，NLP旨在通过预测文本生成或在线聊天机器人等应用程序来解密和分析人类语言。在计算方面，BERT体积庞大，通常需要大多数用户无法获得的超级计算能力。从而可能使更多用户在智能手机上开发有效的NLP工具。

弗兰克勒说：“我们正在达到必须使这些模型更精简，更高效的地步。”他补充说，这一进步有一天可能会“减少NLP的准入门槛”。

麻省理工学院计算机科学与人工智能实验室的迈克尔·卡宾小组的博士生Frankle是该研究的共同作者，该研究将于下个月在神经信息处理系统会议上发表。德克萨斯大学奥斯汀分校的陈天龙是该论文的主要作者，其中包括得克萨斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的常石宇，刘思佳和张扬。

您今天可能已经与BERT网络进行了互动。这是Google搜索引擎的基础技术之一，自Google于2018年发布BERT以来，它一直引起研究人员的兴奋。BERT是一种创建神经网络的方法-使用分层节点或“神经元”的算法来学习执行通过培训大量实例来完成一项任务。

BERT是通过反复尝试填写写作段落中遗漏的单词来进行训练的，它的功能在于此初始训练数据集的庞大大小。然后，用户可以将BERT的神经网络微调至特定任务，例如构建客户服务聊天机器人。但是争吵的BERT需要大量的处理能力。

弗兰克尔说：“如今，标准的BERT模型-园林品种-具有3.4亿个参数，”他补充说，这个数字可以达到10亿。对如此庞大的网络进行微调可能需要一台超级计算机。“这简直太贵了。这远远超出了您或我的计算能力。”

为了削减计算成本，Chen和他的同事试图找出隐藏在BERT中的较小模型。他们通过迭代修剪整个BERT网络的参数进行了实验，然后将新子网的性能与原始BERT模型的性能进行了比较。他们对一系列NLP任务进行了此比较，从回答问题到填充句子中的空白词。

责任编辑：lq