简述AI驱动的内容检测技术的功能和局限性

各平台和其他互联网参与者使用自动程序对其系统上的非法内容进行处理，如仇恨言论或恐怖主义内容。他们还使用相同的技术来要求其用户强制执行自己的自愿服务条款，以维护网络环境的稳定性和吸引力。

来自监管部门的压力，要求更多地依赖自动化来进行内容删除，这有可能会削弱网络空间的合法性。

由“民主与科技中心(Center for Democracy and Technology)”在布鲁塞尔主办的小组讨论会中，我讲述了AI驱动的内容检测技术的功能和局限性。其他小组成员包括现在就职于标普全球公司(S&P Global)的Armineh Nourbakhsh，她讲述了在路透社协助开发的Tracer工具，然后在“民主与科技中心”就职的Emma Llansó讲述了她最近参与合著的论文《混合信息?自动社交媒体内容分析的局限性》。来自欧盟委员会的Prabhat Agarwal提出了一个富有洞察力的决策者观点。

各平台和其他互联网参与者使用自动程序对其系统上的非法内容进行处理，如仇恨言论或恐怖主义内容。他们还使用相同的技术来要求其用户强制执行自己的自愿服务条款，以维护网络环境的稳定性和吸引力。最后，有一种中间类型的内容，它不仅不吸引人，本身并不完全违法，但它是有害的，需要加以控制。虚假消息传播活动就属于这一类。

来自政府的压力要求使用自动化系统，这一情况日益增长

现在我们讨论将这些内容自动删除的原因不仅仅是在技术上的。政策制定者非常关注用于内容检测的系统的有效性，并且正在推动平台来做越来越多的工作。有时这会渗透到监管的法规要求中。

最近欧盟宣布的防止网上恐怖主义内容的试行条例就是一个很好的例子。人们非常关注于该条例，其允许欧盟成员国的国家主管机关来要求各个平台在收到通知后一小时内删除特定的恐怖主义内容。但更令人担忧的是，该条例要求各平台采取“主动措施”，以便从一开始就防止恐怖主义内容出现在平台上。由于主动措施是一些针对恐怖主义内容的自动屏蔽系统，因此该试行条例明显削弱了当前电子商务指令的效力，以强制监测系统担负起监督恐怖主义内容。更糟糕的是，如果某一家公司收到过多的删除指令，却无法与监管机构所设计的改进目标达成一致，则该公司可能需要部署和维护监管机构所指定的某个自动内容删除系统。

需要采取保护措施以使内容删除决定变得公平

内容删除决定必须有明确的标准，这些标准必须透明，以便用户对超出范围和可接受范围能形成预期。此外，需要对单个内容删除决定进行解释，这一决定应说明触发该决定的内容的特定特征或方面。最后，因为没有一个系统是完美的，所以需要一个补救机制，以便在内容被错误删除后能够恢复。作为一个榜样，请看看美国信贷业的做法，他们数代人将这些透明度、解释说明和补救机制融入其工作中。

出于EmmaLlansó在她的论文中概述的原因，单纯依靠自动化系统进行内容删除是错误的。由于错误率太高，所以始终需要人工审查以确保在内容删除之前充分考虑其内容的上下文和含义。

这些自动化系统具有积极且有益的作用

首先，这些系统可用于非常具体和有价值的目的。Armineh说道，由路透社开发的Tracer系统可扫描Twitter以发现一些突发新闻故事，并将其传递给路透社的编辑和记者进行审查。该系统可检测到大多数(但并非全部)的虚假谣言和故意误导内容，并只传递这些极有可能具有新闻价值的内容，从而使记者能够更有效地工作。然而，即使在路透社，也需要采取保护措施，以避免例如特定来源或用户的信息被分析。

第二个重要用途是筛选可能需要删除的内容。当系统在现代社交网络的范围内运行时，对所有潜在有害内容进行人工审查是根本不可能的。自动化系统可以提供一个可管理的问题内容列表，以供人工审阅者来确定是否删除。

最后，自动系统可以非常有效地防止上传那些先前已被识别并删除的内容。该模型可有效地应用于儿童色情图片，并通过一个自动内容识别系统来防止未经授权来上传受版权保护的内容。

前进的道路上我们可采取公私合作伙伴关系

对于自动内容删除的担忧并不意味着会削弱从在线系统中删除危险内容的一般性主张，鉴于恐怖主义的严重挑战，删除危险内容是一个极为紧迫的问题。但是，我们必须着眼未来以及我们的迫切需要，并应谨慎建立保障措施，以防止在极为不同的政治环境中滥用任何新的监管权力，而在这种情况下，风险可能是来自政府机构的过度干预。

在前进的道路上我们要认识到，所面对的问题要比技术更严重。恐怖主义事件来自技术行业没有形成且不能自行改善的基础社会、政治和经济过程中。但是，他们的体系不应该被用来使问题变得更糟，他们的内容删除工作将从公私合作伙伴关系中受益，这种公私合作关系依赖于政府提供信息和引荐以及召集行业参与者来制定和实施行业最佳实践。

然而，一个重大的危险是政策制定者似乎愿意忽视错误的实际成本，很明显，他们认为，只要能成功地删除危险内容，犯错误就是值得的。毕竟，他们似乎认为，各平台总能恢复那些因错误而被删除的内容。

这种观点忽视了许多在线交流内容的时效性，在这种情况下，花费几周甚至几天后所恢复的内容是毫无意义的。而且，所涉及的错误范围很容易被低估。数十亿次使用中的一个很小的错误率可能意味着不是数百，不是数千，而是数亿次的错误。综合起来，随着时间的推移，这个错误的量级将损害这些体系的可信性和合法性，使其失去多种合法政治话语权的好处。