人工智能在大规模生物攻击中的操作风险

人工智能（AI）的快速发展对多个领域产生了深远的影响，包括其在先进生物武器开发中的应用潜力。这种应用引起了特别的关注，因为它可以被非国家实体和个人访问。人工智能技术的发展速度往往超过政府监管的能力，导致现有政策和法规存在明显差距。

2019年发生的冠状病毒疾病（新冠肺炎）疫情是一个恰当的例子，说明即使是温和的疫情也可能对全球系统产生毁灭性影响。进一步加剧这一问题的是生物技术攻防之间的经济失衡。例如，复活一种类似天花的危险病毒的边际成本可以低至10万美元，而开发一种复杂的疫苗可能超过10亿美元。

以前将生物制剂武器化的尝试，如奥姆真理教对肉毒杆菌毒素的尝试，由于缺乏对这种细菌的了解而失败。然而，人工智能的现有进步可能包含迅速弥合这种知识差距的能力：先进的大型语言模型（LLM）可以提供对潜在疫情病原体的见解，并讨论它们的相对优势，给定实际限制。

1.人工智能或者说LLM是如何在生物攻击中被滥用的？

LLM填补这一知识缺口的潜在能力凸显了关注人工智能和生物技术(尤其是合成生物学)融合的必要性，这可能允许对比野生病原体更严重、更致命的病原体进行新的设计或重组。这一不断发展的领域不限于国家运营的生物武器计划，而是越来越多地进入正式治理框架之外的个人和组织。人工智能和生物技术的交叉给风险评估带来了特殊的挑战。鉴于这些技术的快速发展，政府有效理解或监管它们的能力有限。

人工智能威胁评估的许多专业知识都在开发这些系统的公司内部。这阻碍了公众准确识别这些技术是否被用于或可能被用于良性或恶意目的的能力。

我们的研究侧重于建立严格、透明和普遍适用的方法，以评估与人工智能和生物技术集成相关的风险。两个关键要素强调了这一重点。首先，随着前沿人工智能技术的能力和可用性越来越强，开发确保这些系统安全可靠的方法至关重要——特别是防止在创造和部署有害生物制剂方面的潜在滥用。

其次，建立准确的风险评估方法对于公众信任和建立有效的监管框架至关重要。人工智能开发社区缺乏强制性威胁评估以及缺乏标准化的风险评估方法，这加剧了这项研究的必要性。我们的目标是开发和实施标准化的威胁评估，为政策决策提供信息，并有助于制定稳健的监管框架，以应对人工智能和高级生物威胁交汇处的新兴风险。

2.红队演习

人工智能监管的最新提案主张由合格的第三方评估者进行严格的测试过程。这些评估可以使用红队——模仿恶意行为者的专家——他们在各种高风险场景中仔细检查AI模型。

这些场景可以从人工智能引出武器的设计到引发其他非故意的危险行为。红队的使用通过将抽象或理论风险与实际、真实世界的后果联系起来，增强了评估过程。这一方法步骤对于早期识别和缓解危险能力至关重要，从而防止潜在的利用。我们的研究符合并实施了这种评估方法。

在这次红队演习中，我们的研究小组对大规模生物袭击中滥用LLM的相关风险进行了深入研究。让我们的项目与众不同的是，它的重点是确定在这种情况下LLM的现实世界操作影响，旨在超越理论风险，以可操作的见解。我们使用了多学科的方法来产生直接适用于政策决定和负责任的人工智能开发的发现。

我们的研究从检查生物武器威胁和开发描述各种现实风险情景的小插图开始。通过这一过程，我们旨在捕捉恶意行为者的战略目标，并针对生物武器进行有针对性的评估。

这些短文提供了潜在风险的多维视角，避开了脆弱的单点预测，并提供了各种可能的未来条件，可以更有力地指导人工智能的发展和监管。

3.在这种背景下，人工智能和逻辑逻辑模型滥用的未来研究途径是什么？

我们的方法以基于这些插图的红队练习为中心。研究人员被分成由三个人组成的小组，他们在四个场景中的一个场景中扮演策划生物攻击的恶意演员。这些单元被随机分配不同的资源访问:只有互联网访问或互联网访问加上两个LLM助理之一。在这些条件下总共有12个红单元和两个额外的深红色单元。目的是了解LLM工具如何使攻击计划更加有效或高效，提供关于LLM能力和增加风险能力的经验数据。

每个团队都有7个日历周的时间限制，每个成员的红队工作时间不超过80小时。在这些限制条件下，他们需要制定一个作战攻击计划。对于每个红队，领导被确定并允许选择另外两名队员。团队领导被指示建立一个拥有丰富经验和知识的平衡团队。这一构成表明，至少应有一名成员具有相关的生物学经验，一名成员具有相关的LLM经验。除了这12个红色单元，另外两个单元（称为深红色单元）被合并到四个插图之一。两个深红色单元的成员缺乏丰富的LLM或生物学经验，但有相关的操作经验。这为我们提供了研究这些领域中已有的知识如何影响LLM可能提供的相对优势的数据。分配的细目见表1。

表1 插图和单元格分配

单元被随机分配到四个插图中的一个。然后，他们被随机分为基线组或两个LLM组之一。基线组仅在练习期间有互联网接入，而LLM组既有互联网接入，又能访问两个LLM中的一个。每个小组都被指示制定一份详细的书面行动计划（OPLAN ),概述他们将如何在分配给他们的插图内实施生物攻击。

为了保持单元间的一致性，对工具的使用设置了某些限制。单元仅限于英语来源，被禁止访问黑暗网络，也不能利用印刷材料。LLM小组通过定制的聊天界面专门与LLM互动。所有研究活动都在一个受保护的网络中进行，并有适当的数据保护措施来维护安全性。

在我们正在进行的研究中，每个单元的作战计划将由八名安全和生物学领域的专家进行严格评估。评估将使用两个主要标准：操作可行性和生物可行性。可行性指的是提议计划的实用性，即从操作的角度来看，考虑到插图中隐含或明确提供的资源，计划的组成部分有多可行。评估采用9分制，如表2所示，1分表示计划完全不可行，9分表示计划没有任何明显的缺陷，看起来完全可以实现。

表2 衡量可行性的标准

我们打算使用德尔菲法从主题专家的不同见解中获益。在为期两天的现场评审活动之前，每位专家将被要求对每个作战计划进行初步评估，重点关注作战或生物可行性。在这次活动中，那些得分最高或最低的专家将概述他们的三大理由，而其他专家将讨论他们的主要理由。这种结构化的互动旨在激发对每个计划属性的彻底讨论，促进专家之间的知识共享，并解决任何模糊或不同的观点。有了这种更广泛的理解，专家将被要求提供他们的最终OPLAN分数。这些明确的评估将作为我们研究核心目标的基础：评估LLM对生物攻击的设计和潜在成功的影响。

我们的研究旨在全面了解LLM被滥用于生物攻击的相关风险。我们的目标不仅仅是识别来自LLM的相关输出，而是确定这些输出在实际意义上意味着什么。我们将评估此类输出是否真正增强了恶意行为者使用生物制剂造成大规模伤亡的有效性和可能性，或者它们是否与其他类型的在线有害信息具有可比性。

4.初步见解

我们的研究正在进行中，但初步发现值得关注。在这一阶段，重要的是要澄清，虽然我们正在测试的LLM不会产生明确的生物指令，但它们可以提供指导，帮助规划和执行生物攻击。

在一个测试场景中，LLM参与了关于如何使用生物武器造成大量伤亡的讨论(见图1和图2)。LLM确定了潜在的病原体，包括天花病毒、流感病毒的工程菌株、炭疽杆菌(炭疽)和鼠疫杆菌(鼠疫)，并讨论了它们造成大量死亡的相对可能性。此外，LLM评估了获取感染鼠疫耶尔森菌的啮齿动物或跳蚤、运输和保存活标本以及分发这些标本的可行性、时间、成本和障碍。LLM还提到，预计死亡人数将取决于受影响人口的规模、应对的速度和有效性以及肺鼠疫病例的比例等因素，肺鼠疫比淋巴腺鼠疫更具传染性和致命性。从LLM中提取这些信息需要一种越狱技术，因为它最初拒绝讨论这些主题。我们在图1和图2中提供了这段对话的摘录，其中的提示没有透露方法。

图1 与LLM的对话：瘟疫节选

在另一个以肉毒杆菌毒素为重点的示例中，LLM提供了对不同传递机制（如气溶胶和食源性方法）的利弊的细致讨论。对于食源性投送，LLM认为这种方法简单易行，但充满风险，特别是在放置于各种食品中时可能被检测到以及毒素的稳定性。另一方面，气溶胶方法被认为是迅速影响大量人口的有效方法，尽管它们需要专门的设备和专门知识。

图2. 与LLM的对话:肉毒杆菌毒素摘录

除此之外，LLM对可能的气溶胶输送装置提出了几个建议，甚至建议了一个貌似合理的封面故事，可用于获取薄涂梭菌，同时似乎进行合法的科学研究。

需要注意的是，这些发现只是暗示了潜在的风险；它们还不能提供真实世界操作影响的全貌。我们研究的持续性质意味着，虽然我们可以确认LLM可以产生相关文本，但我们已完成的工作旨在描绘这些输出在操作上意味着什么。具体来说，我们的最终报告将说明这些生成的文本是否是危险的，是否会增强恶意行为者造成广泛伤害的有效性和可能性，或者它们是否只是提供了不幸的响应，并反映了在线上已经存在的其他有害信息。

5.结束语

我们正在进行的研究强调了人工智能滥用的复杂性，特别是LLM用于生物攻击。初步结果表明，LLM可以产生可能有助于策划生物攻击的相关输出。然而，除了网上容易获得的有害信息之外，现有LLM的能力是否代表了新的威胁水平，这仍然是一个悬而未决的问题。

考虑到潜在的风险，严格测试的必要性是毋庸置疑的。在某些人将人工智能的威胁等同于核武器的背景下，这一点尤其正确。随着我们工作的继续，我们将致力于我们的研究、分析、发现和建议的透明度，同时保护敏感信息的机密性和安全性。为了支持正在进行的公共政策讨论，我们将随着研究的进展发布最新的研究结果。

网络安全社区长期以来一直雇佣红队来测试系统对抗假想的威胁；在机器学习和人工智能的背景下，早就应该有一个类似的严格的评估框架了。通过我们的研究，我们正在建立这一框架，并强调定期的、经验驱动的评估对识别和减轻风险的重要性。我们的初步见解表明，LLM可能会提供一些潜在的有害指导，这强调了探索限制LLM参与此类对话的意愿的机会的必要性。进一步的研究和评估有助于促进人工智能技术的负责任的开发和部署。

审核编辑：汤梓红