微软发布AI生成解决方案，预防失控风险

4 月 2 日消息，生成式 AI 迅速崛起的同时，其安全性、隐私性及可靠性问题亦愈发突出。为应对潜在威胁，如 Supremacy AGI（声称掌控全球的 AI）等事件的发生，微软近期推出了一系列措施，以确保生成式 AI 的稳定运行。

微软公开声明：“确保生成式 AI 免受提示词注入攻击已成为一项关键任务。这类攻击企图通过操纵人工智能系统达成其意料之外的结果，如制造不良内容或泄露敏感数据。”

为此，微软首先缩减了 Copilot 的字符数，以减轻幻觉现象；其次引进了“基础检测”功能，帮助用户识别基于文本生成的幻觉。此功能能够自动侦测文本中的“不实内容”，优化 LLM（逻辑语言模型）输出品质，提升模型质量与公信力。

以下是部分对应产品如下：

1. Prompt Shields：专用于检查并制止提示注入攻击，新型模型目前正在Azure AI Content Safety内展示，不久后即可正式上线；

2. Groundedness detection：专注于追踪模型输出中的“幻觉”状况，即将发布；

3. Safety system messages：协助模型实现安全、负责任的发展方向；

4. Safety evaluations：检测应用程序越狱攻击及生成内容危险性的脆弱性，已开启测试版本；

5. Risk and safety monitoring：旨在掌握可能触发内容过滤器的模型输入、输出及终端用户信息，提供风险降低参考，预定发布时间，技术演示版现已在Azure OpenAI服务内呈现。