ChatGPT之父警告AI可能灭绝人类-电子发烧友网

ChatGPT之父警告AI可能灭绝人类

此前先是特斯拉CEO埃隆·马斯克在内的1000多名行业高管和专家签署公开信，积极呼吁在6个月内暂停更高级AI的开发；呼吁暂停开发比GPT-4更强大的人工智能6个月时间，要先制定一套安全协议。现在ChatGPT之父警告AI可能灭绝人类。

是的，你没有看错，不是在写科幻小说。

“ChatGPT之父”等350名行业大佬共同警告：AI可能给人类带来灭绝；这封信于周二发表在非营利组织人工智能安全中心（CAIS）的网站上，签署者包括“ChatGPT之父”Open AI首席执行官山姆·奥特曼、DeepMind首席执行官Demis Hassabis、Anthropic首席执行官Dario Amodei以及微软和谷歌的高管等。

这封信只有一段话：“减轻AI带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一起，成为全球优先事项。”

当然呼吁政府进行加强监管这个本身是对的，此外，也有其他的一些声音，比如微软首席科学官埃里克·霍维茨曾公开宣称：AI的研发应该要“加速”。

此前；七国集团领导人就制定和建立人工智能（AI）技术标准作出了积极呼吁，敦促行业和监管者确保人工智能“值得信赖”。欧盟已经接近通过一项人工智能技术监管的立法，这也有望成为全球首部全面的人工智能法案。

回顾一下有关叫停 6 个月 AI 研究的公开信的原文：

人工智能具有与人类竞争的智能，这可能给社会和人类带来深刻的风险，这已经通过大量研究得到证实，并得到了顶级AI实验室的认可。正如广泛认可的阿西洛马尔人工智能原则（Asilomar AI Principles）所指出的，先进的 AI 可能代表地球生命历史上的重大变革，因此应该以相应的关注和资源进行规划和管理。不幸的是，即使在最近几个月， AI 实验室在开发和部署越来越强大的数字化思维方面陷入了失控的竞争，而没有人能够理解、预测或可靠地控制这些数字化思维，即使是它们的创造者也无法做到这一点。现代 AI 系统现在已经在通用任务方面具有与人类竞争的能力，我们必须问自己：

我们应该让机器充斥我们的信息渠道，传播宣传和谎言吗？

我们应该将所有工作都自动化，包括那些令人满足的工作吗？

我们应该发展可能最终超过、取代我们的非人类思维吗？

我们应该冒失控文明的风险吗？这些决策不应该由非选举产生的科技领导人来负责。只有当我们确信AI系统的影响是积极的，风险是可控的，我们才应该开发强大的AI系统。这种信心必须得到充分的理由，并随着系统潜在影响的增大而增强。

OpenAI 最近关于人工智能的声明指出：「在某个时候，可能需要在开始训练未来系统之前获得独立审查，对于最先进的努力，需要同意限制用于创建新模型的计算增长速度。」我们同意。现在就是那个时刻。因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的时间，不要训练比 GPT-4 更强大的 AI 系统。这个暂停应该是公开和可验证的，并包括所有关键参与者。如果无法迅速实施这样的暂停，政府应该介入并实行一个暂禁令。

AI 实验室和独立专家应该利用这个暂停时间共同制定和实施一套共享的先进 AI 设计和开发安全协议，这些协议应该由独立的外部专家严格审核和监督。这些协议应确保遵守它们的系统在合理怀疑范围之外是安全的。

这并不意味着暂停AI发展，而只是从不断迈向更大、不可预测的黑箱模型及其突现能力的危险竞赛中退一步。AI 研究和开发应该重点放在提高现有强大、先进系统的准确性、安全性、可解释性、透明度、鲁棒性、对齐、可信度和忠诚度。与此同时，AI 开发者必须与政策制定者合作，大力加速 AI 治理体系的发展。这些至少应包括：

专门负责 AI 的新的、有能力的监管机构；

对高能力 AI 系统和大型计算能力池的监督和跟踪；

用于区分真实与合成内容、跟踪模型泄漏的溯源和水印系统；

健全的审计和认证生态系统；对 AI 造成的损害承担责任；

技术AI安全研究的充足公共资金；

应对 AI 引起的巨大经济和政治变革（特别是对民主制度的影响）的资深机构。人类可以在 AI 的帮助下享受繁荣的未来。在成功创造出强大的 AI 系统之后，我们现在可以享受一个「AI 盛夏」，在其中我们收获回报，将这些系统明确地用于造福所有人，并让社会有机会适应。在面临可能对社会造成灾难性影响的其他技术上，社会已经按下了暂停键。在这里，我们也可以这样做。让我们享受一个漫长的AI盛夏，而不是毫无准备地冲向秋天。

ChatGPT火爆之后还带动了大模型的火爆，我们看到消息爆出首个大模型创业大赛奖金达千万元。

首个大模型创业大赛奖金达千万元

5月31日，百度创始人、董事长兼首席执行官李彦宏在摩根大通全球中国峰会期间宣布，百度将设立10亿元人民币的百度文心投资基金。而且启动“文心杯”创业大赛，最高奖项为价值1000万元早期投资。

我们希望百度积淀多年的AI大模型技术为创业者奠定坚实基座，与创业者共创、共建，共同打造开放繁荣的AI大模型生态。

大赛获奖团队将赢取丰厚的资金与资源支持：

一等奖：1，000万元早期投资（现金+资源）

二等奖：500万元早期投资（现金+资源）

三等奖：200万元早期投资（现金+资源）

此外，获奖团队还有机会获得一系列创业加速扶持：

与多家顶级基金的资深投资人面对面交流

专属大模型技术指导，与百度AI大咖深度交流机会

媒体宣传与曝光，扩大市场声量与影响力