0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

探讨Sam 和 Ilya 的深层矛盾

深度学习自然语言处理 来源:深度学习自然语言处理 2023-11-24 11:28 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5 是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman 是 有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

wKgZomVgGP2AL1b3AAJeGwwWfJ8378.png

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把 Sam 当做一个象征。从 GPTs 的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam 的减速表象,是内部妥协,尤其是对 Ilya 的妥协

超级对齐是什么?

我在今年 7 月看到 Ilya 说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道 ChatGPT 这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了 Ilya 的意思。可以看这段两周前的采访,以及被人爆料的,Ilya 在乎的「不是AI 有情感,而是 AI 有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以 超级对齐 项目,本质是 Super-LOVE-alignment,超级「爱」对齐。这种 LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像 孔子、耶稣、释迦摩尼 这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把 AI 的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而 Ilya 相信,AI 能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。


解法是什么?那就是让 AI 对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么 比人更强大的 AI 才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出 AGI,再修正呢?Ilya 认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI 是数字生命,还是工具

我们应该成为一个 e/acc,还是 超级「爱」对齐 主义者?又为什么是现在这个时间点,突然驱逐掉 Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI 内部应该在几周前讨论了 GPT-5 的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam 和 Ilya 应该是有巨大的分歧(可以看到 Sam 在 APEC 上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为 GPT-5 上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc 最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个 e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看 AI 对社会的本质。

所以,我偏向于相信 OpenAI 应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而 Ilya 认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个 CEO 之一。

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    41107

    浏览量

    302593
  • GPT
    GPT
    +关注

    关注

    0

    文章

    372

    浏览量

    16965
  • OpenAI
    +关注

    关注

    9

    文章

    1249

    浏览量

    10279

原文标题:Sam 和 Ilya 的深层矛盾:有效加速主义 vs. 超级"爱"对齐

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AT91SAM SAM3N系列ARM闪存MCU技术解析

    AT91SAM SAM3N系列ARM闪存MCU技术解析 在当今的电子设计领域,微控制器(MCU)扮演着至关重要的角色。Atmel的SAM3N系列ARM闪存MCU凭借其高性能、低功耗和丰富的外设功能
    的头像 发表于 04-16 17:00 366次阅读

    Atmel SAM D21 系列微控制器:低功耗与高性能的完美结合

    Atmel SAM D21 系列微控制器:低功耗与高性能的完美结合 在电子工程师的日常设计工作中,选择一款合适的微控制器至关重要。Atmel | SMART™ SAM D21 系列微控制器凭借其出色
    的头像 发表于 04-07 16:55 409次阅读

    探索SAM4S微控制器家族:32位MCU的卓越之选

    探索SAM4S微控制器家族:32位MCU的卓越之选 在当今的电子设计领域,32位微控制器(MCU)扮演着至关重要的角色。今天,我们将深入探讨Microchip的SAM4S微控制器家族,它基于强大
    的头像 发表于 04-06 14:20 646次阅读

    电子工程师必备:SAM4S 32 位 MCU 深度解析

    电子工程师必备:SAM4S 32 位 MCU 深度解析 作为电子工程师,在设计项目时,选择一款合适的微控制器(MCU)至关重要。今天我们就来深入了解一下基于 ARM Cortex - M4 处理器
    的头像 发表于 04-06 14:20 660次阅读

    探索AT91SAM ARM-based Flash MCU SAM3N系列:高性价比32位微控制器的卓越之选

    探索AT91SAM ARM-based Flash MCU SAM3N系列:高性价比32位微控制器的卓越之选 在电子设计领域,选择一款合适的微控制器对于项目的成功至关重要。Atmel的SAM3N系列
    的头像 发表于 04-06 14:20 680次阅读

    探索AT91SAM SAM7SE512/256/32:高性能ARM微控制器的卓越之选

    探索AT91SAM SAM7SE512/256/32:高性能ARM微控制器的卓越之选 在嵌入式系统开发的广阔领域中,选择一款合适的微控制器是项目成功的关键。Atmel的SAM7SE系列微控制器
    的头像 发表于 04-06 11:05 750次阅读

    深度解析Atmel SAM7S系列ARM微控制器:从特性到应用

    深度解析Atmel SAM7S系列ARM微控制器:从特性到应用 在嵌入式系统设计领域,微控制器是核心组成部分,而Atmel的SAM7S系列ARM微控制器凭借其高性能、低功耗和丰富的外设集成,在众多
    的头像 发表于 04-06 11:05 740次阅读

    Atmel SAM7S系列ARM微控制器深度解析

    Atmel SAM7S系列ARM微控制器深度解析 一、引言 在嵌入式系统的设计领域,微控制器的选择至关重要。Atmel的SAM7S系列ARM微控制器凭借其高性能、低功耗以及丰富的外设功能,成为众多
    的头像 发表于 04-06 11:05 290次阅读

    深入解析AT91SAM SAM3N系列ARM Flash MCU

    深入解析AT91SAM SAM3N系列ARM Flash MCU 在当今的电子设计领域,微控制器(MCU)扮演着至关重要的角色。Atmel的SAM3N系列ARM Flash MCU以其高性能、低功耗
    的头像 发表于 03-31 17:05 352次阅读

    深入解析SAM7SE512/256/32:强大的ARM微控制器

    深入解析SAM7SE512/256/32:强大的ARM微控制器 在嵌入式系统开发领域,一款性能卓越、功能丰富的微控制器往往能为项目带来极大的便利和优势。Atmel的SAM7SE512/256
    的头像 发表于 03-30 12:05 257次阅读

    深入解析Atmel SAM3S系列Flash微控制器

    深入解析Atmel SAM3S系列Flash微控制器 在当今电子技术飞速发展的时代,微控制器作为电子设备的核心大脑,其性能和功能直接影响着产品的质量和竞争力。Atmel的SAM3S系列Flash
    的头像 发表于 03-25 11:35 216次阅读

    Atmel SAM C20系列微控制器:工业自动化的理想之选

    Atmel SAM C20系列微控制器:工业自动化的理想之选 在工业自动化、家电及其他5V应用领域,微控制器的性能和功能至关重要。Atmel推出的SAM C20系列微控制器,凭借其强大的性能、丰富
    的头像 发表于 02-26 15:50 228次阅读

    SAM G55音频开发板技术解析与应用指南

    Microchip Technology SAM G55音频Curiosity开发板(EV78Y10A)是一款用于基于SAM G55微控制器的音频应用的演示和开发平台。SAM G55 MCU是高性能
    的头像 发表于 10-13 15:11 768次阅读
    ‌<b class='flag-5'>SAM</b> G55音频开发板技术解析与应用指南

    Zettabyte任命Sam Lawn为全球首席财务官

    专注于GPU基础设施、AIDC优化软件与Neo-Cloud计算的全栈AI解决方案提供商Zettabyte已任命Sam Lawn为全球首席财务官,该任命即刻生效。
    的头像 发表于 08-30 15:12 1303次阅读

    超声波T-SAM与C-SAM模式的区别

    本文介绍了超声波的T-SAM与C-SAM两种模式的区别。
    的头像 发表于 05-21 15:26 1864次阅读
    超声波T-<b class='flag-5'>SAM</b>与C-<b class='flag-5'>SAM</b>模式的区别