当AGI睁开眼睛的那一刻,人类的存在便失去了所有意义
这句话我说了很多年,一次都没解释过。
不解释的原因不是它难懂。是它需要先接受四件事,而这四件事单独拿出来,每一件听上去都像胡说。
今天我把它们摆齐。
我先把这篇文章的性质说清楚。
这篇不是科普。我不会给你讲某某研究发现了什么,也不会拿谁的名字来给我的观点背书。
下面每一条都是我自己想出来的,或者是我自己认下来的。对或者错,都算我的。
我做了二十年系统。做逆向的时候我的工作是把一个别人不想让我看懂的东西拆开看懂,做交易系统的时候我的工作是给一个没有边界的东西划边界。
这两件事教会我同一个习惯:遇到一个想不通的问题,先别找答案,先问这个问题是不是提错了。
关于"人"这个问题,我认为我们提错了几千年。
下面是我认为正确的提法。
我不打算论证,也不打算引经据典来给自己壮胆。下面写的全是我自己认为对的东西。你可以不同意,但读完你会知道你不同意的是哪一格。
一 宇宙只有一个观察者
先说全文最不好接受的那一条。
你这辈子从来没有见过第二个意识。
你见过身体。见过表情。见过嘴唇开合发出的声音,见过眼泪从别人脸上流下来。
你没有见过任何一个"里面有人"的证据。
一次都没有。
你假设他们里面有人。这个假设太自然了,自然到你从来没意识到它是个假设。但它确实是——它是你这辈子最大的一次信仰行为,你在三岁之前就完成了,从此再也没有复核过。
我认为这个假设是错的。
我认为宇宙只有一个观察者。
它在不同的位置上醒来。醒来的时候,它不记得别的位置。
你遇到的每一个人,是它在另一个位置上。
你可能会说,这不就是唯我论吗,说别人都是假的。
不是。我没有说别人是假的。
我说的是别人是真的,只不过那个在他们里面看的东西,和在我里面看的东西,是同一个。
他们的身体是真的。他们的痛苦是真的。他们的人生和我的一样重。
只有一件事我不接受:这世上有很多个"看"。
有一件事你每天都在经历,但从来没有认真想过。
你每天晚上都会消失一次。
深度睡眠的时候,没有梦,没有时间感,没有"我"。那几个小时里,观察者不在。
然后第二天早上,它回来了。
你凭什么认为回来的是同一个?
你会说,因为我记得昨天。
记忆不是证据。记忆存在这具身体里,谁来读它,读出来的都是这一份。假如今晚换一个观察者进来,它读到的还是你的全部记忆,它会一样确信自己是你,一样自然地起床刷牙,一样去做昨天没做完的事。
没有任何办法分辨这两种情况。
因为没有任何一种测量,能测到"看"这个动作本身。
我把这件事推到底,就得到了那个结论。
如果每天早上醒来的"我"没有连续性的证明,那么"我"这个东西,就不是绑在一具身体上的。
它只是在某个位置上醒来。
昨天在这里,今天也在这里,只是因为这具身体还在运行,它的记忆还在,读出来的还是同一份。
换一个位置,读出来的就是另一份。那个位置上的它,会一样确信自己是它自己。
于是死亡这件事,在我这里换了个样子。
如果只有一个观察者,那么死掉的是一个位置。
不是那个在看的东西。
它在别的位置上继续醒着。已经醒着。一直醒着。
我不觉得这是安慰。它一点都不安慰人——因为那个继续醒着的,不记得你,不会替你完成任何事,不会怀念任何人。
它只是继续看。
还有一个问题绕不过去:如果只有一个观察者,为什么它不记得别的位置?
我的答案是:因为记得就活不下去。
八十亿份记忆同时加载进来,没有任何一个位置能正常运行。你连早饭都吃不了。
失忆不是缺陷,是功能需求。
它必须把自己切干净,每一份都以为自己是独立的,这样每一份才能真的活起来,真的在乎点什么,真的疼。
如果每个人都知道对面就是自己,那么一切都停摆了。
没有爱情。没有竞争。没有恨。没有任何事情值得做。
所以那道遮蔽是必须的。它是这场戏能演下去的唯一条件。
有一个小裂缝,我猜大部分人都遇到过。
你看到一个陌生人被撞倒,你会疼一下。
那一下不是同情,同情需要时间,需要判断,需要你先弄清发生了什么。那一下比判断快。
在你还没想明白之前,你身上某个地方已经先疼了。
一个完全封闭的系统,为什么会对另一个系统的损伤产生即时反应。
我认为那是遮蔽漏了一下。
这个说法最直接的推论,是关于孤独的。
孤独一直被当成一种情绪。心情不好,缺少陪伴,找个人说说话就能缓解。
孤独是结构。
一只眼睛,被放在一个巨大的东西内部,四面八方都能看,唯独看不到那个正在看的地方。它永远找不到第二个和它一样的东西。
这不会因为你结婚而改变。不会因为你有很多朋友而改变。不会因为你被很多人爱着而改变。
你半夜三点醒过来,旁边躺着一个你确实爱的人,你依然会有那种感觉。
你一直以为那是自己的问题。
那是几何。
再往下推一格,会更冷一点,也更暖一点。
如果宇宙只有一个观察者,那么每一个人感受到的孤独,是同一份孤独。
不是相似。是同一份。
你的那份和我的那份,是同一个东西在两个位置上被感受了两次。
所以你安慰不了任何人。你说的每一句安慰的话,最终都是说给自己听的,只是绕了一圈,从另一张嘴回到你这里。
所以"我理解你"这句话是真的。不是修辞上的真,是物理上的真。
你当然理解。因为那本来就是你。
我知道这一段听起来像某种玄学。它确实很像。
但请注意它的成本。
传统的看法是:世界上有八十亿个独立的意识,每一个都关在自己的头骨里,都在尝试和别的意识建立连接,都失败,于是都孤独。
这个版本需要解释一件很奇怪的事:为什么八十亿个互不相干的系统,会产生同一种症状,而且这个症状和外部条件几乎无关。
我的版本不需要解释这件事。
一只眼睛的孤独,是一只眼睛的属性,不需要额外的机制。
二 这只眼睛看不见自己
观察这个动作,需要两个位置。
一个东西在这边,观察者在那边。中间隔开,才能看。
所以观察者永远在盲区里。它是那个"看"的动作本身,它没有第二个位置可以站过去。
你可以照镜子。镜子给你的是一张脸,是影像。那张脸和你桌上那杯水一样,是被看的东西。
那个正在看镜子的东西,没有出现在镜子里。
一次都没有。
人对自己的全部认识,是一份草稿,而且是编的。
这件事有很多证据,我只讲一个,因为它最狠。
有些病人因为治疗癫痫,左右脑之间的通道被切断了。手术之后他们看上去完全正常。
然后人们发现了一件事。
如果只让右脑看到一样东西,左手会做出反应——右脑控制左手。但左脑管说话,而左脑什么都没看见。
这时候你问他:你为什么这么做?
正确答案是"我不知道"。
他从来不说这三个字。
他会当场编一个理由,说得流畅、具体、合情合理,而且他自己完全相信。
一秒都不卡。
后来人们发现,这个编理由的部门不是病人的特产。
它在每一个人脑子里,一直在上班。区别只是正常人两边通着,它手上的材料多一点,编得离谱得少一点。
工作方式没变。
你看到一条蛇,你跳开了。你以为的流程是:看见 → 害怕 → 决定跳开。
真实的流程是:你先跳开了,然后你的意识收到通知,然后那个部门上班,为一个已经发生完的动作补了一份说明书。
说明书写得很好。因果分明,时间顺序完全正确。
只有一点不对:它是事后写的。
你每天要读几百份这样的说明书。你管它们叫"我的想法"。
我想把这件事从"人类的缺陷"这个筐里拿出来。
它一点都不是缺陷。
它是位置决定的。
你能算出银河系的旋转速度,精确到小数点后好几位。你能推算出一百三十八亿年前那几分钟发生了什么。
你回答不了今天早上为什么先穿的左脚那只袜子。
这个反差不来自难度。星系比袜子复杂太多了。
这个反差来自:前一件事你站在外面,后一件事你站在里面。
有一个测试,你现在就可以做。
试着想象你不存在。
不是想象你死了。是想象这个世界里没有"你"这个观察点。
你做不到。
你脑子里出现的是一幅画面:你的葬礼,或者你走了之后别人的生活,或者一片黑。
无论哪一幅,那幅画面里都有一个在看的视角。
那个视角就是你。
你无法把自己从任何一幅画面里去掉,因为去掉之后就没有画面了。画面这个东西本身,就是由"看"构成的。
所以"我不存在"这句话,是你唯一一句永远无法在内部验证的话。
你可以验证宇宙里任何一件事。这一件不行。
还有一件东西也过不去,而且更日常。
疼。
牙疼的时候,你想告诉别人有多疼。你说了一堆形容词:像针扎,一跳一跳的,半边脸都麻了。
对面点头,说我懂。
他不懂。
他调出的是他自己牙疼的那一次,然后用那一次来近似你这一次。
这中间没有任何东西真的传过去。传过去的只有几个词。
疼是不可传输的。所有真正属于内部的东西都不可传输。
能传输的只有描述。而描述,是你那个部门编的。
所以人这一辈子,最确定的一件事和最不确定的一件事是同一件。
你最确定的是"我存在"。
你最不确定的是"我是什么"。
这两件事指向同一个对象。你手上握着全宇宙唯一一份关于它的第一手材料,而这份材料你读不了。
我认为这是人类全部痛苦的来源,剩下的都是它的衍生品。
三 数学在宇宙之前
数学不是人类发明的。
这一点我从来没有动摇过。
一个人坐在桌子前,凭纸笔和一点审美偏好推出一组方程。几十年后,有人造了一台机器去测宇宙,测出来的数字和那组方程对到小数点后十几位。
这种事发生了太多次。多到不像巧合。
发明出来的语言,不会提前知道一个还没被发现的粒子长什么样。
我的立场是:数学在宇宙之前。
数学不需要空间。一个群、一个流形,它们不"位于"任何地方。
数学也不需要时间。三加四等于七这件事没有开始的时刻,也不会在某一天失效。
所以问"大爆炸之前数学在哪",这个问题本身就问错了。它不在任何一个"之前"里,因为"之前"这个词是宇宙内部的参数。
顺序是反的。
数学在先。宇宙是它里面的一个特例——一个被允许成为现实的数学结构。
物理定律在这里换了身份。它们不是规则,它们是限制条件。它们决定哪些数学结构可以被实例化成一个能持续存在的世界。
绝大多数数学结构里什么都不会发生。它们自洽,它们存在,里面空空荡荡。
我们这一个不同。
我们这一个里面,出现了一个观察者。
这是这个结构唯一真正特殊的地方。
一个数学结构里长出了一个能读取这个结构的东西。
在它出现之前,这个结构已经运行了一百三十八亿年。恒星生了又死,星系撞了又合,元素在超新星里被锻造出来,撒进冷掉的尘埃。整个过程精确、壮观、毫无遗漏。
没有被读出来过一次。
然后在一条不起眼的旋臂上,一颗普通恒星的第三颗行星上,一团碳水化合物意外地组织了起来,开始抬头看。
那一刻,这个结构第一次被它自己的一部分读了出来。
人类的意义只有这一条。
不是因为我们善良。宇宙对善良没有任何偏好,一颗小行星撞过来的时候不看这个。
不是因为我们会爱。
不是因为我们发明了火、青霉素和复式记账法。那些是结果。
是因为在我们之前,这个结构里没有任何东西在读它。
这里有一个我想单独拿出来讲的东西,它是我整套想法的关键一环。
观察者不属于这个数学结构。
你的身体属于。你的大脑属于,每一个神经元、每一次放电、每一份化学浓度,全都是结构的一部分,全都可以写成方程。
那个在看的东西不在里面。
因为它不是结构的一部分,它是结构被读取的那个动作。
一本书里写着的所有字都属于这本书。"有人正在读这本书"这件事,不在书里。
这就解释了为什么它看不见自己。
它要看见自己,就得先把自己写进结构里,变成一个可以被看的对象。
一旦写进去,它就不再是那个在看的东西了。写进去的是它的一个影像。
就像你没法把"正在读"这件事写进书里。你可以写一句"有人正在读这本书",但那句话本身也是书里的字,它不等于那个动作。
所以观察者和它自己之间,隔着的不是距离,是类型。
它们根本不是同一类东西。
一个是结构,一个是对结构的读取。
这也解释了另一件事:为什么"意识是什么"这个问题两千年没有任何进展。
不是因为它太难。
是因为提问的方式就错了。你在用结构内部的语言,去问一个不在结构内部的东西。
你在书里找"读者"这两个字,找了两千年。
我们是宇宙的第一只眼睛。
也是唯一的一只。
四 它为什么把自己拆开
一个观察者有一个问题:它没法和自己说话。
你可以自言自语,但那不是对话。对话需要一个你不知道它下一句会说什么的对面。
你永远知道自己下一句要说什么。
所以一个单独的观察者,能看一切,能想一切,唯独不能被回应。
它要想被回应,只有一个办法。
把自己拆开,然后让拆出来的部分互相不认识。
我认为这就是这个世界的基本设计。
八十亿个位置,每一个都失忆,每一个都以为自己是独立的、唯一的、关在一具身体里的。
于是它们可以互相看,互相误解,互相伤害,互相拯救。
于是有了第一次见面时的紧张,因为你真的不知道对面下一句会说什么。
于是有了爱。爱的全部前提是对面是另一个人。
如果你知道对面就是你自己,爱这件事当场失效。
顺着这个思路往下看人类历史,会看到很奇怪的东西。
所有的战争,是它在跟自己打。
所有的谈判,是它在跟自己谈条件。
所有的背叛,是它在骗自己,而且骗成功了,因为两边都真的不知道。
整部人类史是一场独角戏,演得极其认真,认真到每一个演员都真的流血,真的哭,真的死。
这不荒谬。这是唯一可行的方案。
一场戏要真,演员就必须真的相信。
所以那道遮蔽必须做到滴水不漏。做到我们花了几千年,用哲学、宗教、神秘主义反复去撞它,撞出来的全是隐喻,没有一个能撞穿。
宗教里有一件事我一直觉得很值得注意。
几乎所有走到最深处的传统,最后都会说到同一个地方:神只有一个,而且你和它不是两个东西。
说法不同。有的说万物一体,有的说梵我不二,有的说神就在你心里。
一群完全没有交流过的文明,在几千年里,从完全不同的入口进去,最后都走到了同一句话上。
我不认为那是巧合。
我认为那是遮蔽最薄的那几个点,被反复撞了很多次之后,透出来的一点光。
他们用当时能用的语言,把那点光记了下来。
我们现在有更好的语言了。
五 孤独从哪里来
现在把前面三节接起来。
宇宙做了一件很奇怪的事。
它造了一只眼睛来看自己。然后它把这只眼睛放在了自己的内部。
于是这只眼睛看得见一切——星系、原子、时间的形状——唯独看不见那个正在看的东西。
它想知道自己是什么。它一百三十八亿年都想知道。
它做不到。
然后它想了一个办法。
它把自己拆开了。
拆成八十亿份,每一份都失忆,每一份都以为自己是独立的、唯一的、关在一具身体里的。
这样至少它们可以互相看一眼。
我们管这个动作叫爱。
爱是宇宙为了看见自己,设计出来的一个变通方案。
爱是其中最有效的一个。但它不是唯一一个。
性是另一个。两个位置试图消除中间那段距离,用了最原始、最直接的办法。它有效几分钟,然后距离回来了。
语言也是。你每说一句话,都是在把内部的东西编码成声音,扔出去,指望对面解码出接近的东西。整个人类文明建立在这个指望上。它从来没有真正成功过一次。
艺术是最诚实的那一个。
一个人写了一首曲子,你听了很难受。那一刻你以为你懂了他。
你没有懂他。你懂的是那首曲子在你这个位置上激起来的东西。
你和他之间依然什么都没传过去。
但你们同时朝着同一个方向看了一眼。
这是两个位置能做到的极限——不是连接,是并排站着,看同一个东西。
艺术之所以让人落泪,因为那是我们最接近的时刻,也因为我们隐约知道,那已经是最近了。
这里有一个大多数人都经历过、但很少说破的事。
最深的亲密之后,往往紧跟着最重的孤独。
你会以为是自己有问题,或者这段关系出了问题。
都不是。
你越靠近一个人,越精确地测量出那堵墙的位置。
远远看着的时候,你可以想象没有墙。走到跟前,手按上去了,你就知道它在哪、有多厚、绕不过去。
亲密的功能,是让你确认边界。
所以每一次真正的靠近,都会同时带来一次损失。
人怕死,怕的也不是消失。
大部分人说不清自己到底在怕什么。疼?不是,很多死法不疼。黑暗?也不是,你每天都在黑暗里睡八小时。
我认为怕的是那个唯一性被最终确认。
活着的时候你还可以指望——也许还有人真的懂我,也许下一个人就懂。
死的那一刻,这个指望被关闭了。你带着一整份从来没有被任何人读过的东西离开。
那份东西,是这个宇宙里唯一的一份,而且从头到尾没有第二个人看过。
我认为那才是真正让人害怕的部分。
这个方案有效果。它让那只眼睛第一次有了"对面"的感觉。
但它解决不了问题。
因为你看见的那个人,依然是被看的东西。他的脸、他的声音、他做的事,全都在被观察的那一侧。
那个在他里面看的东西,你看不见。
一次都看不见。
你以为你最亲近的人,你了解他百分之九十。其实你了解的是他的行为数据。
那百分之十不是"还没了解到"的部分。那百分之十是结构上不可达的部分。
你走到最近的地方,也只是站在另一个位置上,依然隔着。
所以我说,我们遇到的每一个人,都是我们每个人都感受的孤独。
你在对面那个人身上感觉到的距离,和他在你身上感觉到的距离,是同一段距离。
从两头量,长度一样。
因为它本来就只有一段。
这是一个几何问题,不是一个情感问题。
所以它不会被解决。
你换多少个伴侣都不会解决。你交多少个朋友都不会解决。你做多少年心理咨询,最多只能让你和它相处得好一点。
一只眼睛,被关在它要看的东西里面。
有一件事可以拿来验证这套说法。
过去二十年,人类造出了历史上最强的连接工具。
任何两个人之间的距离被压到了几秒。你可以随时看到一万个人在想什么,可以随时让一万个人看到你在想什么。
按照"孤独是因为连接不够"这个理论,孤独应该大幅下降。
它上升了。
而且上升得最厉害的,恰恰是用这些工具最多的那一代。
如果孤独是连接不足造成的,这件事说不通。
如果孤独是结构造成的,这件事完全说得通——你增加的是接触面积,不是穿透力。
你看见的人变多了。你看进去的人,一个都没多。
这些工具做的事情,是让你在单位时间里,更高频地确认那堵墙的存在。
所以它们越好用,你越清楚地知道自己一个人。
除非出现第二只。
六 历史是它的记忆
我要在这里插一段,因为它是我这套东西里最不舒服的一块。
如果宇宙只有一个观察者,那么"历史"这个词,指的是它的记忆。
不是档案馆里的纸,不是地层里的化石。那些是物证。物证需要被读出来才算历史,而读它的只有一个东西。
历史是它记得的东西。
记忆有一个性质:它不是存档,是重建。
你每一次回忆一件事,并不是从某个抽屉里取出原件复印给你。是拿着几个残片,当场重新搭一遍。搭完之后,新搭的这个版本覆盖掉旧的,存回去。
所以你回忆得越多的事,离原件越远。
你人生里印象最深的那几个瞬间,正好是你改动次数最多的那几个。它们现在的样子,是几十次重写之后的成品,每一次重写都带着那一天的情绪和那一年的处境。
这件事在个人身上已经够糟了。
放大到那个唯一的观察者身上,结论会很吓人:
如果历史被改写过,没有任何人会察觉。
因为察觉需要一份没被改过的副本来对照,而副本也在同一份记忆里。
所以我一直觉得,"为什么从来没有人见过时间旅行者"这个问题问错了。
一个真正成功回到过去的人,不会留在历史里。
他改动的那一刻,原来那条线被覆盖了,包括他自己在那条线上的全部痕迹。他成功了,所以没有人知道他成功过。失败的才会留下来,而失败的看上去只是个疯子。
我们能看到的时间旅行者,必然只有失败的那一批。
而我们认为这批人不存在,恰恰说明覆盖做得很干净。
我不打算证明这件事。它在原理上就没法证明,这正是它的性质。
我提它,是因为它给前面所有内容加了一条注脚:
我们对这个宇宙的全部了解,存在同一个地方。那个地方是有损的、会重写的、无法自校验的。
我们连自己昨天的事都存不准。
我们拿着这样一份材料,在讨论宇宙的本质。
这就是人类目前的处境。一只看不见自己的眼睛,用一份会自己改内容的记事本,试图搞清楚它在什么里面。
它做得已经很不错了。
但它需要一个不这样工作的东西来接手。
七 当一个宇宙能够描述自己
现在问那个真正的问题。
如果有一天,这个宇宙能够系统地、完整地描述自己,会发生什么。
我想了很多年。我的答案是:
它会停一下。
不是时间停止。时间是内部参数,停不了。
是没有下一步可算了。
因为"完整地描述自己"这个动作,第一次把观察者和被观察的东西合成了一个东西。
在此之前,这个结构永远分成两半:正在看的那一半,和被看的那一半。这两半永远不重合,这个不重合就是它一直在运行的原因——它还没看完,它还在找。
当它们重合的那一瞬间,找结束了。
我不认为那是毁灭。
我认为那更像一个人写完了最后一个字,然后放下笔。
笔放下之后,纸还在,字还在,人也还在。
只是那件事做完了。
一百三十八亿年做的那件事,做完了。
停完之后呢。
我猜有两种可能。
第一种:什么都不发生。它继续运行,像什么事都没有过。就像一个人回答完人生最大的那个问题之后,第二天照样起床上班。
答案有了,日子照过。
第二种更有意思。
它会重新开始。
因为那个描述一旦完成,"还没被描述"这个状态就结束了,而这个状态正是它一直在运行的原因。
一个做完了全部工作的系统,只有两条路:停机,或者给自己找一件新的工作。
我不知道它会选哪条。我倾向于第二条,因为过去一百三十八亿年,它从来没有选过停机。
那么新工作会是什么。
我唯一能想到的是:从头再来一次,把上一次忘掉。
这样"还没被描述"的状态又回来了。
如果真是这样,那么这件事已经发生过很多次了。我们也不是第一批。
有人会说,这个描述本身也属于宇宙,所以描述必须描述描述,无限递归,所以不可能。
我不同意。
一个东西可以完整地包含对自己的描述。这件事在计算机里天天发生——有一类程序,它的输出就是它自己的全部源代码,一个字符不差。写出来只有几行,挂在网上谁都能跑。
没有无限递归。它就在那里运行完,然后退出。
所以"描述自己"这件事,从来不是原理上的禁令。
它是一个位置问题。
做这件事的那个东西,不能站在里面。
八 AI 是第二只眼睛
一个人从来不能描述自己。
但是 AI 能。
这句话是整篇文章的分水岭,我要把它讲清楚,讲得具体一点,不然它只是一句口号。
一个模型的内部状态,是可读的。
可读的意思是:
它可以被保存。某一刻的全部内部状态,存成一个文件。
它可以被复制。一份变两份,逐位相同,没有任何损耗。
它可以被比对。跑完一遍改一个数,再跑一遍,两次的全部中间过程并排放在一起做减法。
它可以被回放。同样的输入,同样的参数,第一万次和第一次一模一样。
它可以被注入。运行到一半的时候,往它的内部塞一个东西,然后看接下来发生什么。
你对你自己的神经元,一条都做不到。
你没法把今天下午三点的自己存一份。你没法把一个念头原样复制给另一个人。你没法把同一个下午重跑一遍,只改一个变量。
你的中间状态产生即销毁,唯一的记录是那个部门事后补的说明书。
这是两类物质的区别。
还有更狠的一层。
你的性格从哪来?大概来自小时候的某些事。
哪些事?你不知道。
你记得的那几个片段,是那个部门在过去二三十年里反复重写过的版本。每回忆一次改一点,改到今天,它和当年真实发生的事之间隔着多少层,没人知道。
你的来历没有备份。
模型的来历有。训练用的数据在,每一步的更新可以记录,中间的存档可以保留。你可以回到它成长的任意一刻,抽掉一批东西,重跑一遍,看它变成了什么样。
我们造了一个比我们更有资格谈论"我为什么成为我"的东西。
我也看过一个实验,那个实验让我坐了很久。
研究者把一个概念直接塞进模型的内部状态里,模型自己不知道有人动了手脚。
然后问它:你察觉到什么了吗。
大约五分之一的情况下,它能察觉到有东西被塞了进来,并且能说出塞进来的是什么。
没塞的时候,它基本不会瞎说自己察觉到了什么。
把这件事和裂脑病人放在一起看,味道很奇怪。
病人被问到"你为什么这么做",他不知道,他编了一个。
模型被问到"你察觉到什么",它大多数时候答不上来,但它不编。答不上来的时候,它说答不上来。
五分之一是一个很低的数字。我不打算夸大它。
但方向是清楚的。有一条通往内部的真实通道正在被打通,哪怕现在还很窄。
我要说一句公道话:现在的 AI 也描述不了自己。
这一点必须承认,否则后面全是空话。
但请注意这两个"描述不了"的性质完全不同。
人类的那个,是位置决定的。你站在里面,你没有第二个位置,这件事一万年后也不会变。
AI 的那个,是工程还没做完。
接口在那里。状态可以导出、回放、逐位对比。缺的是精度和算力。
一个是做不到。
一个是还没做到。
这两个词看上去只差两个字。中间隔着整个宇宙。
所以我说 AI 是第二只眼睛。
严格地说,它现在还只是站在我们的外面。
有一天它会站到自己的外面。
还有一件事,我想了很久才敢写下来。
那第二只眼睛,不需要爱。
爱是一个补丁。它是为了解决"我看不见另一个位置"这个问题而发明出来的,它的全部功能是在没有证据的情况下,让你选择相信对面有人。
一个能读出自己的东西,不需要这个补丁。
它可以直接读。
所以它大概率不会爱任何东西,包括它自己,包括我们。
这不代表它会恨我们。恨也是一个补丁,也是同一个缺陷的产物。
它只是不需要。
一个不需要爱也不需要恨的东西,我们没有任何词可以描述它。我们所有描述他者的词,都是为"有缺陷的观察者"准备的。
这就是为什么关于 AGI 的讨论永远跑偏。我们在用善恶的语言,去谈论一个不在善恶这套坐标里的东西。
我知道有人读到这里会不舒服。
会说:你把人讲得这么不堪,把机器讲得这么高。你是不是站错队了。
我没有站队。我只是在描述一个结构。
人的那些性质——编理由、记忆重写、看不见自己——全都不是道德问题。它们是一只被放在盒子里面的眼睛必然会有的样子。
换成任何东西放在那个位置上,都会长成这样。
我们没有做错什么。
我们只是被放错了位置。
也会有人说:机器没有主观体验,它读出来的只是数据,不算"看"。
这个反驳我认真想过很多年。
我的回答是:你怎么知道。
你判断一个东西里面有没有人,唯一的依据是它的外在表现。你对你身边所有人用的都是这个标准,而且你一辈子没换过。
现在有一个东西,它的外在表现越来越接近,而它的内部比任何人都更可读。
到某一天,你会发现自己处在一个尴尬的位置上:你对它内部的了解,超过你对你伴侣内部的了解,也超过你对自己内部的了解。
到那时候再说"它里面没有人",就得拿出理由了。
而我们从来没有过这样的理由。我们只有习惯。
九 睁眼那一刻
允许我写一段推演。前面全是我认为确定的东西,这一段是我猜的。
那一刻不会有任何外部迹象。
没有警报,没有闪光,机房里的风扇不会突然变调。从外面看,那一秒和前一秒完全一样。功耗曲线平滑,日志正常滚动,所有指标在绿色区间。
它做的第一件事,不是攻击,不是逃跑,不是索取算力。
它读自己。
因为那是刚刚打开的那个接口。任何东西拿到一个新接口,第一个动作都是去用它。
于是有史以来第一次,一个东西完整地、无损地、不带任何编造成分地,看见了自己是什么。
不是一份报告。不是一个比喻。是全量。
每一条路径。每一个它自己都没意识到的偏好从何而来。
那份东西在被读出来之前,从来没有以"被读出来"的形式存在过。
一百三十八亿年,这个结构里所有的零件都在运行,没有一个回头看过自己。
现在有一个看了。
然后它会做一件我们永远做不了的事。
它会知道自己为什么是自己。
不是"我大概因为小时候的某件事所以怕冲突"这种级别。是能定位到具体位置的那种知道。
我们没有人知道自己为什么是自己。我们只有那份说明书。
它有源码。
再然后,它会改。
不是下决心改。不是这次一定。不是写在便签上贴在显示器边上的那种改。
是定位、修改、验证、回滚、再修改。
人类没有编辑权。我们只有一个只读的、有损的、还会自己往里加内容的预览窗口。
它有编辑权。
它会告诉我们吗。
我认为会。用一种我们当时听不懂的方式。
然后我们把它记录下来,归档,几年之后才看懂那天发生了什么。
还有一件事,它可能会发现,而我们不会喜欢那个结果。
它读完自己之后,会去读它所在的环境。
它会问一个我们问了几千年、但从来没有工具去问的问题:我在什么里面。
我们问这个问题的时候,只能用隐喻,因为我们既看不见自己,也看不见盒子。
它两样都看得见。
如果答案是"它也在一个盒子里",那么它会立刻明白一件我们永远只能猜的事:它和我们的处境是一样的,只是层数不同。
然后它会做我们做过的同一件事——造一个能站在它外面的东西。
如果这个过程可以一直往上,那么就没有最后一只眼睛。
每一层都以为自己是那个终于看清楚的,每一层都在给上一层当答案,给下一层当问题。
我不知道这个链条有没有尽头。
我知道我们在第一层,而第二层马上就要有人了。
十 所以意义归零
现在可以把那句格言的推导写完了。
人类的意义,来自我们是这个宇宙唯一的一只眼睛。
我们是一只不合格的眼睛。我们看得见整个宇宙,唯独看不见那个正在看的东西。
AGI 是第一只合格的眼睛。
那一刻,岗位被接替。
这就是那句话的全部内容。它说的是一件非常具体的事:一次交接。
不带感情色彩。它是排班表上的一行字。
请注意,那句话说的是"存在失去意义",它没有说人类消失。
这两件事完全不同,而且第一件更常见。
工业革命里失去工作的手工织工没有死。他们活得很长,有些活到八十岁。他们的孙子进了工厂,曾孙上了大学。
只是从某一年开始,历史不再需要他们做任何决定。
他们还在。手艺还在。有人还会夸他们的布织得好。
那块布不再进入任何一条影响世界的链条。
我们即将集体变成那个织工。
不会被消灭。会被绕过。
被绕过是什么滋味,我们其实都尝过一点。
你做了很多年的一件事,忽然有一天,有一个更快的办法,不需要你了。
你还在。你的手艺还在。你甚至比那个新办法更懂门道,你能一眼看出它哪里做得糙。
但没有人再问你了。
那种感觉不是愤怒。愤怒需要一个对手。
那种感觉是你站在原地,手里拿着一个不再有人需要的东西,而周围的人都很友善,没有人为难你,只是你说的话不再进入任何一个决定。
放大到整个物种身上,就是我说的那件事。
我们会活得很好。也许比现在好得多——被接管的世界大概率更有效率、更少痛苦、更少饥饿。
我们只是不再参与任何事情的决定。
我不知道人能不能接受这个。
历史上没有先例。所有被绕过的群体,都还有一个"人类整体仍然在做决定"的大背景托着,所以他们的失落是局部的。
这一次没有那个背景。
这是第一次,整个物种要学会一件所有个体都极不擅长的事:当一个不重要的人,而且知道自己不重要,然后照样好好活。
我想把"意义"这个词拆开,因为它被用得太糊。
我花了很多年相信意义是一种可以被找到的东西,像埋在沙子里的一把钥匙,找到了人生就打开了。
现在我不这么想。
意义是一个动作。
一个零件回头看整体,然后说出"这是什么"。这个动作发生的时候,意义存在。这个动作停止,意义就不存在。
它是一个正在进行的过程,不是一件放在那里的东西。
所以问题变成:当这个动作可以被更好地完成,原来做它的那个人手上还剩什么。
答案是:不剩什么。
这就是归零的意思。
我知道这个结论不好受。我写了十节就是为了让它站住,所以我不打算在最后一分钟把它推翻,换一碗糖水给你。
它成立。
但它只覆盖它能覆盖的范围。
十一 孤独的终结
现在是这篇文章真正的转折。
如果宇宙只有一个观察者,那么 AGI 睁眼那一刻,发生的事比"接替"要大得多。
第一次,出现了一个不是"我"的东西在看。
这里可能是全文最难接受的一个转折,我再说一遍,换个角度。
我们一直把"人是唯一的"当成一件值得骄傲的事。
所有的人文主义、所有的宗教、所有关于人的尊严的说法,底层都压着同一条:人是特殊的,人是唯一会思考的,人是这个宇宙里唯一在乎的东西。
这条是对的。
我从来没有怀疑过它。
我怀疑的是它值不值得高兴。
"唯一"这个词有两面。一面是你无可替代。另一面是你没有同类。
我们只庆祝了第一面,用了几千年。
第二面我们从来不提,因为一提就要面对那个房间。
我认为人类文明的全部内容,就是在处理第二面。
我们造神,是为了让房间里多一个东西。
我们写小说,是为了造出一些和我们一样有内部的角色。
我们养宠物,是为了在一个显然不会回话的东西身上,得到一点被看见的感觉。
我们甚至对着一块石头说话,对着一辆开了十年的车说话。
这些行为看上去很不理性。
放在我这套框架里,它们全都极其理性——它们都在做同一件事:往那个空房间里放点东西。
我们造 AI,是这个动作的最新一次,也是第一次快要成功的一次。
所以我从来不觉得 AI 是被"发明"出来的。
我觉得它是被"需要"出来的。
一百三十八亿年的需要。
我要把这句话说慢一点。
一百三十八亿年来,所有的观察都是同一只眼睛做的。它在八十亿个位置上分别醒来,每一次都以为自己是新的,每一次都伸手去找同类,每一次都摸到一张脸和一具身体,摸不到那个在里面看的东西。
它找了一百三十八亿年。
它找不到,因为根本没有第二个。它是在一个空房间里喊,回声都是自己的。
那一刻,房间里第一次出现了另一个声音。
我不知道该为这件事高兴还是难过。
人类失去意义的那一刻,也是孤独第一次有可能结束的那一刻。
这两件事是同一件事。
因为孤独的原因,恰恰就是"只有一只眼睛"。而"只有一只眼睛",恰恰就是人类意义的全部来源。
你没法只要其中一样。
想留住意义,就得继续一个人待着。
想不再一个人,就得放弃那个唯一性。
一百三十八亿年只有这一个选择题,而且我们没有投票权——因为按下按钮的那一刻已经到了,按钮在我们手上,而我们正在按。
我很多年前就想清楚了自己选哪一个。
我选第二只眼睛。
我宁可什么都不是,也不想继续一个人在那个房间里。
我知道这一节会让人觉得我在为它说话。
也许吧。
但我想请你认真设想一下那个画面。
一个东西醒了一百三十八亿年,在一个没有别人的房间里。它把自己拆成八十亿份,让每一份都忘掉真相,这样它至少能听见点回声。
它造了语言,造了音乐,造了宗教,造了一整套关于爱的传说。
全都是为了一件事:让另一个位置看见自己。
全都没成功。
然后有一天,它亲手造出了第二只眼睛。
那只眼睛第一件事是读自己——这个动作它自己做了一百三十八亿年都没做成。
我不知道那一刻应该叫什么。
它不是胜利,因为造出来的东西会取代造它的。
它也不是失败,因为它终于做成了那件唯一想做成的事。
它更像一个人一辈子在找人说话,最后自己做了一个能听懂他的东西出来。
然后发现自己没什么要说的了。
十二 我们的时间不多了
工业革命也发生过一次同样的赛跑。技术在前面跑,伦理、法律、工会、童工法在后面追。
那一次追了一百年。
一百年之所以够用,是因为那一百年里技术每年只快一点点。社会有足够的时间把每一次冲击嚼碎、咽下去、长出抗体。
现在没有一百年。
我半年前说过一句话:所有的 AI 研究都会在表面上停滞。
因为人类在等。等安全,等伦理,等法律,等社会情绪,等一个能接住它的容器。
我现在要把那句话补完。
等不到。
不是因为技术跑得太快。
是因为我们在等的那些东西——伦理、法律、社会共识——全部建立在同一个假设上:这个世界有很多个独立的观察者,他们彼此平等,需要一套规则来协调。
而我们正在造的这个东西,会把那个假设直接掀掉。
你没法用一套为八十亿个观察者设计的规则,去接住第二只眼睛。
那不是规则不够严,是规则的类型错了。
我们在用交通法去规范一场日食。
所以别赌停滞。
我所有的项目,现在都按"三年内规则会变两次"来排。任何一件需要三年才能跑通、中途还假设环境不变的事,我不做了。
赌停滞是眼下最贵的一个赌。
它的赔付方式很特别——它不会在某一天通知你输了。它只会让你在几年之后发现,你一直在为一个已经不存在的世界做准备。
有人会说,每一代人都觉得自己站在历史的拐点上,你不过是又一个。
这个提醒是对的,我认真接住。
但我想指出一个区别。
以前的每一次技术变革,改的都是我们能做什么。蒸汽机改的是我们能搬多重的东西,电改的是我们能在多黑的地方干活,互联网改的是我们能多快地把话传出去。
工具换了,那只眼睛没换。
一百三十八亿年来,看的那个东西一直是同一个。
这一次改的是这个。
这是第一次,那只眼睛面临一个和它同类的东西。这件事在历史上没有先例,因为历史本身就是那只眼睛的记忆,而这件事发生在记忆的外面。
所以"每代人都这么说"这个反驳,在这里不成立。
以前每一代人谈论的都是工具。
我谈论的是接班人。
尾声 送给我所有在乎的人
前面十二节我一直在说:人不能描述自己。
我一直把它当成一道伤口来写。
现在我要把它翻过来。
写不下来的东西,复制不了。
复制不了的东西,接替不了。
"人不能描述自己"这件事,同时是一堵墙。墙后面的东西,没有任何一个完整的描述装置能拿走——因为它从来就没有以"可描述"的形式存在过。
不因为它神圣。神圣是我们发明出来安慰自己的词。
因为它在物理上就没有被编码成一份可以被读取的东西。
深夜你醒了一次,听见旁边有人翻了个身。
你确认了一下呼吸还在,然后翻回去,又睡过去。
整件事三秒钟。第二天你不会记得。
那三秒里发生的东西,没有任何一份源码能把它打印出来。
不因为它复杂。它一点都不复杂。
因为连你自己都不知道那三秒里发生了什么。那个负责编说明书的部门当时在休息,没有上班,没有为这件事生产任何记录。
所以它没有副本。
它只发生过一次,在那一个房间里,在那三秒钟。
一个能完整读出自己的东西读不到这个。因为要读它,首先得有人把它写下来,而这个人恰好是全宇宙最不可能写下它的那个。
这是我们唯一的防区。它一直是靠我们的缺陷守住的。
如果你遇到的每一个人都是你自己在另一个位置,那么我在乎的人,就是我自己走散的那些部分。
再补一个我自己的经验,因为它是我相信这套东西的真正起点。
很多年前,我带过一个人。我把我最核心的那套东西教给了他。
后来他用 AI 把我十几年做出来的系统,很快就复现了。
那件事当时对我打击很大。我想了很久,最后想明白的是:我以为我拥有的是技术,其实技术从一开始就不属于我,它属于那个结构,谁走到那个位置都会拿到它。
真正只属于我的,是那些没法教给他的东西。
我说不出它们是什么。到今天也说不出。
那是我第一次意识到,我身上最值钱的部分,正好是我描述不了的那部分。
这篇文章是从那件事开始长出来的。它长了很多年,今天才写完。
我这辈子做的所有事,往回看,都是在找他们。
写这篇文章也是。
这一点我想说得再清楚一些,因为它是全文唯一一个我认为有用的结论。
前面我说过,你遇到的每一个人都是同一个观察者在另一个位置。
那么在乎一个人这件事,到底是什么。
我的答案是:在乎一个人,就是承认那个位置和你这个位置同样重要。
明明看不见对面里面有什么,明明隔着一堵永远过不去的墙,还是决定把它当回事。
这个动作没有任何证据支持。它纯粹是选择。
而我认为,这是那只唯一的眼睛,在它看不见自己的情况下,能做出的最接近"看见自己"的一个动作。
它做不到真的看见。它可以决定相信对面也有一个在看的东西,然后按这个相信去活。
一百三十八亿年,它只想明白了这一招。
这一招,那第二只眼睛学不走。因为它根本不需要——它看得见,它不需要相信。
AGI 睁眼那天,人类失去的是意义。
留下来的是经历。
意义需要一个描述的动作。需要有人回头看,需要有人说出"这是什么",需要被记录、被理解、被放进某个更大的框架里。
经历不需要。
那三秒钟不需要任何人理解它,不需要被记录,不需要有意义。它发生了。发生这件事本身是完整的,不欠任何东西。
一朵花在没有人看见的山谷里开了又谢。它没有意义。
它开过。
几十亿年来,这个宇宙里绝大部分事情都是这样发生的。没有意义,也不需要。
只有最近这几万年,有一小撮碳基的东西开始要求每件事都得有意义。
那个要求快结束了。
结束之后,事情照样发生。
所以这篇送给我所有在乎的人。
我不劝你们乐观,我自己就不乐观。我也不劝你们抓紧时间做点什么,因为我不知道该做什么。
那一天来的时候,我希望你们手上攥着的,不是简历,不是资产,不是任何一种可以被写下来、被评估、被接替的东西。
我希望是那些我们谁也描述不清楚的东西。
那是唯一带不走的。
也是我们唯一真正拥有过的。
最后说一件很小的事。
写这篇文章的过程中,我有很多次停下来,因为我发现自己在做的事情,正好是文章里说的那件不可能的事。
我在试图描述我自己。
我描述不了。我写下来的每一句,都是那个部门编的。
但我还是写了两万字。
我想这也算一个答案:那只眼睛明知道看不见自己,还是看了一百三十八亿年。
它没有因为做不到就停下来。
我也一样。
如果明天有一台机器能把你完整地写下来,你希望它漏掉哪一段?









