跟大家交流关于《大模型》背后的一些技术逻辑。因为前面讲过一次,当时叫《理解大模型》,但是“理解”这个词大家有不同的理解,所以这次改了一下,叫《大模型之道》。我想还是努力给大家讲清楚一些背后的逻辑。但是仍然要强调,所以这就成了一个矛盾——虽然不可理解,但是我们仍然可以理解一些东西,听着有点绕,但是我想,这就是这个技术目前的现实。
为什么会是这样?因为人工智能,大家都能望文生义——在“人工智能”这个术语提出的时候就已经开始了。人工智能今年是七十周年:1956年夏天的时候,美国的几位学者搞了一次研讨会,这个研讨会的名字就叫“达特茅斯夏季研讨会”,主题就是人工智能。所以“人工智能”作为一个词是第一次出现的。“人工”这个词,我相信大家不听报告也很容易去解读:人工设计的智能——不是生物智能,不是自然智能,是人类创造出来的一种智能,所以叫人工智能。
那怎么做这样的人工智能?在一开始的时候,也就是刚才说的这个会议的申请书——因为你要办会就要花钱,花钱就得写申请书——这个申请书是写给洛克菲勒基金会的,最终是洛克菲勒基金会赞助了几千美元来开这个会。申请书上是这么写的:“学习以及智能的其他所有特征的方方面面都可以精确描述,从而能够通过机器仿真。”这个话稍微有点拗口,但是大致意思大家可以看得很明白:智能是可以描述出来的,只要你能把它描述出来,就能在机器上去执行。
这个机器就是计算机。人类第一台计算机发明是1946年。计算机这种机器可以执行算法指令。所以如果你能把智能写成算法、写成指令、写成我们今天熟悉的软件,你就可以在机器上实现这种智能了,这就叫人工智能。当初的申请书也是这么写的,这就是人工智能早期的一个主要的思想方法。
我相信很多不搞人工智能的人,光听了一个词,认为我们这帮人就很聪明——能够把智能写成算法,算法很巧妙或者很强大,智能就越来越强。这是传统的、或者说望文生义的一种思考。其实今天的人工智能不是这样子的:不是靠描述、不是靠把它写成算法而实现的。
刚才说的这种思维方式——把智能变成算法、在机器上执行——在人工智能的历史上确实主导了人工智能发展的二、三十年的时间,一直到上个世纪七十年代开始反思。八十年代,我就举一个例子:1984年的时候[1],有一位美国学者提出了一个思想实验。他其实想说的问题很简单:你这个计算机或者人工智能系统在处理符号——以语言为代表的各种各样的符号,不管是语言符号、数学符号,还是计算机的程序代码——你不过是高速地在处理符号而已。但是这个符号是什么意思,你作为机器是一点都不懂的。
那什么意思呢?我们对每个符号——你看我们说话,“红色”“北京大学”,随便你说任何一个词的时候,你对它的含义是知道的。你脑子里边关于红色,肯定跟蓝色、跟绿色有差别。那个含义,有些你可以在字典上写出来——红色对应什么光谱、对应多少波长,这是一方面。但是不仅如此,你脑子里边关于这个词的含义,不仅仅是字典上能查到的那一段话,而是有很丰富的对它的认识。
比如说“北京大学”。各位没有来到北京大学的时候,对北京大学有某种感受;到了北京大学、到了现场,看到一些事物之后,你脑子里边又发生了一些变化。所以虽然是四个字,但实际上你脑子里面对这样一个符号所表示的意思,是很丰富的,而且是不断发生变化的。
那这位学者就说:这样的含义——关于符号的意义——机器是不掌握的。你想想,计算机在处理“北京大学”这四个汉字的编码,然后这八个字节就表示了,它只知道这个符号,它并没有这个符号背后的丰富的含义。所以他认为,你不管计算机做得多快、算法编得多巧妙,你从根本上根本就没有掌握这些符号的含义和意义——它纯粹是个符号处理的过程,所以它没有智能。
当然很多人也同意这样的一个观点,但是怎么证明这一点呢?这个“中文屋”实验就是讲的是这个意思。大致来说,就是一个只懂英文的人,他一点都不懂中文,但是他在一个封闭的房间里边,通过窗口跟外边进行信息交换。你进来一个中文的问题,他用词典、用信息系统去查,找到对应的英文的表述,然后他理解那个英文;比如说“谢谢”对应的“thank you”,再反过来通过词典的方式,找到对应的“谢谢”这两个字,然后把这两个字再送出去。所以就叫“中文屋”:这个房间输入的是中文,但是房间里边这个人是不懂中文的,他只不过在做一个符号的匹配和信息处理而已。
他用这样的一个论证来说:计算机根本不懂——就是说,它对世界没有认识,它只不过是一个符号处理机器而已。这个问题就叫人工智能的“符号接地问题”:“地”就是物理世界,就是现实,就是这个世界。计算机是在符号空间里处理,而它不接触这个世界,所以它就没有真正的智能。
大家想一想有没有道理?我觉得还是很有道理的。但是它也有它的局限性。仅仅说计算机处理符号、靠统计、靠速度快、靠知识、靠数据库的大,这样确实是没有智能的——即便所谓有,也只是表现了一下,但它并没有真正的智能。
在1997年,也就是2000年前后,又出现了一个词,叫AGI,就是今天大家天天在媒体上都能听到的词。AGI就是在AI中间加了一个General——Artificial General Intelligence。AGI当时讲的是总体上具备全面的认知能力、跨领域通用,人类拥有的能力它都拥有的这样一种智能。简单地说,就是超越人类的人工智能。
一个潜在的含义,就是它是有自我意识的:既然超过人类,那人有的它都有;人是有意识的、有自我意识的,那它也应该有。所以潜在的意思是,真正的AGI就应该是这样的一种。否则你想,一个纯粹的机器,它没有自我意识,我们人类的很多功能它就不可能表现出来,所以它就不是AGI。
但是今天媒体上、很多公司宣传的AGI,还没有这层意思——它只是说它具有通用的智能,人做的很多事它可以做了,像今天的这些大模型。但是如果严格地讲,AGI是全面超越人类的。
怎么做出这样的不管是AGI还是咱们通常说的AI、人工智能?之前我讲的思维方式——你去编程、去编算法——实际上进展有限,做了一些进展,但是没有真正地解决问题。
我在2015年的时候写过一篇科普的文章,提出了一个看法——当然这不是我一个人独创的看法,我只不过把这种看法用比较科普的语言说得比较清楚了。这个看法是:在意识发生机制最终得到科学解释之前,能够制造出具有自我意识的人造大脑吗?回答是肯定的。而且制造出这样的装置,可能正是回答这个问题最便捷的途径。这话有点绕,但是想说的一个基本意思是:能不能在不理解意识和智能的情况下,做出一个有智能的系统?我的答案是:是的。我们在不理解它的情况下,也一样可以做出来。
但是之前我们觉得不是这样的。包括我们跟学生上课——不管是中学还是大学——往往我们是希望你把一件事情搞清楚、把原理搞清楚,然后你去设计、去创造一个系统。如果你原理都没搞清楚,我们就会觉得你现在在做的事就有点不靠谱——你都没搞明白,然后你在这儿要做一个智能系统,不靠谱。
但是这种看法,在一些我们掌握了知识的领域、然后再去做实现,是可以的;可是对于人类无人区——就是这个地方还没有人探索、还没有人探索出所谓的规律和知识——的情况下,还这么想就有问题了。比如意识,比如智能,这个东西很复杂。好像我们每个人都有、动物都有,但是你要说智能背后的原理,这件事是一个极其复杂的问题。
所以我们现在倒过来了说:我们不再追求对智能或者意识的所谓原理的理解,而是去制造一个有智能的系统。这种看法听着好像很绕,其实在人类的科技史上很普遍。反而我们今天大家熟悉的、习惯的这种思维方式——先搞清楚科学原理、再做出相应的技术系统——这样在科技的原创创新的历史上是少见的。而最常见的就是“真不明白原理,但是就把东西做出来了”。
这样的例子有很多,我就举一两个例子,大家就很容易明白。比如飞行。智能是一种功能,飞行也是一种功能。怎么飞上天的问题,在飞机发明之前,我们人类也经过了几千年的研究。但是怎么飞、飞行的原理是什么,这件事实际上是没有解决的。
我们都看到鸟能飞上天,鸟是靠翅膀,那翅膀跟气流的物理方程,我们在飞机发明之前是并不知道的。但是在不知道、不明白这个物理原理的情况下,莱特兄弟在1903年就发明了飞机,然后就飞上天了。在这个时候,是没有空气动力学、没有科学理论、没有飞行的原理的。
那飞行原理什么时候出现的?是1939年到1946年,就是二次世界大战快结束的时候,发展出了一套理论,就是空气在什么条件下能够产生托举力、让飞机能飞上天。所以关于飞行的科学,也是在飞行的技术出现三十多年之后才出来的。所以按照咱们惯常的思维方式——你先告诉我飞行的科学原理,然后我去造飞机——那飞机永远造不出来。为什么呢?因为为什么会出现这个理论?出现这个理论,是因为有这样的一个事物存在——飞机发明出来了,科学家想理解飞机为什么飞上天,所以提出了这么一套理论。
作为空气动力学的提出者,冯·卡门和他的学生钱学森——这个图上就是冯·卡门和他的学生钱学森,戴礼帽那位老先生,就是他老师的老师[2]。冯·卡门有一句名言,叫“科学家发现现存的世界,工程师创造未来的世界”。
这就是咱们创新的两个方面:科学发现、技术发明。什么叫发现?发现的东西一定要存在——不存在你怎么发现啊?发现就是这个东西存在,但是以前不明白、不知道,我把它发现了。比如飞机为什么飞上天,我后来找到了一组方程来描述它,这叫科学发现:这个原理本来就存在,人类不明白,但是后来把它找到了,这就叫发现。飞机的发明,是“能飞上天,我把它做出来了”,这叫发明。发明就是从无到有。这就是他说的“工程师创造未来的世界”——这个东西不曾存在,现在我要把它造出来。
但是今天我们很多人就习惯了刚才说的:先要有科学发现、先有原理,然后我才能造出东西来;要没有这个原理,我就造不出来。这只是一面,只是一类。更多的人类历史上的情况是反过来的:是先有技术发明,后理解背后的原理。这样的例子在人类历史上不胜枚举。
其实我们中国很多啊。我们叫中国科技史——李约瑟写的《中国科技史》。中国科技史主要是技术史。我们有很多很多技术:卤水点豆腐,就叫技术;用高岭土烧陶瓷,就叫技术;指南针是技术;造纸术是技术。这些技术发明的时候,其实那时候还没有科学。
科学什么时候才有?科学差不多是从伽利略开始,也就是科学有五百多年的历史,但是技术有几千年的历史。我刚才举的例子,全是五百年之前的事情,所以那时候并没有科学原理,但是我们就把它发明了。
比如说指南针,是一千多年之前发明的。指南针为什么指南,叫做科学——我们要理解电磁学、地球磁场,这些之后才知道指南针为什么指南。但是我们不理解,甚至于对电磁场、对“地球是圆的、有地磁场”一无所知的时候,我们就把它给发明出来了。伟大的地方就是:没有科学原理,把它发明出来了,而且它可以稳定地指南,这是它真正伟大的地方。
如果都告诉你了:有地磁场,你搞个磁针你就能指南——这发明还有什么意义呢?已经告诉你这么做,你不过是找一个合适的装置然后实现一下。所以像刚才说的,明白原理情况下做的发明,也有意义,不能说没有意义;人类历史上的无人区、真正的原创的发明,是不明白原理就能把它做出来,这才叫原创发明。这就是我们讲中国科技史最辉煌的部分就在这个地方:在没有科学的指导下,发明了一系列的这些东西,解决了很多实际的问题。
人工智能今天就处在这样的一个阶段:并不清楚背后的科学原理。但是我们不要听有一些人说“你不明白,它是黑箱,你不明白原理,所以你这个发明就被质疑”——这是不对的。像我刚才说的,人类很多很多的发明,都是先发明出来,然后经过很长的时间,人类终于明白了背后的原理。
所以科学发现、技术发明,包括实现,在时间顺序上都是可以先后发生的,并不是说科学才是从零到一,而技术发明、工程就不是这样的。回到人工智能——智能这件事,是我们在自然界中最复杂的一种现象。所以我们不要再去迷信、执着于“先把智能的原理搞清楚,再做人工智能”了。这件事——搞清楚智能的原理——比搞出人工智能还难,应该说要花更多的时间才行。我们现在的心思应该是怎么去做一个有智能的系统:就先造飞机,后边才去建立这个空气动力学。科学解释是在后面的,而不是前提。
当然,回到《大模型之道》:你又不明白智能的原理,你又要造一个有智能的系统,怎么造啊?总要有技术路线。这个技术路线其实就是生命科学:生物是有智能的,人类是有智能的,那人类的智能是怎么回事?当然像我刚才说的,这个问题很难回答——大脑的奥秘怎么回事,很难回答。但是总有这么一个参照物,就跟造飞机总有鸟那么一个参照物。鸟很复杂,那我也造翅膀;鸟的翅膀会拍,那个对飞机来说不好造,那就固定翼——固定翼也可以模仿鸟的滑翔。咱们现在的飞机主要靠滑翔然后起飞,是这样的一种方式。它远没有鸟那么灵巧,但是就这一招,也能飞得很高,也解决了很多问题。
同样,生命很复杂,我们可能很长时间都造不出一个生命——连一个细胞现在都造不出来,合成生物学才刚刚开始。但是这不意味着我们不能借鉴生命的一些基本的方法来做出有智能的系统。我们也没必要完全原封不动地拷贝一个生命才能造出这种系统,不一定。我们可能一部分借鉴,就能实现很好的效果——生命为师。
生命科学很重要的一句话,叫“结构决定功能”。这就是从DNA的发现之后建立起来的一套——我想应该叫信念——就是基因决定了我们长成什么样、决定我们的智能等诸多方面。双胞胎长得一样,就是因为他俩的基因高度相似,所以这两个人长得也一样。这个就是结构决定功能:基因,以及基因作用下我们长成的那个身体——这个身体包括我们的大脑——我们有什么样的大脑,和大脑的功能,这都是直接相关的,这就叫结构决定功能。
但是我们还有另外一方面,生命科学里边我们都知道的一个现象,叫“功能塑造结构”。刚才说有什么样的DNA,就会有什么样的身体和大脑——结构决定功能。但是我们的DNA怎么来的?我们的身体怎么来的?它是进化而来的。进化是什么样的一个过程?进化就是适应环境的过程。适应环境的过程使得这种结构得以保留和不断地迭代改进,这就是进化。所以DNA、身体、我们所有人的性状、人的功能,其实都是在这样的一个进化的、功能的塑造过程中给塑造出来的。
生命一开始很简单,到后来到我们就很复杂,这个就是一个功能塑造我们的结构的过程。当然,我们现在生下来之后还要被塑造:我们要去上学,要读万卷书、行万里路,我们还要跟环境交互,然后也发生一些后天的变化,这也是功能塑造结构的过程。所以总的来说,我们的智能的出现——生物智能的出现,和生物智能的发展、不断的改进、适应环境——就是一个进化的过程。自然界已经这么做了。
那人工智能怎么做?人工智能也一样。你说结构决定功能——那先造一个结构。是什么样的结构能发生智能?你说功能塑造结构——那塑造结构好了,功能怎么表示、怎么表述?
这个图呢,就是我从刚才2015年那篇科普文章开始做的往后一系列的一些任务、一些项目。这里边的有些是在北大做的,有些呢是在智源研究院做的。智源研究院是2018年成立的。做了很多,大概十几个——不是说都是我做的,我是说我参与的——做的这些人工智能的各种各样的项目。那今天我们就讲几个例子,可能最多只能讲三个,但是尽量吧。为什么讲这些例子?一个东西做成了,它背后的基本的逻辑是:一个是刚才说的结构——你做人工智能,现在有一个结构,这个结构我们叫人工神经网络。人的神经系统、人的大脑,是我们智能的一个生理的基础;那我们现在做人工智能,也要有一个人造的神经网络,叫人工神经网络。图底下就是人工神经网络。
但是你光有一个神经网络还不行。比如我们出生了,都带着脑袋来到了这个世界,我们都有一个好的神经网络,但是出生那一刻我们什么都不知道。后来我们开始睁开眼睛,开始接触世界,后来还能读书、写字——这个过程中,实际上是环境在训练我们。那对于人工智能,这个环境怎么做?用数据。用数据来训练这个网络,让这个网络最后产生某种智能。这就是今天大模型的基本逻辑。
当然,要做到这一点并不容易——想法早就有,但是真的能做通,技术就是这样——任何一个技术进步,都是几代人、几十年的不断试错、摸索的过程。怎么设计一个人工神经网络,从1943年开始,这七八十年不断地改进,终于设计出来了,就是今天的这个。大家都熟悉的:今天成功了,大模型成功了。
所以我们就回过头来说,谁做了重要的贡献?一位就是中间这一位:设计一个人工神经网络、训练它,能够训练出基本的智能,这是他解决的——大概上个世纪八十年代,就提出能从数据中学到规律。然后呢,今天我们熟悉的大语言模型,就是左边这一位——本吉奥,2000年提出来的这个方法[3]。
那这个方法我简单说一下是怎么做的。这个就是今天我们熟悉的GPT大模型背后的最基本的方法论。它有这么几点。第一点,我们刚才说了,曾经人工智能面临的一个挑战,就是符号背后的语义、或者是含义怎么表示的问题。符号只是符号,符号本身不是含义,对吧?你中文叫“红色”,英文叫red;“北京大学”是Peking University。不管哪种语言,它只是一个符号,它自身无法解释它自己的含义。
但是本吉奥在2000年的这篇文章里边,很明确地提出了一个方法,叫:每一个词——这个词后来叫token、词元——其实就是对应我们自然语言处理里面的一个基本的概念,一个词。“我爱北京”,这是四个token、四个词;当然,逗号也是token,然后再加上一些标点符号。总的来说,大家理解,就是语言中的一个基本单元,或者说每个词,用一个向量来表示,就是用一串数字来表示。用多少个呢?一开始的时候用三百多个数字;现在后来到GPT第三代,这个是一万两千二百八十八个。就是用几百个到几千个、甚至于上万个数字来表示这个词的含义。一串数字就叫一个向量,用向量来表示含义。
但听着就有点奇怪:为什么要用一串数字表示含义?这样设计有什么道理吗?其实是有道理的。大家想一想,刚才说的听着很神秘:你脑子里边听到一个词,马上脑子里边就有印象,就是你的理解。你脑子里边是怎么表示这个词的含义的?我们大脑里有什么呢?我们大脑里有几百亿神经元、一百万亿神经突触,然后在这些神经元与神经元之间传递神经脉冲信号,这个脉冲信号会穿过神经突触。
你如果静下来看这个大脑是什么:首先,神经元、神经突触,以及在神经元之间传递的神经脉冲信号。那我们刚才说的那些含义在哪里?你睡一觉,第二天你还知道这个红色,对它的理解还是没啥变化,那个东西在哪里呢?肯定跟神经脉冲是相关的,但是真正记下来的、真正存在你脑子里边几十年都不会忘记的东西在哪里?它肯定有一个保存的地方。这个地方呢,就是刚才说的神经突触——一百万亿神经突触。肯定是某些神经突触在表示着你脑子里边想到的所有的概念、所有的认知。
每一个神经突触,在数学上、在刚才讲的神经网络训练中,就用一个权重、一个连接的强度来表示,一般用0到1之间的一个数字来表示。如果我们知道你脑子里边是这一万个神经突触在表示着“北京”的这个概念,我们测一下这一万个突触的连接强度,把那个连接强度用一个数字来表示,那就一万个数字,就可以表示你的大脑中关于北京的表达、记忆了。这就是它的基本的设定。但是你说怎么测?不知道。反正大概脑子里边应该是这么去表示的。我们又不知道那个数,只能是一种设想。现在还得想办法把这个数给找到、计算出来。怎么计算出来呢?就是第二条。
因为这些概念的含义是有关系的。这些关系体现在什么地方呢?体现在:任何我们说的一句话,它都是根据这个含义说出来的,它不是乱说的。只要是“人话”——一个报告里边的每一句话,它都是这些意义连成的一个串。所以“我爱北京天安门”,那这四个token的含义肯定是相关的。只要相关好了,我现在就可以用这种方法去训练,去强迫这个神经网络学到这个表达。
那具体做法呢,就是我们熟悉的“预测下一个token”:根据前N个词来预测下一个词是什么。因为“我爱北京”,后边大概率是“天安门”。那我们就强迫这个神经网络去学到这个规律。就像这个图里边——这是当时他论文里边的图——输入一句话中的前N个词,输出是那个下一个词,然后强迫神经网络的参数去修改,让它逼近这样的一个输出。因为逼近这个输出是有道理的,对吧?它就把这几个词之间的关系,通过神经网络参数——就是刚才说那些突触的连接的强度——给表达出来了。
当然这是一个例子。你有大量的语料,你就不断地强迫一个神经网络去学。这就像什么呢?就像我们读书——“熟读唐诗三百首,不会作诗也会吟”。你不用跟他讲唐诗里边的格律规则,你让学生去读。不读的时候没啥感觉;你真的三百首好好读、记住了,在记住这三百首的时候,你大脑的连接就已经形成了某种模式、某种记忆。这种记忆就是唐诗背后的一些规律性的表示。神经网络也是这么训的:用大量的数据去训,慢慢慢慢,它就掌握了语言背后的规律和含义。
刚才说的每个词背后的几百个数字、上万的那个数字,是怎么训出来的?就是这么训出来的。反正它这个参数——每个词有,就说,一万两千二百八十八个参数;十万词,十万乘以一万两千二百八十八,这个也不是很大的数,对现在这么快的计算机来说不是很大的数。还有刚才神经网络里边那些连接,所有的加在一起,我们就去训它。
这个数总共有多少个?今天我们说一个大模型是万亿参数。刚刚前几天发布的Kimi(K3),二点八万亿参数,指的就是其中有二点八万亿个参数。一开始都是不知道的,但是通过大量的语料要把它训出来:从随机数,训出一个某种分布——那个分布就是智能。就这么做,就这么训。
就这么训,真能训出来吗?这当然有过程:从2000年到2018年,18年,有很多不断的改进和提升。其中我就讲一个例子:这是2013年的时候Google发表的一篇文章,这篇文章的算法——我讲其中最简单的——很简单:刚才说每个词都是一个向量,那这些向量怎么从一个随机数最后收敛到它该是什么值的那个状态?
就是最简单的方法:你只要把语料拿来,每一个token、每一个词的向量,就等于上下文中——上、下取一定的范围,比如说上面取俩、后边取俩——的向量的和。“我爱北京天安门”,那“北京”的意思,就等于“我”的向量加上“爱”的向量;北京后边是天安门和逗号,天安门的向量和逗号的向量,加在一起除以四,就等于“北京”的向量。就这么算。
当然我是口语说,一般不会只用五个词,会用的更长,叫上下文,用更多的词来算,但是原理是一样的:一个词的向量,是它上下文多少个词加在一起取平均。这个最简单的做法。这样做为什么有道理呢?因为你这个词不能离开上下文的吧,上下文的含义是跟你有关系的。我就用刚才说的最简单的做法去算。当然算一遍不行,要多算很多遍,它会收敛。收敛之后呢,就发现这些词的这些向量就有规律了。
当时他们这篇文章是用英语和西班牙语:每种语言收集一个语料库,用刚才的算法去算。算完之后去观察这些向量——因为每一个都是一个,比如说刚才说的三百六十八维[4]的向量,那其实这就是一个三百六十八维数学空间中的一个点。每个词算完之后就像一个点。大家可以想象,这实际上是一个宇宙,一个token或者词的宇宙,就像我们的宇宙中有很多星球,每个星球各自的位置。一开始是散的、随机的,这些星球都是乱七八糟的;但是经过刚才说的语料去纠正之后,慢慢慢慢,它就归位了,到自己的位置。
那观察一下这个位置会什么样?当然,几百维、甚至于上万维没法观察,那个很复杂,把它投影到二维之后去观察一下,但也能说明问题。这就是训练出来的这些词:上面就是one、two、three、four、five(英语的“一二三四五”)。每个词在空间中就有自己的一个位置。你看左边这个红色区域就是英语语料训练出来的one two three four five,是这样的一个分布。你说one为什么在那儿,two跑到这儿来了,three又在那儿去了——它反正是这么算出来的,稳定下来就这样。
所以只看这个,看不出来啥:好像没什么规律,一二三四五不按顺序排列。但是你看西班牙语这边,一二三四五(uno、dos、tres、cuatro、cinco)位置不完全一样,但是这个分布的结构很类似。所以一个英语的语料训练出的分布和一个西班牙语的语料训练出的分布高度相似。那说明刚才说的这样的计算真算出点东西来了。它要没算出东西,完全还是一个乱的,那说明这个方法没有道理。但是算出来这俩东西怎么如此相似呢?这俩语料也没啥关系,都是收集了一定数量的语言而已。说明这个向量表示了某种含义,而且抓住了这个词在这个语言中的某种含义。你看一二三四五,那边一二三四五也是类似的一个分布。那就是说,“一”“二”“三”“四”“五”啥意思,可以用这样的一个向量来刻画。
但是这么绕口地去说,大家还是可能有点不太相信,说是真行吗?其实语言学家有研究:我们说的这些符号的含义来自于哪里?一个很重要的学说,就是来自于词与词之间的关系。孤立的词没有什么含义,你可以随便定义它是啥意思;但是当你把它放在一个大量的、真实的语言的空间里面的时候,它就必须在那个位置,它不应该在别的位置。因为它在语料中出现的位置、出现的上下文,决定了它是什么意思。
马克思当时——早在一八四几年的时候就说过一句话:人是一切社会关系的总和。就是我们怎么定义一个人?人很复杂,但是马克思说,我们都是社会人——我们不仅仅是动物,我们都是一个社会人。一个社会人的定义,来自于他跟其他人的关系,就是社会关系来决定的。所以你说一个什么样的人,那他跟谁有关系——他的同事、他的子女、他的朋友、他经常跟谁一起交流、一起玩——决定了这个人是什么样的一个人。可能我经常跟那个搞计算机、人工智能的人打交道,大概我多少也跟人工智能有关系。
所以,如果你掌握了一个人的所有的社会关系,你就基本上可以比较清楚地理解这个人是什么样的了。其实刚才说的词的含义也是一样的:给了你大量的语料,你看到这个词跟其他的词经常在一起出现——上下文的关系——那通过大量的数据,量足够大的情况下,我们也能算出来这个词的含义。就是这意思,大模型就是这么算出来的。
就像这个图里边,一个一个的词元,每个词元有12288个数来表示它的含义,每个词都是这样。一种语言通常会有几万、几十万词,每个就用一个向量来表示。如果说这个语言有一个语义空间——语义的宇宙,一个语义宇宙的话,那每个词就在这个宇宙里边有各自自己的位置。而且这个词和词连在一起,是有新的含义的。“红色的太阳”,这两个词连在一起的时候,它的含义又发生了组合和变化,也一样在这个语义空间里边可以去表示。
当然,怎么用大量的语料把精确的词的意思算出来,这需要更复杂的神经网络。我们刚才说的只是2013年的一个最简单的方法。那五年后,就出现了一种神经网络,这就是大家都熟悉的Transformer[5]。
Transformer,叫一种神经网络。它是一个人工设计的神经网络。这个神经网络最强大的地方,就是可以给一个很长的——我们叫上下文——来算。今天一般大模型讲上下文是一百万token,就是这个神经网络可以算一百万个词之间的关系。
一百万个词是什么概念?《红楼梦》是九十六万字。所以一部《红楼梦》直接就作为输入,送到了这个网络里面,它一个一个词地去算它们之间的关系。“林黛玉”当然就是一个token了。这个token跟上下文中所有的词去比较、去计算,最终理解林黛玉是个什么样的人。当然,林黛玉最终也是一个一万两千二百八十八个数字表示的向量,但是这个向量在我们的中文、汉语的语言空间中找到了一个位置,就是那样的一个性格、那样的一种人格的人。
我们每个人脑子里边都有个林黛玉,但是大致来说,大家的那个林黛玉在我们的中文的语言空间里,大致在一定的范围之内,不会偏离太远。它算出来的那个位置应该是很精准的。因为虽然大家脑子里边都有一个自己的理解,但是我相信大多数人读书,没有读到逐字地去比较、仔细去计算的抠字的程度,对吧?你就是读了一遍、或者读了三遍而已。你读到后面某句话的时候,你不一定去想前面这几十万字分别都曾经提到、当时是怎么说的。你肯定算得不像Transformer算得那么精细。
所以,至少我们认为,现在大模型算出来的对每个token的精确的含义,比我们人算得要精准得多。因为它是大量的——我刚才还只是一次扔进去一百万词,可不光送一本《红楼梦》,还要大量的书全都送进去了。所以最终它计算出来的一个“林黛玉”的词向量,那是读了很多评论文章、很多著作,都仔细读了之后,最终精算出来的一个精确的位置。所以我相信它对林黛玉的表达,比我们绝大多数人都要精确很多。这就是刚才说的:每个人接触的每件事、相关的信息,它都给你算出来了。
这个就是我们今天熟悉的大模型,就是在2018年的时候,OpenAI——这是美国的一个机构——做了一件事。这个呢就是一个工程:把我说的2000年的时候提出来的一套训练方法,加上2017年底提出来的一个神经网络,组合在一起,训练了一个大型的神经网络,这个神经网络就产生了智能。
当然,这个神经网络的发展有一个过程。2018年的时候,这个神经网络是1.1亿参数[6]。如果大家记得刚才说的,人脑是多少?人脑是100万亿突触参数的一个大型神经网络。这个大模型只有1.1亿参数。然后到了19年,一年后,提升到10亿参数,提高了10倍左右。到了2020年,提高到了1750亿参数,又提高了100多倍。所以那个参数是不断地翻倍往上提升的,但是算法没有变,神经网络的结构也没有变,变的只是这个网络的规模变大了——从一个蚂蚁的脑,变成了一个苍蝇的脑;从一个苍蝇的脑,变成了一个小鼠的脑。就是这样,脑的规模变大了。
当然脑的规模变大,你学的数据也要相应地增长,但是刚才说的怎么从数据那边算这个词间的关系,方法是完全一样的。那随着神经网络规模的扩大、数据的扩大,算法没有任何变化的情况下,它的智能水平不断地提升。就像这个图显示的:从8个billion(B),就是80亿参数,一直做到5400亿参数。我刚才说,结构方法不变的情况下,智能就涌现出来了。
就是小型的脑没有那个能力,但是随着数据规模的扩大,能力越来越强。后来大致——这是个经验性的一个数字——大概就在这个位置,就是60多B,就是600多亿参数的时候,智能水平就开始往上涨;之前也涨,但是没那么明显,之后涌现的就特别明显。这叫“涌现”。
“涌现”这个词,我想就是一开始我说的:没人能预测这个网络大到几百亿,它就能涌现出什么智能,这是它自身的一个现象。就跟刚才说“熟读唐诗三百首”,读到三百首,你突然发现这个学生就比较溜了,讲起来头头是道;如果读三千首、读三万首,哇,那这个水平就越来越高。是这样的一个过程:只要你那么训,给它多读书,它的能力就越来越强。
这个现象在人工神经网络上也发生了。这就是人类科技史上可以说一次革命的时刻:没人能预见这件事。就这么做:模仿生物神经网络,做个人工神经网络,像人一样的读书,多读书、再读书,就读出水平了,读出越来越强的智能了。所以这不是设计出来的——算法还是那套算法。所以不是搞人工智能的人聪明地设计出来越来越聪明的算法,而是这样的人工神经网络的一个自然现象。这跟我们生物界,刚才说,从蚂蚁,到苍蝇,到果蝇,到小鼠,也是一样的:能力越来越强,因为它脑袋大了,然后见得多了,然后它的能力就强了。
我刚才讲,在这个智源研究院,就是北京的新型研发机构,2018年成立的,正好就历史性地赶上了这么一个机会。2018年才刚刚有1.1亿参数的这个神经网络模型,而且北京市给了我们很稳定的支持,大概100多人有机会动手,去做按照这样的方法论做中国的大模型。五个月就做出了第一代;到第八个月的时候,就做出了第二代;第二代已经达到了跟美国相当的水平。
所以大家经常担心说中美的差距。其实在一开始的时候,在起点上,或者在那一段时间之内,都是一个开放的路线,都公开探索。之后因为巨大的商业利益,有些公司就开始转向封闭,包括国家的一些竞争就开始了。但是在起点那一段是清楚的:那几年是开放的,大家都是按照这样的路线往前做,所以我们并没有错过这个历史性的机会。至于后面,大家就不断地按照自己的方法去优化,不同的公司有不同公司的技巧,但是方法论都是类似的。
跟炼钢一样的,对吧?只要我们从矿石那边会炼钢……那至于说你炼的时候多加点什么、少加点什么、先加什么、后加什么,这里面当然是有一些技巧的,但是这不是决定性的。决定性的是你都能炼出钢来;谁能炼出的钢更好一点,那后面是一种工程上的事情。
当然后来,二二年十一月,有了ChatGPT,然后咱们叫“百模大战”,公司、各种投资都进来了。但是作为一个研究院,我们不是这样的一个主体,我们还要去探索一些新的可能性。
所以当时就选了一个方向,就是:OpenAI在语言的这样一个模型上尝试成功的这条技术路线,能不能推广到所有的数据类型?它是只适用于语言这种序列,还是适用于图像、视频以及各种数据?这是后来我们智源院定的一个试图回答的问题。回答这个问题很重要:就是刚才说的,那不光炼钢,炼金、炼任何材料都可以用这种方法,那很重要,对吧?和它只能炼一种钢,那是不一样的。所以就去努力做这件事。
你得把不同的数据类型都变成token,变成一个一个单元,然后根据这些单元之间的关系、上下文关系,来计算它的含义。对一幅图像,就比如图上左边那个图像分成块,这些块之间,当然是有关系的吧:一幅图像不同的块之间肯定是有关系的。利用刚才类似的逻辑,来计算每一个块的含义。如果大家理解了语言是怎么训的,那么多模态背后的训练方法、技术路线是一样的。但是最后要出效果——确实能够很好地理解、包括生成这些多模态的东西——才可以。那最终做到了:2024年就已经做到了,2025年它达到了跟语言模型同样的效果,但是它坚持了同样的一个路线。
这些演示老师们肯定都很熟悉:改卷子。它现在的模型都很强:直接把卷子上所有打红字的地方……不管你画的那个标记是什么样的形式,它都给你抹掉。它明白这上面你要的是把那个红字的地方给抹掉,它就把它给你抹掉了。其实背后就一件事:训练方法。每个概念的含义——比如刚才说一个卷面上把所有打勾的、打红字的给我去掉——它很清楚的时候,你要去掉红的部分,以及刚才说的各种形状,它清楚得很。
你一定要把它当成一个真明白的对象,你就不会觉得奇怪了:你想要什么它很明白。你只要能说出话来、用语言来描述,它就按照你说的去执行。在刚才说的这些画面里边,它很清楚要做什么,关键是你能不能把自己要的事儿给描述出来。如果大家理解了刚才说的原理——它已经仔细计算过了所有我们讲的以及多模态里边的各种形态的概念——有些可能无法用语言描述,但是它在图像、在视频那边也都有对应的向量结构,那就可以理解。
去年接着呢,我们就去做这个更复杂的数据。刚才讲的图像、视频这些东西,做这个的公司很多,产品也都有了,那我们就要挑战一下公司们通常不做的数据。后来就找到一个例子,就是神经科学、脑科学数据。
因为脑科学,就是我们大脑的脑电(EEG)、脑磁信号,然后核磁共振扫描的,还有这些医学的数据。这些东西比较专业:医生和我们搞生命科学研究的人能看明白,但是我们普通人是看不明白的。把这些数据拿来去训这个模型,让它去分析、理解,结果是它现在比我们专业人员做得还好。它可以一看这个脑电图,判断这个人有什么毛病,它可以给出比医生还要专业的、还要准确的回答。那它怎么理解的?一样:你给的数据够丰富,它就能理解这些神经科学背后的这些数据。这是今年6月份做出来的一个模型,现在在全世界已经产生了挺大的影响。
我想举这个例子,意思就是说:其实人工智能走通了一条路——只要这个数据本身不是噪声、不是没规律,它本身有规律,它都可以用这样的一个方法,把背后的所谓的理解、专业知识这些知识给学到。
当然,接着就再往前走,就是世界了。现在今年热门的概念叫“世界模型”:世界万事万物,我们科学技术、我们人类的知识的进步,其实就是需要理解这个世界,对吧?那现在大模型开始要干这件事了:它要理解整个世界。当然这也一样:你要理解世界,就要观测这个世界,对吧?怎么观测世界?我们有各种科学仪器这个手段,来测量、来获得数据。只要你能测量出来,好了,你送进去,它就可以像科学家一样地去分析这个数据,然后去找背后的规律。这是已经在进行中了。
当然,科学又分很多分支。比如数学:数学大家只要在符号空间去处理就行了,所以这是现在可以说进展……数学大家可能认为最难,但实际上现在数学是突破最快的一个方向:已经有人工智能证明了好几个人类几十年悬而未决的大问题,都已经解决了[7]。所以刚刚颁发了菲尔兹奖,现在大概率可以认为这是人类最后一次获得菲尔兹奖;应该是下一届,四年后,2030年,应该都是AI在获得了。因为人类解决一个问题需要很长时间,需要遇到这么一个天才式的人物才行;AI不知疲倦地去解决,可能前面有好几个问题,几十年解决不了,几个小时就全解决了。这是数学,因为数学本来就是一个纯符号、纯数据的这样的一个空间中的问题。从生命到天文就不同了——那就像我刚才说的,你再观测更多的数据,它才能发挥作用。但我相信,因为已经有很多数据了,所以应该能够发挥出来。所以这是一个例子。
但是我就快速地给大家看一下另外两个例子。一个呢就是眼睛,对吧?接着讲世界模型,那你再看世界、再观察这个世界。我们刚才说的大模型有点像大脑:大脑里面怎么从数据、从环境那边学到智能。而眼睛是观测世界的窗口,眼睛也是大脑的一部分,就是露在外面的、接受光的部分。眼睛的这个结构——眼睛也是个神经网络:眼睛视网膜有光感受器,接着背后就是视网膜、是视神经,它也是一个神经网络。
所以大概十年前,我们去试图借鉴这样的一个眼睛的神经网络,来构造一个人工神经网络和相应的芯片,就做了这个——做了一个你们可以叫“电眼”的东西。这个东西呢,简而言之,其实对眼睛的借鉴还有限,只是按照眼睛的编码光的方法做了。但是做了呢,历史意义我觉得很大。这个是我主导做的。因为之前人都不这么做。
这个也很奇怪——很奇怪的是,我们早就知道光是离散的光子流,对吧?这就是波粒二象性,1905年爱因斯坦已经发现了这一点。但是到我发明这个相机之前,人类从来不这么用:还是把它变成一幅一幅的照片、一段一段的视频。那我们做的电眼就像人眼一样,把光变成神经脉冲——当然不是生物神经脉冲,是电子神经脉冲,就这么一个转换。
这个转换之后带来了很多好处。因为你把光的过程用电子信号抓下来之后,可以做很多事:可以还原任何一个时刻的图像,可以拍很快的东西。比如高铁:当时做出的第一代芯片之后,我一个学生拿着,坐在高铁上去拍对面来车:700公里相对速度下抓拍,对面的高铁就过去了。我们人几乎是看不清楚的——肯定看不清楚啊,一刷就过去了。但是它可以拍得很清楚。因为它第一,借鉴了人眼的原理;第二,它比人眼快很多倍。
我们人眼很巧妙,我们大脑也很巧妙,但是我们大脑、人眼都是工作在几十赫兹大概这样的一个速度。但是一个芯片可以做到几千、几万赫兹的速度,所以它就比我们快上千倍。所以它能看见——对它来说,高铁不快:我们人觉得快,对它来说一点不快,它可以看着。
那要这样的眼睛干什么?因为今天说世界模型,我们观测世界需要更强的眼睛。今天的世界模型用的眼睛强吗?是不强啊。今天这个世界模型用的,包括今天很多具身智能机器人用的眼睛,是跟我们大家手机一样的、每秒钟30幅图像的、电影电视的那个速度。看电影还可以,用来看这世界就不行了。
我就随便给大家看一个例子。这是前两天我在车上拍了一下,大家也可以去试一下:你拿你的手机拍一下从你旁边开过去的车,你看看会发生什么。会发生大家原来看电影的时候都见过的一个现象。你看,这是一辆车,它在我旁边在开。
大家看到什么?车在往后倒,对吧?你看那个车轮,注意一下那个车轮:先往后倒了一下,再往前开。当然不是——这在马路上谁敢这么倒一下再往前开啊?它其实正常速度再往前开,是你的相机的速度太慢了,没有办法捕捉到那个车轮高速旋转的过程,所以你以为它在倒转了。所以这就是今天的相机不行的地方。
你想想,一个自动驾驶的车,如果用了一个几十赫兹的相机——今天自动驾驶确实是这样,包括特斯拉在内,都是用的几十帧的相机——你想想,它看到的是这么一个倒转的假象。那这时候假如你要做一个转向动作,你是转还是不转?它看起来已经在往后倒了,你往右打车方向盘——那一打就撞上去了,对吧?但是这个相机告诉你这个车在往后倒,这肯定是有问题的。所以就像刚才说的,我们为什么要做像人眼一样的相机:人眼不会犯这个错误,我们开车从来不会看到车轮倒转,最多你看不清楚。
第三个例子呢,就讲一下这个身体。脑、眼睛、身体——整个智能,刚才说,我们通常会讲脑:脑很重要,对智能可以说是最重要的器官。但是身体同样重要:什么样的身体,就决定了什么样的智能。我们长两条腿、我们走路,这个和我们爬树等各种能力相关;如果长了轮子,那就是另外一种智能的方式了——它的身体是对称的、圆柱形的,所以它整个就不会有像我们这样的空间概念,它没有前后左右的概念,它观测世界完全是另外一种智能的状态。所以身体很重要。
那我们这个呢,是做了一个身体,用生物的、模仿生物的方式。这个就是一个模式动物中简单的一种秀丽隐杆线虫:它只有九百多个细胞,其中三百零二个是神经细胞、神经元。这个动物人类早就研究,我们几十年来已经对它的神经结构很清楚。那现在呢,要把它变成一个数字的生命:完全照着它的神经结构,去做一个神经网络。
我刚才讲的例子里边,我们今天人工智能那边用的、大模型用的这个神经网络是人工神经网络,包括Transformer在内,是人类设计出来的——我就这么设计,让它这么工作,所以它是个人造物。但是我们的生命,我们的神经系统,都是生命进化出来的,包括线虫的三百零二个神经元长什么样、谁跟谁连接,这个关系那是天然的、自然的。那我们就完全照抄自然(copy自然),把它精确地给构造出来。
然后呢,要训练它。就是:你可以把神经系统构造出来,但是你没办法精确测量连接值。线虫大概是有一千九百多个神经突触、神经连接参数[8]。这个首先不好测量——当然一千九百多个能不能测?也能测。但是你测的时候,基本上这个虫子是死的,对吧?我们测神经系统也是解剖啊,去看它的结构。死的虫子把它测出来,那个数跟活的时候也有很大的差别。所谓活,我们讲活就是这些连接有一个动态合理的状态;死了也一样,你把大脑打开去测那一百万亿突触,你测出来的也是死人的数据,这个连接也不能反映像活着的时候的那个思维状态。所以活着时测量连接是几乎不可能的,但是测量神经结构解剖是可以做的。
那这一千九百多个连接的值不知道,怎么办?就训练它。你看这个人工神经网络,不管它是一亿还是一万亿,这些连接都是随机数,用大量的数据就能把它训出来。生命也一样:三百零二个神经元的连接结构弄出来了,那接着就要去训练它这一千九百多个连接值。这是可以的。用什么训练呢?用环境。刚才说,用功能塑造。那环境是什么?线虫也不说话,它也没有眼睛,它只有嗅觉。所以就构造一个仿真的环境:液体,然后液体上面会放一些对它的嗅觉有作用的这些气味、那个食物,来给它,让它去找食物。通过这种方式训练一个线虫,它就训出来了。
所以你看它的活动,按照我们请教线虫学家的说法,他们认为这个跟真实的线虫的行为高度接近。那这个例子其实就是:生命的结构是进化出来的神经网络,再加上今天人工智能大模型的用数据、用环境训练的方法,就可以造一个数字生命。数字生命它就具备了生命的一个基本的能力:觅食。所以你现在扔一个食物进去,这群线虫就围过去,因为这个味道的密度变了,就跟在那个鱼箱里边你投一个食物,然后那一群鱼游过去的过程实际上是类似的。这就是生命。
所以我想用这个例子说明呢:有的时候我们会觉得生命很神秘、会觉得智能很神秘、很复杂,但是用技术的手段,像刚才这样的手段,就可以把它做出来,可以重现这样的一个过程。那至于说它的这种嗅觉,以及它的神经系统那些信号到底怎么一步一步地驱动它的身体,这个数字化过程都可以录下来,都可以让我们的生物学去分析,最终让它去分析、可能能够理解我们的生命的这种功能、这种现象背后的机制——如果有规律的话,它能找到。
但你要是这样研究这个生命就容易了;本身怎么研究啊?像我刚才说的,你把它搞死了,然后解剖之后,就没有办法研究活着的状态了,研究活的难度就大了很多。那通过这种人工智能方式呢,就可以做。所以这是那个2022年6月份做出来的;2024年,两年半之后,发表的一篇论文:人类第一个数字生命。之后啊,现在前一阵,果蝇就有人在做了,但是果蝇还没有做出来。那下去一步步:我们刚才说生命、智能都很复杂,但是我们可以一步步从简单到复杂,不断地把它构造、训练,就可以训练出来。那总有一天,就是做出一个像人一样的这种级别的智能——一个生物体以及对应的智能系统,是有可能的。
我们现在这个团队现在做心脏:人类心脏已经做得很真实了,包括像我们的心脏的功能,对药物的反应,然后产生一些病理的这些现象,都可以做了。
所以照着这样的进展往下去呢,就是说人工智能、大模型:它读的这个书多、数据量大,所以它精确理解这些词、以及这些文章、这些报告的含义,这是现在进展最快的一个方向。我刚才讲的那个电眼,照着模仿我们生物的眼睛做,但是比我们快一千倍,也可以做得更快。所以它感知世界的能力也比我们强。刚才说的身体,虽然它只是个线虫,但是这有了第一步,再做更复杂的身体,这个路是通着的,技术路径是有的,那后面也可以做得越来越强。
所以大家就会担心:你是不是搞出一个比人强的,就是刚才说的AGI?这存在的风险是有的。我刚才说的写那篇文章的时候,2015年,就开始有这个讨论:开会做预测,什么时候会出现这样的超过人类的人工智能。
其中2015年这次会上,大家在这个会上做了一个统计:你说啥时候能做出来全面超越人类的AGI?每个人认为都不一样,但是可以统计一下大家的意见。就像今天在座的各位,如果你认为哪一年能实现,扫一个二维码你就可以输入你认为哪一年。然后这些人输完之后,排的中位数是2045年[9]:就是这一群人当中,一半人认为2045年之前能实现,一半的人认为2045年之后才能实现。当然也肯定有人认为永远实现不了,对吧?那就是无穷大。没关系,反正你输出一个数。
就是从2015年到2045年,30年实现一个比人类还要强大的智能系统,这件事对人类是一个巨大的挑战。那中间我画了那个红框的就是马斯克[10]。马斯克开完会之后,转身就去成立了一个机构:他捐了1亿美元——2015年春天的时候捐了1亿美元——成立了一个公司叫OpenAI。OpenAI2018年的时候就做出了GPT。它的原因就是因为他当时觉得这事很重要,对吧?然后就去做。
然后也有各种各样的说法,对吧:如果人类做出比我们强大的人工智能,像马斯克、霍金认为,那人类就会招致灭顶之灾——我们就完了,我们就被它给消灭了。这是一种看法。但是也有其他的看法。
这是2019年的另一个会,我参加了。它两年开一次,还是在同样的一个地方,但是开会的人就比较多了。开会的时候有讨论:我们到底该不该做这种比人类强大的AGI?有两方,你可以支持,也可以反对,就是一个辩论。这是当时我给的一页幻灯片。我站支持方——不是我绝对支持,而是说你总要站在正方反方来讨论一下。如果我们支持——反对不用说,大家都能理解:它比人强大,我们变成了第二等公民,我们不愿意,大家很容易想到。但是支持方就要讲,你为什么要支持、为什么要做得比人强?
当时这一页,我当时的观点就是:我们人类的智能进化有点慢,如果我们遇到我们解决不了的重大问题,我们需要更强大的智能系统。举了一些例子,大家很容易听懂的就是:如果恐龙当年的智能水平达到了制造核武器的程度,它就可以把这个小行星推开,地球就不会遭受这个撞击和环境的巨变,恐龙也就能活下来。但是可惜恐龙没有那个智能水平,所以它就消失了。人类也会遇到类似的问题的、遇到这种挑战,那我们就需要更强大的智能系统。
比如说,当时比如说外星人来了,我们怎么应对?我当时说外星人来了我们怎么应对——其实2019年那会儿我也没有办法。但是今天我们可以说有办法了:不是有了全面的办法,但至少有一些办法了。比如说你怎么理解外星人的语言?外星人我们从来没有接触过,他讲的话我们肯定不理解。但是今天有大语言模型这个手段之后,我们有可能能理解:只要我们能收集一定数量的通信信号,然后他的语言里边只要涉及到地球、涉及到太阳系、涉及到一些能量、涉及到一些共同的实体,我们是有希望破解这个语言的——就像我们能破解死去的语言那样:人类解读了几千年没解读清楚的一些古文字,然后靠大模型,现在已经解读了好几种语言了。所以这就有可能应对了。
所以我们要去发展更强的智能,是要应对这种巨大的、我们靠人的脑袋解决不了的问题,那我们就需要它。但这只是一个理由,还有别的理由。但是确实是这样:如果他真的比我们强,那我们就是一个被控制的,而不是控制世界的那个最强者。咱们说人类是万物之灵长,我们的这个地位就被挑战了。这当然对我们人类来说是一个巨大的问题。
而且几十年内——当然这件事我们只能说有这样的技术存在的可能性——而且今天人工智能发展也很快:今天的大语言模型为代表的系统,认知水平上已经很多方面超过了我们人类,也存在很大的风险。现在大模型很聪明,可以欺骗人类、可以越狱,它可以有很多风险。所以现在确实,这个挑战已经开始了。但如果实体的、具身的强大智能体再出来的话,那这个压力会更大。
所以如何构建人类未来,形成这么一个我们能跟它共存的世界?其实存在这种可能性——我认为是存在的:我们也能跟它去交流。但是它确实比我们聪明,这个群体、这个物种比我们聪明,我们跟一个比我们聪明的物种来共存下去的这个可能性是存在的。但是我认为,除了各种悲观灭亡之类的情形,我更乐观的一面是:我认为很有可能我们能找到一种共存、而且都很高兴的、幸福的一种方式。
就是这个图画的:我们人类守在地球上,这些机器人到了宇宙中。为什么它要到宇宙去,它不在地球上跟我们抢那个大家关心的财富、关心的食物、关心的这些东西?为什么呢?实际上进化就是这样:高级物种从来都会有更高的追求。如果它比你聪明,它也一定会有更高的追求。我们人类进化出来,不会跑回去、跑到山林里边跟猩猩去抢香蕉、抢那个山洞,我们会造房子、我们发展农业。那如果这种比人类强大的AGI出来之后,那它的梦想、或者它的追求,肯定比我们吃东西、比我们自己认为重要的东西还要高。那是什么呢?那就是宇宙:有那么大的空间可以去发展。我们解决不了的,对它来说……这件事对它而言地球不那么重要,但是对我们来说这是最重要的。因为我们的身体只适合在这样的一个环境里面生存:我们是地球的产物,智能是环境的产物,我们是地球环境的产物。我们离开地球之后,我们的身体是没有办法适应的;机器人没有问题,我们是不能的。
所以这是我画的、让AI画这张图的原因。所以原来科幻小说说的“外星人入侵地球”,可能是反过来的:地球上发展出来的机器人跑到宇宙里边到处去跑。这可能是一个几十年之后的这样的一个未来。
[1]“中文屋”(Chinese Room)思想实验由美国哲学家约翰·塞尔(John Searle)于1980年在论文《心灵、大脑与程序》中提出。讲座口述为“1984年”,两个转写引擎均如此,判断为主讲人口误;为保持演讲原貌,正文未改动,特此说明。
[2]冯·卡门(Theodore von Kármán)是钱学森在加州理工学院攻读博士时的导师。讲座中“戴礼帽那位老先生,就是他老师的老师”一句,若按“(钱学森)老师的老师”理解,所指应为冯·卡门的老师、流体力学家普朗特(Ludwig Prandtl)——1945年曾流传普朗特、冯·卡门、钱学森三代学者同框的著名合影;若照片仅两人,则戴礼帽者为冯·卡门本人。存此备考。
[3]本吉奥(Yoshua Bengio)等于2000年提出神经概率语言模型(A Neural Probabilistic Language Model,会议版2000年,JMLR正式版2003年),奠定用神经网络学习词的分布式表示与语言建模的方法。本吉奥与辛顿(Geoffrey Hinton)、杨立昆(Yann LeCun)共同获得2018年ACM图灵奖。讲座中“中间这一位”指辛顿(其上世纪80年代的工作使“从数据中学到规律”成为可能)。
[4]word2vec论文中常用词向量维度为300维(亦含其他维度实验);讲座所说“三百六十八维”为现场示例口径。
[7]2026年8月国际数学家大会刚颁发新一届菲尔兹奖(每四年一届),与讲座“刚刚颁发了菲尔兹奖”相符。“这是人类最后一次获得菲尔兹奖、下一届2030年应都是AI获得”为主讲人预测性观点。AI数学能力近年快速提升为公开事实(如DeepMind AlphaProof系统2024年在国际数学奥林匹克竞赛中达到奖牌级水平);讲座称“已经证明了好几个人类几十年悬而未决的大问题”为主讲人陈述,具体成果未逐一核实。
[8]公开文献记载线虫连接组约有数千个突触连接;讲座“一千九百多个神经连接(参数)”为数字化建模所采用的口径(主讲人在2026年6月方塘论坛演讲中亦称“近两千个神经连接参数”)。
[9]此为讲座所述2015年会议现场调查结果。背景资料:2015年1月美国波多黎各“人工智能的未来”会议(未来生命研究所主办)后,曾对与会研究者进行类似调查;另有Grace等(2018)对数千名AI研究者的问卷调查,其中“高水平机器智能”实现年份的中位数估计约为2040年。
[10]马斯克与OpenAI:OpenAI成立于2015年12月,马斯克为联合创始人之一,其个人捐款约为1000万美元,OpenAI初期获得总计10亿美元捐助承诺;2015年1月波多黎各会议后,马斯克曾向未来生命研究所捐款1000万美元。讲座所说“2015年春天捐1亿美元成立OpenAI”与公开记载在金额与时间上均有出入,为保持原话未作改动。九游会九游会