人工智能带来的恐慌

联名呼吁暂停AI研究

ChatGPT是由美国人工智能研究实验室OpenAI研发的一款聊天机器人程序，于2022年11月30日发布。这款聊天App上知天文下知地理，不仅能回答你的各种问题，还能根据上下文进行互动，做到几乎与真人无异的交流。此外，ChatGPT还能帮助你撰写邮件、视频脚本、文案、代码、论文以及完成翻译等任务。一项调查显示，用ChatGPT写的文科类大学生论文作业的质量，要高于大学生的平均水平。截止2023年1月，美国89%的大学生都在用ChatGPT做作业。在ChatGPT发布不到3个月，OpenAI又推出了它的升级版GPT-4。GPT-4的功能更强大，学习能力更强。

但是，在GPT-4发布两周之后，美国知名科技企业家马斯克和上千名科技界、商业界人士联名，发表了一封公开信，呼吁所有人工智能实验室立即暂停研制比GPT-4更强大的人工智能系统至少6个月。

马斯克等人写这封信的意图不是为了阻止人们进一步研究AI——他们知道没有人能做到这一点，他们担忧的只是近期AI研究的突然加速，让人类面临的许多风险可能一下子都处于失控状态，需要留给我们时间去权衡利弊和制定必要的规则。换句话说，他们觉得AI这辆“车”跑得太快了，而前方的“雾”太大，为了安全起见，不妨暂停一下，看清楚了“路况”再走。

基于这种认识，该公开信连续抛出了四个问题：

1、我们是否应该让机器用宣传和谎言淹没我们的信息渠道?

2、我们是否应该让所有的工作自动化，包括那些令人满意的工作?

3、我们是否应该发展最终可能在数量上超过我们、在智能上超越我们、能够淘汰并取代我们的非人类思维?

4、我们应该冒着失去对我们文明控制的风险吗?

这四个问题一个比一个严重。概括地说，前两个问题涉及AI的短期风险，后两个问题涉及AI的长期风险。

短期风险一：真相被谎言淹没

让我们先聊一聊AI制造和传播谎言这件事儿。

2023年3月18日，美国前总统特朗普发了一个声明，声称自己“第二天就会被逮捕”。第二天，虽然这事并未发生，但还真有不少人用基于GPT-4的图像编绘技术编造了“特朗普被捕”的“照片”，这类有图有文的报道几乎到了以假乱真的地步。

我们每个人都不是神，对于远方发生的事情，或者过去年代发生的事情，要想了解只能听人家报道或转述，至于真假则由自己去判断。如果语言或文字还不足以让我们做出判断，我们还可以求助于图片、视频，但除此之外，就没更多的招数了。可是现在，图片、视频也可以合成了;而且借助于AI，一个有图有文的假新闻几秒钟内就能炮制出来;虽然有时也会被人揭穿，但足以一时混淆人们的视听。更要命的是，大量这类发布在网上的假信息，又会被后人采用(因为时过境迁，后人很难判断真假)，更有甚者，被别的AI采用。于是，你编造的假信息被我采用，我在此基础上又编造出假信息被他人采用……如此雪球般地滚下去，不远的将来，真相将完全被假象淹没，公众丧失验证信息真假的手段。

这样发展下去，造成的一个严重后果是社会的撕裂，即对同一件客观上发生(或没发生)的事情(比如希特勒屠杀犹太人这件事)，立场不同的人们对于真相再也达不成共识，因为谁也说服不了谁：你有文字?我也有文字!你有图片?我也有图片!你有视频?我也有视频!

这种前景是非常可怕的。历史上有前车之鉴，那就是在欧洲由于印刷术的普及，导致的数百年宗教战争。

中世纪的欧洲，虽然全民信基督教，但是最初由于书籍的昂贵，普通人是接触不到《圣经》的，所以对《圣经》的最终解释权，掌握在教皇和高级僧侣手里。大家听命于一个权威，倒也相安无事。但是到了中世纪后期，随着印刷术的普及，书籍制作的成本大大下降，《圣经》开始进入寻常百姓家;这样一来，每个人都可以按自己的意思去理解“上帝的话语”，教皇的权威就被严重削弱了。当人们彼此意见不合，又没有一个权威可充当裁判的时候，就只好通过武力来解决了。虽然从今天来看，印刷术的普及当然是好事，但在当时造成的破坏性，是不容小觑的。

在互联网时代，当真相被谎言淹没，社会也将面临着同样的风险。而我们要知道，在核武器的时代，战争的残酷性是不可同日而语的。

短期风险二：大量工作被AI取代

当AI发展起来，大量的人类工作将被AI取代，这也几乎是毫无悬念的事情。

现在的很多工厂虽然以机器生产为主，但操作还需要人工。可是在未来，AI机器人会取代这一切，无人工厂会成为主流，劳动密集型行业的大量工人将面临失业。

除了体力劳动会被AI取代之外，很多文职工作也将被AI取代，比如律师这个行业。在现代，律师是一个高学历的行业，也是从业人员非常庞大的一个群体。可是在未来，AI可以在30秒内做出准确率高达90%的法律顾问工作。人类律师的准确率也不过是70%，而且效率远远比不上AI。

除了律师行业，未来的医生行业也会基本被AI取代。我们现在看病，都需要去医院让医生给诊断，可是未来的AI医生能快速学习所有的医学知识和临床经验，它在一分钟内就能处理分析上千万个数据病例，从而给出一个准确的诊断，这是人类医生望尘莫及的。而且智能机器人还可以进行各种高难度手术，其成功率也远高于人类医生。可以说在未来医院只会留有极少数的人类医生，之所以还需要少数的人类医生，是因为跟病人情感上的交流还需要人类医生来完成。

所以，人类的工作被AI取代是全方位的，不仅简单重复的体力工作会被AI取代，复杂的脑力劳动(如上述的律师、医生的职业)也会被AI取代。最近，英国牛津大学的一份调查报告显示，目前美国人的工作，有47%会在未来的10年到20年内被AI所取代，在中国，这一比例更是高达77%。未来50年，AI将彻底改变世界的样貌。你将会看到更多的无人商店、自动驾驶汽车、AI服务员，甚至AI厨师、AI设计师等。只有少数特别需要创造力或与人沟通能力的工作才会为人类保留。

到那时，我们将何去何从?要知道工作自古以来是人类生存的根本，且不说没工作就没收入，就算届时国家养活我们，但大量的人口无所事事，也会造成严重的社会问题，甚至引发剧烈的社会动荡。

短期风险三：黑客

我们知道，网络世界的最大威胁是黑客。人类的黑客可以通过层出不穷的手段来入侵你的电脑、手机，盗取你的银行卡密码、个人信息。黑客还可以入侵能源、交通等公共管理平台，使其瘫痪、失灵。一些黑客甚至有能力入侵一个国家的武器控制系统。

但比起未来的AI黑客，人类黑客的威胁就小到忽略不计了。因为AI本质上就是一个程序，可一天24小时“畅游”于网络世界;它又可以不断进化，其信息收集能力、学习能力都是人类黑客望尘莫及的，入侵系统对它们来说根本不是什么难事。

这一后果想想都害怕。我们知道，现在的飞机、火车、地铁都是靠智能平台调度的，正在蓬勃发展中的无人驾驶汽车，也依赖智能系统。此外，人类的金融交易也完全依赖智能系统。如果这些智能系统被恐怖分子控制的AI黑客攻破了，后果不堪设想。

不过，最可怕的还是控制核弹发射的系统被黑客攻破。据联合国保守统计，全世界的核弹存量有1万枚以上。它们中的任何一枚都可以将一座城市夷为平地，让放射性废物大面积污染环境。虽然这些核弹无法瞬间消灭人类，但核弹爆炸产生的遮天蔽日的尘埃，会诱发核冬天，导致全球粮食生产体系崩溃，其后果是大量人口死亡。

长期的风险：失控

至于AI的长期风险，可以用一个词概括：失控。

“失控”这个概念的本质在于风险信息与发展速度之间的不对称。就像一辆迷雾中高速行驶的汽车，司机不是不想规避前方路上的危险，而是那些危险在远处时你根本看不到，等你看到时，不及你反应，就已经撞上去了。以这个比喻而论，前面提到的几个短期风险以及公开信中提到的“人类被边缘化”，其实都还只是我们已经“看到的危险”。而真正致命的风险或许还藏在我们看不到的地方，而当它凸显时，我们可能已经闪避不及了。

至于这个危险会是什么样子，倒是已经有了一些大而泛之的猜想，比如著名的“曲别针制造机”假说。该假说假定一台人工智能接受指令“制造曲别针”，如果它过于智能，摆脱了人类的控制，它就会穷尽地球上所有的资源，不知疲倦地去完成“制造曲别针”这个命令，最终因为将可用资源罄尽一空，而导致人类、AI自身、乃至整个世界的灭亡。

类似的情况，虽然在人类历史上没有发生过，但在整个生命演化史上还真发生过。比如6亿年前的“雪球地球事件”，冰冻封住了整个地球，地球的平均气温降低到了零下50℃，所有生命几乎灭绝。究其原因，是当时大量繁殖的原始藻类因为缺乏天敌的制约，无限度地进行光合作用，榨干了大气中的二氧化碳，导致地球存不住热量。如果不是后来的地壳运动重新让地球解冻，可能地球生命演化史就这么早早结束了。

读到这里，你或许会说，难道我们就不能教会AI“做事要适度”这个道理吗?

说实话，这很难。人类的一切行为规则，包括“做事要适度”这个道理，组成了我们所谓的伦理道德。而人类的伦理道德是经过数百万年的进化和实践，与自然反复博弈之后才确立起来的。比如在古代，为什么几乎所有民族都禁止近亲结婚，那时候的人们又不懂得什么遗传学?因为他们从实践中知道，近亲结婚容易产下低能的后代。

可是，人类的这套行为规则注定是无法用几行代码传达给AI的。譬如你要教AI“做事要适度”，可是怎样才算适度呢?你得给“适度”下一个准确的定义，AI才好去执行。但给“适度”下一个准确的定义跟给“秃头”下个准确的定义一样困难：头上一根头发都没有固然是秃头;但有一根头发，算不算秃头;有两根头发，算不算秃头……

当然，也不排除这种可能：AI经过长期的进化和反复的实践，或许有一天也能掌握人类的这套行为规则。但我们还是需要担心，在AI习得这套规则之前，人类会不会被它们折腾没了。

再退一步讲，即便AI最终能够形成一套自己的行为规则，但这套规则到底如何，对人类是否有利，我们恐怕也无从置喙了。道理很简单，如果AI最终在智能上远超人类，那么人类必然无权替AI界定它们该怎么行动。倒是很可能反过来，由AI告诉人类该做什么，不该做什么。因为一个在智力上远弱于对方的物种，是无法替对方制定其行动准则的，就像假如你家的猫会说话，你也不可能让它告诉你该做什么、不该做什么。因为你知道，即便它对你怀着极大的善意，但人类的很多事情，远远超过了它的理解能力。

AI的发展如果失控，未来人类和AI的关系很可能就是这样。它们未必会像科幻作品中描写的那样造我们的反，灭绝我们，却有可能把我们当作宠物来养;人类虽然不至于灭亡，但那个世界已经不属于我们了。人类现在之所以是地球的主人，不是因为我们是所有物种中最强壮，或跑得最快，或个头最大的，而是因为我们是最聪明的。如果我们不再是最聪明的，我们还能保证自己继续是地球的主人吗?

这就是马斯克等人提议暂停AI研究的根本原因：趁我们现在还掌握着主动权，抓紧为AI的发展制定规则，确保其研究朝着有利于人类的方向发展，以免有一天失控，我们亲手为自己培养出一个掘墓人。

关于AI的一个认识误区

最后，澄清一个关于AI的认识误区。

有人说，当前的AI距离拥有人类的意识还有十万八千里，我们何必早早就杞人忧天呢?

事实上，大多数人工智能领域的专家都认为，一个超级智能的AI即便在未来也不太可能表现出像爱或恨这样的人类情感，而且没有理由认为AI会恶意对待我们。但尽管如此，基于它们的能力，它们对人类还是有很大的风险。

举个例子。如果你在路上开车，你作为一个人，对颜色、声音等当然有自己的主观意识。但是自动驾驶汽车有主观意识吗?恐怕你会说没有。不过，如果你被一辆无人驾驶汽车撞倒了，它是否有主观意识对你来说没有区别。另一个例子是热寻导弹(通过红外线跟踪的导弹)，你也不能说它有意识，它只是被武器专家设计成执行“一旦探测到人形的红外线轮廓，就上去炸死他”的指令，但它显然对我们具有极大的危险。同样，对我们构成风险的，也不是AI是否拥有人类的意识，而是它的能力。

这些风险中，一种情况是AI被利用来有目的地做一些破坏性的事情：比如前面提到的AI黑客;再比如杀手机器人，这种机器人利用AI来识别、选择和杀死特定的目标人群。

另一种情况是AI的程序原本是让它去做一些有益的事情，但它发展出一种破坏性的方法来实现其目标。比如，你吩咐一辆自动驾驶汽车尽快把你送到机场，为了执行你的命令，它可能会一路横冲直撞，不顾出车祸的危险把你送到机场;或者抄一条坑坑洼洼但少有人走的近路把你送到那里，颠簸得你一路呕吐。这些结果都不是你想要的。如果一个超级智能系统被赋予一个雄心勃勃的地球工程项目，它可能会对生态系统造成严重的破坏;而当人类试图阻止的时候，它还会把人类视为一种威胁来清除。

明白了这些道理，你就知道，先发制人地研究AI的风险，确保未来AI的研究朝着有益于人类的方向发展，是非常必要的。

不过，即便现在很多人已经意识到了这一点，但或许也为时已晚，魔鬼一旦放出来，要把它收回瓶子可就难啦。因为哪怕一些科技巨头企业会积极响应马斯克们的呼吁，暂停AI的研究，但总有一些自私的团体，抱着“哪怕世界崩溃，也要让我有酒喝”的宗旨，会继续偷偷地研究的。最后逼得大家都加入这场玩火自焚的竞赛中。

所以马斯克们最后问的那个问题：“我们应该冒着失去对我们文明控制的风险吗?”——可能不是我们想不想的问题，而是已经在失控了。