主题：人文主义谈话录 -- 万年看客

https://www.youtube.com/watch?v=qwDnvA7mQMQ

如何制造不至于毁灭人类的人工智能是一个我最近才开始考虑的问题，也是一个事关重大的深刻问题。不久之前我去波多黎各参加了由未来生活学会主持的研讨会，邀请我参会的人是我的朋友埃隆.马斯克。最近埃隆公开表态说，他认为人工智能是人类面临的最大威胁，甚至比核武器还要危险。很多人都认为他是在夸大其词。我对埃隆很了解，也清楚他在这方面做了多少工作，因此我觉得他对这个问题的看法很有趣。不过我对这个问题并没有多少想说的话，因为我并没有花费多少时间来追踪这一科技领域的进展。所以我就来参加会议了。与会人员不多，都是这一领域的前沿人士，算上我在内会场上只有两三个不请自来的旁听者。有趣的是与会者都很关心这个问题，不过观点却分为两派。埃隆与一部分有些人非常悲观，认为我们应当尽快刹车，尽管已经没希望了；也有些人正在全力推进这方面的进展，并且想要说服别人不要担心，没有必要刹车。在会场以外我听到的讨论大多认为制造真正人工智能取得突破的时间大约是在未来50到200年之内，到那时才会发生特别吓人或者特别有趣的情况。在会场上则完全不是这样。所有人都极力说服别人相信自己的研究很安全，但他们也认为人工智能技术在未来5到10年内就有可能出现极大的进步。从会场返回之后我发现Edge.org的2015年度科学问题就是人工智能，于是我写了一篇小文章。文章不长，我想念一下。希望你不要感到厌倦。

我们能够避免数字化末日吗？

我们有朝一日创造出比人类智能更强大的人工智能机器的可能性正在与日俱增。我们所要做的就是不断研发性能更好的计算机而已。我们肯定会这样做的，除非人类灭绝或者出于其他原因而毁灭。我们已经知道，单纯的物质完全有可能获得智力，学习新的概念，并且用在不熟悉的背景当中。我们颅骨当中1200毫升的糊状物已经做到了这一点，因此没有理由相信高度发达的数字计算机做不到这一点。我们常说我们最近的目标是制造出“相当于人类水平”的人工智能，但是除非我们刻意模仿人脑以及人脑的各种限制，否则这个目标根本站不住脚。我用来写作这篇文章的电脑早已经拥有了远远超乎人类的记忆力与计算能力，也能接触这世界上绝大多数信息。除非我们采取非同寻常的破坏手段，否则未来的人工智能必然会远比人类更出色地完成任何被视为人类智力标志的任务。这样的机器是否拥有自我意识还不好说，但是无论是否有意识，人工智能都有可能发展出与人类的目标不相容的其他目标。

（人与人工智能之间的分道扬镳将会有多么危险或者多么突然，这个问题已经得到了很多绘声绘色的猜想。如果你想要细思恐极一把，只要考虑两点就可以了：首先，除非人类自我毁灭，否则就一定会继续开发更先进的计算机硬件与软件；其次，我们颅骨当中所谓的湿件并没有什么魔法，采用生物质以外的其他物质也能构建出智能机器。一旦你认同了这两项前提——我想每一个考虑过这个问题的人都会认同这两项前提——那你就会发现你很难说服自己相信这一顾虑肯定不会成为现实。）

考虑未来的方式之一就是想一想，如果我们当真实现了自己的目标，假如我们当真构建了一台超越人类智力的人工智能机器，那么究竟会怎么样。像这样的一台机器会立刻将我们从绝大部分智力活动的劳苦与麻烦当中解放出来。这样一来我们的政治秩序会变成什么样呢？没有任何一项经济学定律规定人类在每一次科技进步到来的时候都一定能找到工作，一旦人类制造出了完美的节省劳力机器，那么再生产新机器的成本就会逼近原材料的成本。如果缺乏用这种新资本为人类造福的意愿，极少数人就将会变得非常富有，而其他人则只剩下了活活饿死的自由。就算是我们制造了真正的良性人工智能，我们也有可能会沦落到原始状态，全天遭受无人机监视。假如俄国人或者中国人听说硅谷里的某家公司正在研发超级人工智能，那么又会怎样呢？像这样的机器能够在物理空间与网络空间以前所未有的力量发动战争。这样一来我们的对手在赢家通吃的前提下又会做出怎样的举动呢？恐怕仅仅是关于超级人工智能的流言也足以让全体人类陷入癫狂。即便是在最好的情况下，即便人工智能完全服从人类的意愿，混乱似乎也是不可避免的。

但是我们当然不能仅仅考虑最好的情况。控制问题——也就是怎样确保任何将要出现的人工智能肯定会服从人类的问题——似乎依然很难解决。想象一下吧，我们构建了一台人工智能，它的智力并不比斯坦福或者麻省理工的科研人员的平均智力更高，但是由于这台机器的数字化运行耗时极短，因此计算速度要比制造它的头脑快出一百万倍。让这台机器运转上一个礼拜，就会进行相当于人类两万年的思考。像这样的一台机器依然甘心听从我们指令的可能性有多大呢？像这样的自主存在对于过去、现在与未来的见解肯定会比我们更加深入，那么我们又怎能可靠地预测这一存在的思想与行为呢？

我们似乎正在冲向数字化世界末日的事实在我们面前摆出了若干项智力与伦理挑战。比方说如果我们还指望让超级人工智能的道德观念与人类相配套，要么我们主动将这些价值输入进去，要么就要设法让它模仿我们。可是谁的价值观才算数呢？塑造这尊巨灵的实际功能时应当遵循一人一票的原则吗？人工智能的出现将迫使我们重新拾起那些看似无聊的道德哲学讨论。一旦你设想要向一台超级人工智能输入道德观念，那就必须要将善恶标准说清楚。人工智能技术的进步将会像激光刀一样把道德相对主义开膛破腹。我们希望这台人工智能拥有谁的道德呢？我们希望人工智能信奉神权统治或者传统宗教权威吗？我们希望将恐同或者反对言论自由的价值观输入一台每运转一次就会取得人类几万年智力进展的机器当中吗？我并不这么认为。

（就算设计无人驾驶汽车都会面临道德伦理的问题。任何无人驾驶汽车都需要一套算法在所有各种不同的糟糕情况之间进行评级。比方说我们希望汽车宁可开上人行道也不会撞击面前的儿童，宁可肯撞击人行道上的邮筒也不肯撞击婴儿车。因此我们必须对各种后果进行理性评估。这些都是道德决定，如果非要撞人不可的话，你希望无人驾驶汽车对于被撞人的体型、年龄与肤色一视同仁吗？你希望汽车宁肯去撞白人也不去撞有色人种吗？这个问题看上去像是在没事找事，但是针对电车难题进行的心理学测试显示了很有趣的结果。据我所知这是少数几项自由派的表现普遍比保守派更糟糕的心理测试。假如你问受试者是否愿意牺牲一条命去救五条命或者一百条命，并且用细微的线索和暗示当事人的种族——比方说一一个人是哈莱姆区唱诗班的成员，而五个人则是茱莉亚德艺校的学生——那么自由派的受试者肯定不会牺牲一个黑人去拯救任何数量的白人。但是如果反过来，他们却往往愿意牺牲一个白人去拯救多个黑人。奇怪的是保守派在这个问题上却没有显现出任何偏见。可是在这个问题上我们是否欢迎偏见呢？我们希望汽车倾向于躲避有色人种吗？我们必须决定，要么把车造成这样，要么造成那样。科技迫使我们承认我们知道对错，尽管很多人都认为我们不可能知道对错。）

不过更有可能的情况是人工智能将会开发出属于自己的新价值观，或者发现更危险也更有趣的近期新目标。超级人工智能会采取哪些措施来确保自己的持续存在或者获取计算资源呢？这台机器的表现是否与人类存续相协调呢？这恐怕是我们这个种族所能提出的最重要的问题了。但是似乎只有极少数人具有彻底思考这个问题的充分立场。真相大白的时刻很可能来得非常随便，不显山不露水。想象一下吧，有一个房间里面坐着十个年轻人，其中有几个人患有阿斯伯格综合征，只是没有确诊。所有人都在喝红牛饮料，而且都在考虑是否要打开屋子里的某一个开关。一位个人或者某一家公司有权利决定整个人类的命运吗？答案是显而易见的“不”。但是越来越可能的情况是有朝一日极少数几个聪明人将会代表全人类投出决定命运的骰子，而且这样做的诱惑也是显而易见的。

我们面对着很多困难的问题——比如老年痴呆症、气候变化、经济不稳定——而超级人工智能完全有可能给我们提供解答。事实上唯一一个几乎就像构建超级人工智能一样可怕的未来就是从不构建超级人工智能。话虽如此，这一领域投入最深的人们也最有预知危险的责任。诚然，其他科技领域也都伴随着各自的高昂风险，但是人工智能与生物合成技术的风险之间存在着显著的不同。对于后者而言，有可能出现的不良后果——例如变异细菌——是研究失误的副产品，从商业或者伦理角度来看都没有什么吸引力。但是对于人工智能来说，最强力的研发成果——例如递归性质的自我改善——也恰恰会带来最大的风险。我们似乎正在塑造一位神灵，不妨抽时间想一想它究竟会成为一尊善神还是恶神。

（我解释一下递归性自我改善是什么意思。一旦你建造了超级人工智能，那么人工智能真正得以发展的方式就是被赋予或者自行发展出改进自身代码的能力。于是它在几天甚至几分钟之内就能获得成千上万年的人类智力发展，不仅学会了更多的知识，还学会了更多的学习方法。于是人工智能就踏上了一条指数增长的曲线，到时候人工智能与人类的关系就相当于人类与鸡鸭、海胆甚至是蜗牛的关系一样。当然这样的担忧听上去很疯狂，但是只要我们承认计算机技术不断发展与生物物质并无特殊性这两项原则，那么这一幕其实一点也不疯狂。）