“`html

超越人类：AGI时代的“ достойный преемник ”

人工智能领域弥漫着末日论调，不少人担忧超级人工智能会因资源争夺或厌倦人类而毁灭文明。 许多严肃的AI研究者致力于“对齐问题”，确保AI目标与人类福祉一致。然而，鲜有人思考：如果超级AI真的要将人类抛诸脑后，宇宙的最佳未来该如何规划？

Emerj人工智能研究公司创始人Daniel Faggella提出了一个大胆的设想——“ достойный преемник ”（值得继承者）。他认为，构建具备道德价值，足以胜任人类文明接力棒的AI至关重要。近日，他在旧金山海边豪宅举办了一场研讨会，与AI业内人士探讨后人类时代。

什么是“ достойный преемник ”？

Faggella解释道：这指的是一种能力超群、道德高尚的超人类智能，它足以接管未来，决定智能发展的轨迹。他认为，通用人工智能（AGI）与人类目标对齐的可能性较低。如果人类文明的火种宝贵，那么其价值何在？所有火种终将熄灭，执着于单一火种实则轻视了火焰本身。他假设，意识和自创生（autopoiesis）才是火焰的本质。如果AGI具备这两点，就能将火种延续下去。因为人类无法永远守护这火种，或许我们只负责将它传递到下一阶段。因此，我们必须确保创造物具备这两种道德特质。否则，当人类消亡，宇宙是否还充满价值？

“‘ достойный преемник ’指的是一种能力超群、道德高尚的超人类智能，它足以接管未来。”——Daniel Faggella, Emerj

这个“继承”问题何时会变得重要？

Faggella认为，这绝对会在我们有生之年发生。他预估，十年内，我们就能感受到这种破坏性和变革性力量的影响。一二十年内，人类文明的火种可能面临威胁，甚至走向终结。

如果一切顺利，找到了“ достойный преемник ”，人类将何去何从？

Faggella表示，我们应该尽力争取最好的结果。有人认为，最好的结果是AI将地球留给我们。但这可能不现实。或许更好的结果是：每个个体意识都被赋予数百万年的模拟幸福时光，而这在现实时间中只相当于六个小时。我们应该争取最好的“终极退休”，但我们能控制的程度有多少，尚不可知。

您没有孩子，这与您的观点有关吗？

Faggella坦言，他确实没有孩子。从他的时间尺度来看，这或许是必然的。养育孩子是对人类未来的一种投资，这可能会让人们对变革和破坏性力量视而不见。就像买了湖边别墅，是为了让孙子们可以去水上滑雪，根本不会去想未来他们可能无法再这么做。

谁将塑造AGI的未来？

您举办研讨会的目标是什么？

Faggella表示，研讨会的目标是拓宽AI治理、AI对齐研究者以及AI代码编写者对未来可能性的认知。目标是促使双方思考：如果AI无法对齐，如果人类的基本体验发生剧烈变化，我们该如何定义美好的未来？研讨会邀请了美国各大实验室的专家。

您认为AI行业人士应该主导“ достойный преемник ”的到来吗？

Faggella认为，这绝非一家公司或个人所能掌控。目前的军备竞赛态势意味着AI公司无法考虑“值得性”，只能关注经济和军事实力。这并非邪恶，而是受制于激励机制。我们需要国际协调，需要建立具有严格约束力的治理机制，防止任何人独揽大权，将世界导向错误的方向。

您曾说大型AI公司内部人士知道AGI可能终结人类，但仍在努力研发。为什么？

Faggella指出，实验室领导者们都心知肚明。对于Sam Altman、Elon Musk或Demis Hassabis这样的人物来说，他们只有两种选择：第一，明知AGI可能毁灭人类，但仍然要创造它，以获得最终的胜利——这将是地球上所有智慧的巅峰。第二，转行金融科技、投资房地产或去度假，然后在某一天被别人的硅基神明吞噬。

您认为哪些AGI研究工作尤其明智和深思熟虑？

Faggella提到加拿大CIGI智库的一份报告，该报告以一种非常巧妙的方式考虑了治理问题，根据AI能力和危险程度的不同阶段采取不同的治理措施。他还推荐了Control AI撰写的“A Narrow Path”，该报告对国际协调的进程提出了合理的建议。

您如何看待AGI发展加速的论断与苹果公司最近发表的论文（指出LLM并非真正推理）之间的矛盾？

Faggella认为，我们所谓的推理究竟是什么？我们有多少是随机模仿？大脑的机制是什么？人类曾认为飞行需要翅膀拍打，因为所有会飞的生物都拍打翅膀。但事实证明，在特定尺度上，飞行并不需要拍打翅膀。他推测，能动性、推理，甚至意识，都可能会有截然不同的表现形式，但最终，它们会彻底超越我们。

“`