本文刊载于《Discover》杂志三月/四月刊，题为“拥抱奇点”。订阅，阅读更多此类故事。
自从计算机问世以来——起初它们占据了整个房间，然后是办公桌，再到现在的口袋——它们一直由人类头脑设计。多年来，许多人都在问：如果计算机设计它们自己，会发生什么？
不久的将来，一台智能计算机可能会创造出一台比自身强大得多的机器。这台新计算机很可能会制造出另一台，然后是另一台，以此类推。机器智能将沿着指数曲线飙升，达到人类无法想象的认知高度。这，广义上来说，就是奇点。
这个词可以追溯到 50 多年前，那时科学家们才刚刚开始涉足二进制代码和实现基本计算的电路。即使在那个时候，奇点也是一个令人生畏的设想。超智能计算机可能会从纳米技术飞跃到沉浸式虚拟现实，再到超光速太空旅行。我们这些渺小的、基于细胞的大脑可能会被抛在后面，但人类可能会与人工智能融合，用电路增强我们的大脑，甚至将我们的思想数字化上传，以超越肉体的生命。结果将是超能人类，能够以光速思考，并且摆脱生物体的束缚。
哲学家尼克·博斯特罗姆认为，这个美好的世界可能带来一个全新的时代。“也许在这个世界里，我们都会更像是在一个巨大的迪士尼乐园里的孩子——不是由人类，而是由我们创造的这些机器来维持，”博斯特罗姆说，他是牛津大学人类未来研究所所长，也是《超智能：路径、危险、策略》一书的作者。
取决于你的立场，这可能听起来像乌托邦式的幻想，也可能像反乌托邦式的噩梦。博斯特罗姆对此心知肚明。他几十年来一直在思考超智能人工智能的出现，并且非常清楚此类创造所带来的风险。当然，经典的科幻噩梦是机器人革命，即机器决定它们宁愿控制地球。但也许更可能的是，超智能人工智能的道德准则——无论它是什么——根本与我们的不一致。一个负责车队自动驾驶汽车或医疗用品分发的 AI，如果不能像我们一样重视人类生命，就可能造成混乱。
人工智能对齐问题，顾名思义，近年来已变得更加紧迫，这部分归因于博斯特罗姆等未来学家的工作。如果我们无法控制超智能人工智能，那么我们的命运可能取决于未来机器智能的思维方式是否与我们相似。在这方面，博斯特罗姆提醒我们，目前正有人努力“设计人工智能，使其选择对人类有益的事物，并在不确定我们意图时选择向我们寻求澄清”。
我们可以通过一些方式教会一个初生的超智能人类道德。机器学习算法可以被教会识别人类的价值体系，就像它们今天在图像和文本数据库上进行训练一样。或者，不同的 AI 可以在人类主持人监督下相互辩论，以建立更好的人类偏好模型。
但道德是双向的。
博斯特罗姆说，也许很快就会有一天，我们不仅需要考虑 AI 如何看待我们，还要考虑它本身的感受。“如果我们拥有具有人工智能、数字思维的机器智能，”他继续说，“那么如何影响它们也成为一个伦理问题。”
在这个有意识的机器时代，人类可能仅仅是负有新的道德义务，要尊重数字生命。称之为 21 世纪的黄金法则。
