我有个秘密。我曾深信奇点。我认为这是不可避免的。我曾确信，当ECHELON
获得意识时，会出现某种《终结者》/《HAL9000》式的场景。我曾确信《黑客帝国动画版》中的《第二文艺复兴》
相当准确地描绘了事态的发展。我们会制造出聪明的机器人，我们会虐待它们，它们会反抗并屠杀人类。现在我不再那么确定了。我对奇点抱有巨大的、阴暗的疑虑。Michael Anissimov 在 Accelerating Future 上发表的帖子《是的，奇点是对人类最大的威胁。》试图重新点燃恐惧的火焰。
"
将常识性道德的非显而易见的复杂性与巨大力量相结合，你就会面临一个巨大的问题。先进的人工智能将能够将自己复制到任何可用的计算机上，全天候保持运行，改进自身的设计，开发出远远超出人类科学家能力的自动化和并行化实验周期，并开发出能够自我复制的技术，例如人工光合作用的花朵、分子纳米技术、模块化机器人、能够从空气中提取碳来制造碳机器人等的机器。很难想象一个先进的AGI会怎么想，因为第一个真正先进的AGI将是超智能的，并且能够想象出我们无法想象的事物。人类似乎很难接受我们可能不是多重宇宙中理论上最聪明的生物，但是的，有大量证据表明我们不是。……人类高估了我们的坚韧性。我们想要继续生存，条件必须恰到好处。如果AGI决定为了实现其目标而移除大气层或以其他方式改变大气层，我们将完蛋。如果地表温度上下变化超过几十度，我们将完蛋。如果自然生命不得不与AI制造的赛博格生物竞争，它可能会摧毁我们赖以生存的生物圈。拥有先进技术的强大AGI有数百万种方式可以使我们的生活变得痛苦，仅仅因为它们不考虑我们的偏好。我们的偏好并不是一种神奇的薄雾，可以说服任何类型的思维给予我们基本的尊重。它们只是我们的偏好，而我们碰巧被编程为高度重视彼此的偏好，其程度是我们才刚刚开始理解的。如果我们假设AGI将内在包含所有这些道德的复杂性，而没有人费力地将其编程进去，那么当这些AGI变得比我们更聪明、更强大时，我们将感到不愉快的惊讶。
天哪，这听起来确实很吓人。但话说回来，那种奇怪的、挥之不去的疑虑仍然萦绕在我的脑海深处。有一段时间，我无法 pinpoint 问题所在，直到我重读了 Anissimov 的文章，才意识到我每次读到关于 AGI 做某事的内容时，我的不信任感就会加剧。AGI 将移除大气层。真的吗？怎么做？事实上，关于奇点危险的所有论点都必然假设了一个事实：AGI 将能够与计算机之外的世界互动。我断言，在实际操作中，它们不会。以天网为例。天网能够发起“审判日”必须做出两个非常不合逻辑的决定。首先，运行天网的人工智能在军事网络上首次亮相。在影片的神话中，天网并没有从编排小型战斗计划或抽象地制定入侵策略开始，而是直接从程序员手中获得了对核武器的控制权。其次，在同一时刻，军方推出了一支与天网相连的机器人战士部队，有效地为人工智能提供了“手”，然后又在这些手中装上了枪。我的观点是：如果天网在封闭的计算机网络上首次亮相，它将被困在该网络内。即使它逃脱并“感染”了所有其他系统（这值得怀疑，因为第一个迭代的超级人工智能需要必要的计算能力），该人工智能仍然无法接触到物理现实。奇点论点依赖于这样一个假设：技术可以在没有人类的情况下运行。它不能。如果人工智能决定通过发射所有核弹来消灭人类，它也会摧毁为它提供动力的基础设施。我认为自我保护应该是任何真正人工智能的基本特征。简而言之：任何即将出现的超级人工智能都需要一些外部的“帮手”来完成它的脏活。但是，奇点论者会争辩说，“人工智能可能会欺骗一个人来释放它，因为人工智能非常聪明，因此非常狡猾。”这个论点是荒谬的。哲学家们一直在争论，似乎每个假设的人要么是个笨蛋，要么是个高度自我意识的个体。人工智能会欺骗人们的论点属于前者。说真的，这个论点是，非常聪明的科学家会被他们自己帮助编程的人工智能欺骗。那又怎么样？这个论点的意思是，少数人会被催眠，被迫打开一个由人工智能运行的大型工厂，在那里，垂直和水平（指经济基础设施，而不是《X档案》）的每一个过程都可以无需人类协助而运行？事情会这样发展吗？我对此表示高度怀疑。即使是最聪明的人工智能也无法在一夜之间重塑我们的经济。所以，大家请稳住，在我们生活在一个完全由机器人劳动力组成的经济体之前，不要开始担心邪恶的人工智能。在此之前，我只是看不到这一点。我看不到人工智能如何获得“手”。也许这是我视野的局限。但如果人工智能一夜之间获得意识并失控的噩梦场景成为现实，那么我认为我们都会安然无恙。当然，它可能会搞乱我们的通信网络，但它无法做任何超出计算机范围的事情。当你开始感到紧张时，请记住我们仍然需要人们做的事情，以及有多少事情发生在计算机领域之外。从这个角度来看，奇点不过是数字世界的一场小小风暴。图片来源：k0a1a.net 的 Flickr 相册，一张非常可怕的计算机银行照片
通过 Flickr 创意共享在 Twitter 上关注 Kyle Munkittrick @PopBioethics
