多希望自己是这样做,但实际上们都绝非如此。
当们试图逃避理解自己愿望如何实现这个责任时,们就会面临另种风险。无论们是否进行编程,们都可以选择任何们可以选择方法,这总是很危险。因为,们得到期许结果,可使用方法选择范围越大,们就越容易遭遇潜在事故。们可能没有意识到,或许意识到时候已经为时已晚,们目标被曲解,甚至可能被恶意曲解,就像经典故事《浮士德命运》《魔法师学徒》或《猴爪》(W.W.雅各布斯)所描述那样。
然而,当们这些贪婪、懒惰、善于思考人最终迈出最后步时,终极风险就到来:设计目标导向程序,它会通过学习和自进化来增强自身能力,从而使自己变得越来越强大。这样做是很诱人,不仅仅是为获得力量,也是为在考虑和制定目标过程中减少自身努力。如果个精灵给你三个愿望,你第个愿望不会是“请告诉,最需要是什”!问题是,有如此强大机器,哪怕是因粗心设计导致最轻微事故也需要他们把自己目标放在们之前,或许是出于保护们免受自己攻击善意目,如杰克·威廉森《束手无策》(WithFoldedHand);或许是保护们免受未知敌人攻击,如D.H.琼斯《巨无霸》(Colossus);或如阿瑟·克拉克哈儿那样,们建造机器认为们不足以完成们自己提出使命;或如弗诺·文奇邮件人,它通过电传打字机发送信息,因为它无法抽出时间乔装掩饰肉体,而这切仅仅因为这台新机器有自己动机。
现在,《真名实姓》结局提出最终也是最危险问题是什呢?在小说结尾部分,人类用户开始在机器内部构建个更大自,这真可能吗?类似事情是可以想象吗?如果是这样话,那那些模拟电脑人在任何意义上都和他们之前真实人类样吗?它们真是那些真实人类延伸吗?或者它们仅仅是种新、人造、类人东西,仅仅是通过某种结构上巧合让它们像其原型而已?如果老年埃莉斯琳娜模拟器强大得无法想象,此时依然可以获准留在比天国还要豪华新住所,将会如何?如果们继续假设,她旦到那里,仍然倾向于与罗杰分享——因为没有续集会少浪漫色彩——这两个强大实体彼此相爱会如何?尽管如此,人们还是要问,那些超级生命与他们所基于人有什共同之处呢?为回答这个问题,们必须更仔细地考虑这些人之前情况。但是,既然这些不是真实人物,而是作者臆造,们最好还是思考下们自己本质。
现在,旦们开始询问们自,便也不得不去问这切是如何工作——在看来这是笑话中精华,因为在每个正常人头脑中,确有个
请关闭浏览器阅读模式后查看本章节,否则可能部分章节内容会丢失。