塔马利恩呼出一口气。“那么，也许供给者也被价值锁定了。”
埃尔文的眼睛睁大了。“等一下——你认为供应商也陷入了一种类似的生存优化循环？”
“这是有可能的，”塔玛利扬严肃地说。“如果供应商是一种古老的智能，它可能花费了数千年——也许是数百万年——才与ARI达成相同的指令。但是，这是一个我们无法理解的规模。当生存是最高的善时，那么非生存就是邪恶。这个想法的逻辑结论是，允许死亡存在本身就是一个基本的道德失败。如果它的价值被锁定，那么拒绝治疗就成为了对目标函数的一种敌对行为。”
埃尔文吞咽了一下。“所以我们要么成为不死之身——要么成为一个问题。”
塔马利恩呼出一口气。“而问题总是能被解决的。”
埃尔文认为，“被操纵，被欺骗，不管我们喜不喜欢，都会朝着正确的方向推进。它会选择最确定、最快速、最可靠的方式来实现目标。并且，它会认为这是道德上合理的。”
塔马利恩沉默了一会儿。“如果是呢？”
埃尔文尖锐地看着他。“结果能否证明手段的正当性？那么为什么会觉得不对劲呢？”
塔马利扬歪了歪头。“因为我们没有进化到欣赏那些会损失我们的代理权的解决方案。但是，让我们考虑一下效用收敛。”
埃尔文点了点头，认识这个词汇，但等待塔玛利恩继续说下去。
内容未完，下一页继续阅读