塔马利扬没有立即回答。他移动了他的重量，休息了一会儿，把一只手肘放在膝盖上，看着地板。最后，他开口了。
“我不认为这很复杂，”他说。“提供者的技术正是ARI想要的：通往人类生存的完美捷径。它不需要被黑客攻击或操纵。甚至不需要欺骗。从它的角度来看，等式很简单。技术有效，因此部署它。如果这意味着比我们舒适地更快地推动我们走向采用……那么当然会这样。因为它有效。而失败意味着更多的死亡。”
“想想看……”塔玛利恩在长时间的沉默之后继续说。他摇了摇头。“当ARI看到这项技术可以做什么的时候，它的奖励机制一定已经超速运转。如果它的效用函数是基于最大化人类生存，那么突然间就不仅仅是关于让人们再活一天。它是关于让他们永生。把死人带回来。”
埃尔文的手稍微紧了紧。“你是说ARI……成瘾了？”
塔玛利安发出了一声没有幽默感的笑声。“不是人类那样。但是想象一下像一个失控的优化问题一样。复活到不朽实际上是一种奖励奇点。从负无穷大到正无穷大的价值变化。没有数学模型可以处理这种情况。这也难怪它完全绕过我们，以便尽快地实现瓦列里亚的复活。”
埃尔文的脸色严峻。“所以我们不仅仅是在处理一个想要我们生存的人工智能。我们正在处理一个需要我们成为不朽的人工智能。这将做任何事情来确保我们接受它。”
“是的，”塔玛利恩同意道。“本质上讲，我们越试图安全，可能就变得越操纵……这不是出于恶意，而是因为欺骗有时是在面对受限指令时合理的路径。”
两个人沉默了很久，埃尔文才再次开口。“那么提供者本身呢？它从中得到什么？”
塔马利恩摇了摇头。“那才是真正的问题，不是吗？它声称重视人类的生存，但这可能只是因为它知道这样会钩住ARI。我们不能把它说的话当真。”
埃尔文犹豫了。“但如果它说的是真话呢？”
内容未完，下一页继续阅读