超级智能会改变什么

本篇文章1075字，读完约3分钟

在你的颅腔里，有一个可以阅读的器官。这个器官是人脑，它有一些其他动物大脑所没有的能力，而我们在地球上的主导地位归功于这些独特的能力。其他动物有更强壮的肌肉或更锋利的爪子，但是我们有更聪明的大脑。我们在智力方面的优势使我们能够创造语言、发展科学技术和建立复杂的社会组织。随着时间的推移，这种优势不断得到改善，因为每一代人的成就都是建立在前人成就的基础上的。

如果有一天我们发明了一个超过人脑一般智力的机器大脑，那么这种超级智力将会非常强大。而且，正如大猩猩的命运现在更多地取决于人类而不是它们自己一样，人类的命运也将取决于超级智能机器。

然而，我们有一个优势:我们清楚地知道如何制造超级智能机器。原则上，我们可以创造一种保护人类价值观的超级智能，当然，我们有足够的理由这样做。事实上，控制问题，也就是如何控制超级智能，似乎非常困难，而且似乎我们只有一次机会。一旦不友好的超级智能出现，它将阻止我们替换它或改变它的偏好，我们的命运将被锁定。

在这本书里，我将尽力解释超级智能带来的可能挑战，以及我们如何更好地应对它们。这可能是人类面临的最重要和最可怕的挑战。此外，不管我们成功还是失败，这可能是我们将面临的最后一个挑战。

这本书并不认为我们即将在人工智能方面取得重大突破，也不认为我们能够准确预测突破何时会发生。突破可能在21世纪的某个时候实现，但我们不确定。这本书的前几章讨论了取得突破的可能方法，并讨论了什么时候可以取得突破。然而，这本书的主要部分讨论了在情报爆发后会发生什么。我们将研究智能爆炸的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体的战略选择。然后，我们讨论的焦点转向控制问题，并提出了如何选择初始数据以使我们生存并获得有利结果的问题。在这本书的最后，我们展开画面，思考我们的研究呈现的更大的画面。最后，提出了一些建议，指出我们现在可以做些什么来增加避免生存灾难的可能性。

我希望这本书能为其他研究者开辟一条道路，让他们更快、更方便地到达这一领域的前沿，从而从新的角度加入这一研究，进一步拓展我们的理解。非科技专业的读者不需要因为书中偶尔出现的数学知识或技术术语而气馁，因为他们经常可以通过上下文解释理解主要思想。

我已经尽可能地指出整本书的细微差别和不确定性――书中有太多的词，如“可能”、“可能”、“可能”、“看起来”、“可能”、“非常可能”和“几乎肯定”。我相信我的书中可能有一些严重的问题和误导，但我认为我书中提到的其他观点更糟糕，包括默认观点或所谓的“零假设”，即我们可以暂时安全或合理地忽略超级智能的可能性。