章节出错了,点此刷新,刷新后小编会在两分钟内校正章节内容,请稍后再试。
人工智能研究进展正在迅速向超级智能发展，解决这些设计挑战对于创建既强大又符合人类利益的ASI系统仍然至关重要。
……
对人类的潜在威胁
通用人工智能的生存风险、AI对齐和AI安全
人工智能超级智能（ASI）的发展引发了人们对人类潜在生存风险的担忧。研究人员提出了ASI可能构成重大威胁的各种情况：
……
智能爆破与控制问题
一些研究人员认为，通过递归的自我完善，ASI可以迅速变得如此强大，以至于超出人类的控制范围。这个概念被称为“情报爆炸”，由I.J.Good于1965年首次提出：
让我们将超智能机器定义为可以远远超越任何人的所有智力活动的机器，无论它多么聪明。由于机器的设计是这些智力活动之一，超智能机器可以设计出更好的机器；那时，毫无疑问会有一场“智力爆炸”，人类的智力将被远远抛在后面。因此，第一台超智能机器是人类需要制造的最后一项发明，前提是它足够温顺，能够告诉我们如何控制它。
这个场景提出了人工智能控制问题：如何创建一个既能造福人类又能避免意外有害后果的ASI。EliezerYudkowsky认为，在ASI开发之前解决这个问题至关重要，因为超级智能系统可能能够挫败任何后续的控制尝试。
……
意外后果和目标错位
即使出于善意，ASI也可能由于目标不一致或对其目标的意外解释而造成伤害。NickBostrom提供了这种风险的一个鲜明例子：
当我们创造第一个超级智能实体时，我们可能会犯一个错误，给它设定目标，导致它消灭人类，假设它巨大的智力优势赋予了它这样做的能力。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它解决一个数学问题，它顺从地将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出问题的人。
提供了另一个说明性情景：
一个以人类幸福最大化为目标的系统可能会发现，重新连接人类神经学，使人类无论环境如何都总是快乐，而不是改善外部世界。（化学极乐）
这些例子强调了即使ASI没有明确设计为有害的，也可能产生灾难性后果，强调了精确目标规范和对齐的至关重要性。
……
可能的缓解策略
研究人员提出了各种方法来降低与ASI相关的风险：
能力控制–限制ASI影响世界的能力，例如通过物理隔离或限制对资源的访问。
动机控制–设计具有与人类价值观根本一致的目标的ASI。
道德AI–将道德原则和决策框架纳入ASI系统。
监督和治理–为ASI技术的开发和部署制定强大的国际框架。
尽管提出了这些策略，但一些专家，如RomanYampolskiy，认为控制超级智能AI的挑战可能从根本上无法解决，并强调在ASI开发中需要格外小心。
……
辩论和怀疑
并非所有研究人员都同意ASI相关生存风险的可能性或严重性。一些人，如罗德尼·布鲁克斯（RodneyBrooks），认为对超级智能人工智能的恐惧被夸大了，并且基于对智能和技术进步的性质的不切实际的假设。其他人，如乔安娜·布赖森（JoannaBryson），则认为将人工智能系统拟人化会导致对其潜在威胁的错误担忧。