OpenAI首席科学家有个计划 寻找方法控制超级人工智能
早在OpenAI成立之初，便承诺构建有益于全人类的人工智能，即使这些人工智能有可能比其创造者更聪明。自ChatGPT首次亮相以来，OpenAI的商业野心逐渐凸显。最近，该公司宣布成立了一个致力于研究未来超级人工智能的新研究团队，并已经开始取得一些成果。 OpenAI的研究人员利奥波德·阿森布伦纳（Leopold Aschenbrenner）指出：“通用人工智能（AGI）正在迅速接近，我们将看到具有巨大能力但也可能非常危险的超智能模型，而我们还没有找到控制它们的方法。”他参与了今年7月成立的“超级对齐”（Superalignment）研究团队。OpenAI表示，将把其可用算力的五分之一用于“超级对齐”项目，以探索如何确保超级人工智能的安全性和可控性。 OpenAI最近发布了一篇研究论文，介绍了一项实验结果。该实验旨在测试一种方法，让一个较差的人工智能模型在不降低智能的情况下指导一个更聪明的人工智能模型。尽管所涉及的技术还没有超过人类的灵活性，但该实验是为了应对未来人类必须与比自己更聪明的人工智能系统合作的时代而设计的。 在实验中，OpenAI的研究人员检查了一种被称为监督的过程，它被用来调整像GPT-4这样的系统，使其更有帮助、更少伤害。GPT是ChatGPT背后的大语言模型。目前，这涉及到人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何将这一过程自动化以节省时间。此外，这也是因为他们认为，随着人工智能变得越来越强大，人类可能无法提供有用的反馈。 在对照实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教授GPT-4，并测试了两种解决方法。其中一种方法是逐步训练更大的模型，以减少每一步的性能损失;另一种方法是对GPT-4进行了算法调整，允许较强的模型遵循较弱模型的指导，而不会削弱其性能。第二种方法被证明更有效，尽管研究人员承认这些方法并不能保证更强的模型会完美运行，但可以将其作为进一步研究的起点。 人工智能安全中心主任丹·亨德里克斯（Dan Hendryks）表示：“很高兴看到OpenAI主动解决控制超级人工智能的问题，我们需要多年的努力来应对这一挑战。”人工智能安全中心是旧金山一家致力于管理人工智能风险的非营利组织。 阿森布伦纳与“超级对齐”团队的其他两名成员科林·伯恩斯（Collin Burns）和帕维尔·伊兹梅洛夫（Pavel Izmailov）在接受采访时均表示，他们为迈出重要的第一步感到鼓舞，认为这有助于驯服潜在的超级人工智能。伊兹梅洛夫打了个比方：“就像一个六年级的学生，尽管他们比大学数学专业的学生所掌握的数学知识要少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们所追求的效果。” “超级对齐”团队由OpenAI的首席科学家和联合创始人伊利亚·苏茨凯弗（Ilya Sutskever）共同领导。苏茨凯弗也是上个月投票解雇首席执行官萨姆·奥特曼（Sam Altman）的原董事会成员之一。不过后来他撤回了这一决定，并威胁说如果不让奥特曼复职，他就辞职。苏茨凯弗是这篇最新论文的合著者，但OpenAI拒绝让他讨论这个项目。 上个月，奥特曼与OpenAI达成了协议，董事会的大部分成员都已经辞职，苏茨凯弗在OpenAI的未来也充满了不确定性。尽管如此，阿森布伦纳表示：“我们非常感谢苏茨凯弗，他是这个项目的推动者。” 在人工智能领域，OpenAI的研究人员并不是第一个尝试使用现有技术来测试有助于驯服未来人工智能系统的团队。然而，与之前的企业和学术实验室的研究一样，我们无法确定在精心设计的实验中有效的想法在未来是否实用。研究人员将让一个较弱的人工智能模型训练一个更强的人工智能模型，他们称这种能力为“解决更广泛的‘超级对齐’问题的关键组成部分”。 这种人工智能对齐实验也引发了一个关键问题：控制系统的可信度有多高?OpenAI新技术的核心在于，更强大的人工智能系统能够自己决定可以忽略较弱系统的哪些指导，这种选择可能会使其忽略可能阻止其未来以不安全方式行事的重要信息。为了使这样的系统有效，需要在提供一致性方面取得进展。伯恩斯强调：“你最终需要高度的信任。” 加州大学伯克利分校研究人工智能安全的教授斯图尔特·拉塞尔（Stuart Russell）表示，使用不那么强大的人工智能模型来控制更强大人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，我们还不清楚用于教授人工智能行为的方法是否可行，因为它们尚未能使当前的模型可靠地运行。 尽管OpenAI正在迈出控制更先进人工智能的第一步，但该公司也渴望获得外界的帮助。OpenAI宣布将与谷歌前首席执行官埃里克·施密特（Eric Schmidt）合作，向外部研究人员提供1000万美元的资助，以鼓励他们在从弱到强的监管、高级模型的可解释性以及针对旨在打破限制的提示下加强模型等领域取得进展。参与撰写这篇新论文的研究人员表示，OpenAI明年还将举行一次关于“超级对齐”的会议。 作为OpenAI的联合创始人，也是“超级对齐”团队的联合负责人，他领导了该公司许多最重要的技术工作。同时，他也是越来越担心如何控制人工智能的知名专家之一，因为人工智能变得越来越强大。今年以来，如何控制未来人工智能技术的问题获得了新的关注，这在很大程度上归功于ChatGPT的影响。苏茨凯弗曾在深度神经网络先驱杰弗里·辛顿（Geoffrey Hinton）的指导下攻读博士学位。后者于今年5月离开谷歌，以警告人们人工智能在某些任务中似乎正在接近人类的水平。 获取更多RSS：https://feedx.net https://feedx.run
早在OpenAI成立之初，便承诺构建有益于全人类的人工智能，即使这些人工智能有可能比其创造者更聪明。自ChatGPT首次亮相以来，OpenAI的商业野心逐渐凸显。最近，该公司宣布成立了一个致力于研究未来超级人工智能的新研究团队，并已经开始取得一些成果。
OpenAI的研究人员利奥波德·阿森布伦纳（Leopold Aschenbrenner）指出：“通用人工智能（AGI）正在迅速接近，我们将看到具有巨大能力但也可能非常危险的超智能模型，而我们还没有找到控制它们的方法。”他参与了今年7月成立的“超级对齐”（Superalignment）研究团队。OpenAI表示，将把其可用算力的五分之一用于“超级对齐”项目，以探索如何确保超级人工智能的安全性和可控性。
OpenAI最近发布了一篇研究论文，介绍了一项实验结果。该实验旨在测试一种方法，让一个较差的人工智能模型在不降低智能的情况下指导一个更聪明的人工智能模型。尽管所涉及的技术还没有超过人类的灵活性，但该实验是为了应对未来人类必须与比自己更聪明的人工智能系统合作的时代而设计的。
在实验中，OpenAI的研究人员检查了一种被称为监督的过程，它被用来调整像GPT-4这样的系统，使其更有帮助、更少伤害。GPT是ChatGPT背后的大语言模型。目前，这涉及到人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何将这一过程自动化以节省时间。此外，这也是因为他们认为，随着人工智能变得越来越强大，人类可能无法提供有用的反馈。
在对照实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教授GPT-4，并测试了两种解决方法。其中一种方法是逐步训练更大的模型，以减少每一步的性能损失;另一种方法是对GPT-4进行了算法调整，允许较强的模型遵循较弱模型的指导，而不会削弱其性能。第二种方法被证明更有效，尽管研究人员承认这些方法并不能保证更强的模型会完美运行，但可以将其作为进一步研究的起点。
人工智能安全中心主任丹·亨德里克斯（Dan Hendryks）表示：“很高兴看到OpenAI主动解决控制超级人工智能的问题，我们需要多年的努力来应对这一挑战。”人工智能安全中心是旧金山一家致力于管理人工智能风险的非营利组织。
阿森布伦纳与“超级对齐”团队的其他两名成员科林·伯恩斯（Collin Burns）和帕维尔·伊兹梅洛夫（Pavel Izmailov）在接受采访时均表示，他们为迈出重要的第一步感到鼓舞，认为这有助于驯服潜在的超级人工智能。伊兹梅洛夫打了个比方：“就像一个六年级的学生，尽管他们比大学数学专业的学生所掌握的数学知识要少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们所追求的效果。”
“超级对齐”团队由OpenAI的首席科学家和联合创始人伊利亚·苏茨凯弗（Ilya Sutskever）共同领导。苏茨凯弗也是上个月投票解雇首席执行官萨姆·奥特曼（Sam Altman）的原董事会成员之一。不过后来他撤回了这一决定，并威胁说如果不让奥特曼复职，他就辞职。苏茨凯弗是这篇最新论文的合著者，但OpenAI拒绝让他讨论这个项目。
上个月，奥特曼与OpenAI达成了协议，董事会的大部分成员都已经辞职，苏茨凯弗在OpenAI的未来也充满了不确定性。尽管如此，阿森布伦纳表示：“我们非常感谢苏茨凯弗，他是这个项目的推动者。”
在人工智能领域，OpenAI的研究人员并不是第一个尝试使用现有技术来测试有助于驯服未来人工智能系统的团队。然而，与之前的企业和学术实验室的研究一样，我们无法确定在精心设计的实验中有效的想法在未来是否实用。研究人员将让一个较弱的人工智能模型训练一个更强的人工智能模型，他们称这种能力为“解决更广泛的‘超级对齐’问题的关键组成部分”。
这种人工智能对齐实验也引发了一个关键问题：控制系统的可信度有多高?OpenAI新技术的核心在于，更强大的人工智能系统能够自己决定可以忽略较弱系统的哪些指导，这种选择可能会使其忽略可能阻止其未来以不安全方式行事的重要信息。为了使这样的系统有效，需要在提供一致性方面取得进展。伯恩斯强调：“你最终需要高度的信任。”
加州大学伯克利分校研究人工智能安全的教授斯图尔特·拉塞尔（Stuart Russell）表示，使用不那么强大的人工智能模型来控制更强大人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，我们还不清楚用于教授人工智能行为的方法是否可行，因为它们尚未能使当前的模型可靠地运行。
尽管OpenAI正在迈出控制更先进人工智能的第一步，但该公司也渴望获得外界的帮助。OpenAI宣布将与谷歌前首席执行官埃里克·施密特（Eric Schmidt）合作，向外部研究人员提供1000万美元的资助，以鼓励他们在从弱到强的监管、高级模型的可解释性以及针对旨在打破限制的提示下加强模型等领域取得进展。参与撰写这篇新论文的研究人员表示，OpenAI明年还将举行一次关于“超级对齐”的会议。
作为OpenAI的联合创始人，也是“超级对齐”团队的联合负责人，他领导了该公司许多最重要的技术工作。同时，他也是越来越担心如何控制人工智能的知名专家之一，因为人工智能变得越来越强大。今年以来，如何控制未来人工智能技术的问题获得了新的关注，这在很大程度上归功于ChatGPT的影响。苏茨凯弗曾在深度神经网络先驱杰弗里·辛顿（Geoffrey Hinton）的指导下攻读博士学位。后者于今年5月离开谷歌，以警告人们人工智能在某些任务中似乎正在接近人类的水平。
