关注趋势的 爱范儿

OpenAI 预言，比人类更聪明的 AI 很有可能在 2030 年前就会出现

面对比人类更聪明的「生物」，你担心人类的未来会被 AI 统治吗？

OpenAI 正在组建团队开发新的工具，为的就是让未来的 AI 也能遵守人类的道德规范

OpenAI 用一篇博客概述了他们的想法，也作为一则「招聘启事」来招募团队成员

看完后，你又对这一想法有什么新的建议呢？

Enjoy it!

超智能（Superintelligence）将成为人类有史以来最具影响力的技术，它可以帮助我们解决世界上许多最重要的问题。不过，超智能的巨大力量也可能是非常危险的，它可能导致人类对 AI 失去控制甚至导致人类灭绝。

尽管超智能看似还很遥远，但我们依旧相信它可能在 2030 年前出现。

Ilya Sutskever（OpenAI 的联合创始人和首席科学家）已将此作为他的核心研究重点，并将与 Jan Leike（「对齐」技术的负责人）共同领导该团队。这个团队的成员不仅有我们以前的「对齐」团队的研究人员和工程师，以及公司其他团队的研究人员。

我们也在寻找优秀的新研究人员和工程师来加入这一计划。超智能「对齐」从根本上说是一个机器学习问题，我们认为优秀的机器学习专家--即使他们还没有从事「对齐」相关的工作--也能成为解决这个问题的关键。

我们计划广泛分享这项工作的成果，同时我们把 OpenAI 模型以外的「对齐」和安全问题作出贡献视为我们工作的重要组成部分。

这个新团队的任务是对 OpenAI 现有工作的补充，旨在提高像 ChatGPT 这样的大模型的安全性，同时逐渐发现和降低 AI 的其他风险，比如滥用、经济损害、虚假资讯、偏见、歧视、成瘾、过度依赖等。

虽然这个新的团队将专注于机器学习领域方面的挑战，让「超智能」的 AI 与人类的意图保持一致，这同样涉及到部分社会科学问题，因此我们正积极地与跨学科专家进行接触，以确保我们的技术解决方案会考虑到更广泛的人类和社会问题。