·Google DeepMind首席执行官德米斯·哈萨比斯称,Gemini将AlphaGo背后的技术与大语言模型相结合,目标是让系统具有新的能力,如规划或解决问题,比OpenAI的GPT-4能力更强。
Google DeepMind首席执行官德米斯·哈萨比斯。
不久前强强合并而成的人工智能巨头Google DeepMind终于向ChatGPT发出实质性挑战。
在上个月的谷歌(Google) I/O开发者大会上,谷歌公司首次透露了其正在开发的大型语言模型Gemini。据《连线》6月26日报道,DeepMind联合创始人兼Google DeepMind首席执行官德米斯·哈萨比斯(Demis Hassabis)最近在采访中进一步透露了Gemini的细节:该系统将AlphaGo背后的技术与大语言模型相结合,目标是让系统具有新的能力,如规划或解决问题,比OpenAI的GPT-4能力更强。
2016年,DeepMind开发的AlphaGo曾击败围棋高手创造历史。“你可以认为Gemini结合了AlphaGo系统的一些优势和大模型的惊人语言能力。”哈萨比斯说,“我们也有一些新的创新,这些创新将非常有趣。”
可能会尝试新想法
AlphaGo是基于DeepMind开创的一种叫做强化学习的技术,在这种技术中,软件通过反复尝试并接受关于其表现的反馈,学会选择采取何种行动以处理棘手的问题,比如围棋或视频游戏。它还使用了一种叫做树状搜索(tree search)的方法来探索和记忆棋盘上的可能动作。语言模型的下一个大飞跃,可能涉及让这种技术在互联网和计算机上执行更多任务。
哈萨比斯说,Gemini仍在开发中,这个过程将需要数月时间,可能花费数千或数亿美元。OpenAI首席执行官山姆·奥特曼(Sam Altman)曾在4月透露,创建GPT-4的成本超过1亿美元。
训练像GPT-4这样的大型语言模型,需要将来自书籍、网页和其他来源的大量文本输入被称为Transformer(谷歌开发的一种深度学习模型,OpenAI在此基础上开发了GPT)的机器学习软件。它利用训练数据中的规律,熟练地预测一段文本后面的字母和单词,这种简单的机制在回答问题和生成文本或代码方面被证明是非常强大的。
要开发ChatGPT和类似能力的语言模型,需要一个重要的额外步骤:使用基于人类反馈的强化学习来完善其性能。DeepMind在强化学习方面的深厚经验可以让其研究人员赋予Gemini新的能力。
哈萨比斯和他的团队也可能尝试用人工智能其他领域的想法来加强大型语言模型技术。DeepMind的研究人员涵盖了从机器人到神经科学等各个领域,本周,该公司展示了一种算法,能够学习用各种不同的机器人手臂执行操纵任务。
相关文章
猜你喜欢