机器之心报道

机器之心编辑部

Yann LeCun 这个观点的确有些大胆。

「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」最近，图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归，正是当前爆红的 GPT 家族模型所依赖的学习范式。

LeCun 认为有前途的方向：世界模型

当前风头正劲的 GPT 类模型没有前途，那什么有前途呢？在 LeCun 看来，这个答案是：世界模型。

这些年来，LeCun 一直在强调，与人和动物相比，当前的这些大型语言模型在学习方面是非常低效的：一个从没有开过车的青少年可以在 20 小时之内学会驾驶，但最好的自动驾驶系统却需要数百万或数十亿的标记数据，或在虚拟环境中进行数百万次强化学习试验。即使费这么大力，它们也无法获得像人类一样可靠的驾驶能力。

这些模块的具体信息可以参见机器之心之前的文章《图灵奖获得者 Yann LeCun：未来几十年 AI 研究的最大挑战是「预测世界模型」》。

Yann LeCun 还在 PPT 中阐述了之前论文里提到的一些细节。

如何构建、训练世界模型？需要看到的是，世界只能部分地预测。首先，问题是如何表征预测中的不确定性。

那么，一个预测模型如何能代表多种预测？

概率模型在连续域中是难以实现的，而生成式模型必须预测世界的每一个细节。

基于此，LeCun 给出了一种解决方案：联合嵌入预测架构（Joint-Embedding Predictive Architecture，JEPA）。

JEPA 不是生成式的，因为它不能轻易地用于从 x 预测 y。它仅捕获 x 和 y 之间的依赖关系，而不显式生成 y 的预测。

通用 JEPA。

如上图所示，在这种架构中，x 代表过去和当前观察到的，y 代表未来，a 代表 action，z 代表未知的潜在变量，D（）代表预测成本，C（）代表替代成本。JEPA 从代表过去和现在的 S_x 的表征中预测一个代表未来的 S_y 的表征。

迈向自主式 AI 系统的步骤都有哪些？LeCun 也给出了自己的想法：

1、自监督学习

2、处理预测中的不确定性

3、从观察中学习世界模型

4、推理和规划

其他的一些猜想包括：