> 自媒体 > (AI)人工智能 > 清华唐杰:GPT-3表示能力已接近人类了,但它有阿喀琉斯之踵
清华唐杰:GPT-3表示能力已接近人类了,但它有阿喀琉斯之踵
来源:量子位
2023-10-30 11:05:02
201
管理

编辑部 整理自 MEET 2021 量子位 报道 | 公众号 QbitAI

人工智能,现在发展到什么阶段了?

从发展脉络上看,从符号智能、感知智能,现在应该到认知智能阶段了。

或者说,我们正走在认知智能的路上。

今年大火的GPT-3,其参数量已然达到了千亿级别,规模已经接近人类神经元的数量了。

这说明,GPT-3的表示能力已经接近人类了,但它仍有一些认知局限——没有常识。

那我们何时、又将如何走向认知智能?

未来计算机的认知能力,能否超过人类?

什么样的模型可以驱动未来的认知AI?

认知智能的概念是否又该重新定义?

……

在MEET 2021 智能未来大会现场,清华大学计算机系教授、系副主任唐杰用简单、通俗的例子为我们一一解答。

当时听完演讲的观众直呼:求唐杰老师的PPT!

(在不改变原意的基础上,量子位对唐杰的演讲进行了编辑整理)

关于MEET 智能未来大会:MEET大会是由量子位主办的智能科技领域顶级商业峰会,致力于探讨前沿科技技术的落地与行业应用。本次大会现场有李开复等20余位行业顶级大咖分享,500余名行业观众参与,超过150万网友在线收看直播。包括新华社、搜狐科技、澎湃新闻、封面新闻等数十家主流媒体在内纷纷报道,线上总曝光量累计超过2000万。

亮点

1、认知图谱有了一个全新概念,它包含三个核心要素:常识图谱、逻辑生成以及认知推理。

2、GPT-3参数规模已经接近人类神经元的数量,这说明它的表示能力已经接近人类了。但是它有个阿喀琉斯之踵——没有常识。

3、数据 知识双重驱动,也许是解决未来认知AI的一个关键。

4、用计算模型来解决认知是不够的,未来需要构建一个真正能够超越原来的,超越已有模型的一个认知模型。

5、通用人工智能还有多远?我们希望它有持续学习的能力,能从已有的事实,从反馈中学到新的东西,能处理一些更复杂的任务。

为什么是认知图谱

我给今天的分享起了一个新名字:“认知图谱:人工智能的下一个瑰宝”。

为什么叫认知图谱?首先看一下人工智能发展的脉络。

我们来看下机器是如何思考的。

1950年左右,学者创立了人工智能系统,但是1970年左右大家开始拼命去模仿人脑,我们要做一个计算机,让他跟人脑特别相同。

1990年左右,科学家突然发现其实没有必要模仿,更多的应该是去参考人脑,参考脑系统,做一个有更多机器思考、机器思维的计算机。

所以在当前这个时代,我们应该用更多的计算机思维,来做计算机的思考,而非人的思考。

因此在这之后,就出现了概率图模型、概率与因果模型以及深度学习。当然,有人会说,到最后你还在讲机器学习,在讲一个模型,这个离我们真正的认知智能是不是太远了?

用计算的方式打造通用人工智能

过去几年连我自己都不信,我们可以建造一个通用人工智能,让计算机系统甚至能够超越人。

举一个例子,OpenAI。

两年前,OpenAI做了**GPT,所有人都觉得只是一个很简单的语言模型,并不会有什么水花;

去年,GPT升级成GPT-2,15亿的参数规模。很多人都可能玩过它的Demo,叫talk to transformer。你可以输入任何文本,transformer帮你把文本补齐。

但在今年6月份的时候,OpenAI发布了一个GPT-3,参数规模一下子达到了1750亿,数量级接近人类的神经元的数量。

这个时候给我们带来了极大的震撼,至少说明GPT-3的表示能力已经接近人类了。

意味着理论上,如果我们能让计算机参数达到最好,GPT-3可能跟人这种智商表现差不多。

第一个是长颈鹿有几个眼睛?GPT3说有两个眼睛,没有问题。

第二个问题,我的脚有几个眼睛?结果是也有两个眼睛,这就错了。

第三个,蜘蛛有几个眼睛?8个眼睛。

第四个太阳有几个眼睛?一个眼睛。

最后一个问题,一根草有几个眼睛?一个眼睛。

可以看到,GPT3很聪明,可以生成所有的结果,但它有个阿喀琉斯之踵——没有常识。

这时候就需要一个常识的知识图谱。

2012年,谷歌发出了一个Knowledge Graph,就是知识图谱。

于是,我们现在就在思考,若是将上述两种方式结合在一起,是否能够驱动认知AI?

第一,从大数据的角度,做数据驱动。用深度学习举十反一的方法,把所有的数据进行建模,并且学习数据之间的关联关系,学习数据的记忆模型。

第二,我们要用知识驱动,构建一个知识图谱,用知识驱动整个事情。

我们把两者结合起来,这也许是解决未来认知 AI 的一个关键。

当然这些也还不够。我们的未来是需要构建一个真正能够超越原来的、已有模型的一个认知模型。

我们需要一个全新的架构框架,也需要一个全新的目标函数,这时候才有可能超过这样的预训练模型,否则就是在跟随 GPT-3。

而放在眼下要做的,就是让机器有一定的创造能力,光文本还不够,我们希望创造出真正的图片,它是创造,不是查询。

比如,机器可以通过文字,将原有的图片生成新的图片。

当然,光创造还不够,我们离真正通用的人工智能还有多远?

我们希望真正的通用人工智能有持续学习的能力,能够从已有的事实,从反馈中学习到新的东西,能够完成一些更加复杂的任务。

认知AI的九准则

这时候,再回到起初最基本的问题:什么叫认知?

只要有可持续学习的能力就是认知吗?

如果这样的话,GPT-3也有持续学习的能力,知识图谱也有学习的能力,因为它在不停的更新。

如果能完成一些复杂任务就是认知吗?

也不是,我们已经有些系统已经可以完成非常复杂的问题。

那什么是认知呢?

最近,通过我们的一些思考,定义了认知 AI 的九准则。这九个准则是我从人的认知和意识中抽象出来的九个准则。

第一个,叫适应与学习能力。

比如说今天MEET 大会,机器人自动学习,可以知道在这个特定的场景下应该做什么事情。

第二个,叫定义与语境能力。

模型能够在特定语境下感知上下文,对环境有一定的感知能力。

第三个,叫自我系统的准入能力。

机器能够自定义什么是我,什么是非我,这叫人设。如果这个机器能知道自己的人设是什么,那么我们认为它有一定的认知能力。

第四个,优先级与访问控制能力。

在一定的特定场景下它有选择的能力。我们人都可以在双十一选择购物,如果机器在双十一的时候能选择我今天想买点东西,明天后悔了,不应该买。

这时候机器有一定的优先级和访问控制。

这个框架左边是一个查询接口,这是输入,也可以说成是用户端。

中间是一个超大规模的预训练模型,然后是一个记忆模型。

记忆模型通过试错、蒸馏,把一些信息变成一个长期记忆存在长期记忆模型中。

长期记忆模型中会做无意识的探测,也会做很多自我定义和条理的逻辑,并且做一些认知的推理。

在这样的基础上我们构建一个平台。最终目标是打造一个知识和认知推理双轮驱动的一个框架。底层是分布式的存储和管理,中间是推理、决策、预测,再上面是提供各式各样的API。

好,我今天大概就把我们的理念和想法给大家介绍一下,如果大家有兴趣的话,可以查阅我们更多的信息。

谢谢大家!

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
仓莫以北(普通会员)
文章
650
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40351 企业收录2981 印章生成211414 电子证书912 电子名片56 自媒体32260

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索