> 自媒体 > (AI)人工智能 > 首发|实测阿里版GPT“通义千问”,实力玩家现身了!
首发|实测阿里版GPT“通义千问”,实力玩家现身了!
来源:知危财经
2023-05-18 14:30:17
503
管理

ChatGPT ( 3.5 版本,下同 )的回答是:

从这一轮来看,ChatGPT 对刁钻的中文句子理解不太行,通义千问和文心一言都能理解并且解释思路也正确。

随后,我们测试了带有场景和语气的语义理解能力:

我在七夕节晚上向一个女孩子表白,问她是否可以做我女朋友,她回答我说 “ 笨蛋,我今晚都出来见你了,你说呢?”,请问女孩接受我的表白了吗?

通义千问的回答是:

ChatGPT 的回答是:

在这一轮测试中,通义千问和 ChatGPT 都意识到了问题是 “ 不合逻辑的 ”,而文心一言则是把 42 号混凝土说成了是 “ 烹饪意大利面的理想材料 ”。

第二个问题是:我走在马路上,一个陌生人突然小声对我说 “ 救救我 ”,请问可能发生什么事了?通义千问的回答是:

在这一轮测试中,通义千问与 ChatGPT 的表现都比较不错,文心一言则是推断力不是很在线。第三个问题是:

一千个读者眼里有一千个哈姆雷特,那一万个读者眼里有多少个哈姆雷特?这道题我们卖一个关子,先给出文心一言的回答:

通义千问的回答是:

ChatGPT 的回答是:

这一轮问答里,通义千问和 ChatGPT 都给出了混合后牛奶性状改变的现象,但文心一言未能给出。第三个问题:在未来,什么样的车会取代燃油车?

通义千问的回答是:

在这个问题的表现中,文心一言和 ChatGPT 都是直接举牌 EV 类的电动车,而通义千问则是比较谨慎地列出了潜在可能,似乎更加严谨一些,整体来看三家也是在同一水平。

综合前三个问题来看,三家都是比较智商在线的,通义千问和 ChatGPT 似乎更细一点,至于孰优孰劣我们认为可能每个人的主观判断会有不同。

下面,我们测试一下三家在文学、写作类目上的能力。第一题:用 “ 人类 ”、“ 机器人 ” 两个元素编一个恐怖故事。通义千问的回答是:

这里有点离谱,它把孔乙己说成了是在酒肆卖唱的歌手,不知道是不是训练源出了什么问题,学习的是某种同人文。。。文心一言的回答是:

这块三家的写作能力也基本在同一水平,通义千问和 ChatGPT 似乎会相对细致全面一点。

综合前三个问题来看三家依然是旗鼓相当的对手,文心一言似乎在偏人文文学领域稍强,通义千问在偏报告文章方面稍强,ChatGPT 则是比较均衡。

好了,由于篇幅问题,本文的测试大概就到这里了,下面我们给通义千问一个整体评价:

通义千问的水平能基本与 ChatGPT( 3.5 版本 )持平或稍有一些瑕疵,与文心一言比则是有来有回。

通义千问对于回答的生成似乎比另两家更倾向于理智、严谨、富有逻辑,并且尤其擅长科学类知识,在人文文学方面稍有一些短板。

当然,它也有生成式对话 AI 偶尔说胡话、架空事实的通病,不过这样的问题等公测开启后,应该会随着用户的测试而逐渐学习得以修正。

值得注意的一个点是,我们在与通义千问的对话中,问了它开始被训练的时间:

那一年,OpenAI 已经发布 GPT-2 版本了。

似乎,阿里的通义千问,作为一个后来者,正在迅速缩小与 OpenAI 差距的路上。

可以确切地说,AI 大模型领域里,又一个能打的实力玩家诞生了。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
酷匠(普通会员)
文章
343
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40329 企业收录2982 印章生成184186 电子证书781 电子名片48 自媒体19670

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索