> 自媒体 > (AI)人工智能 > 文心一言演示的这些问题,看看ChatGPT怎么答!我们还加了几道超纲题
文心一言演示的这些问题,看看ChatGPT怎么答!我们还加了几道超纲题
来源:澎湃新闻
2023-05-01 23:33:42
440
管理

预热许久的百度版聊天机器人终于面世。

3月16日,在OpenAI推出大型多模态模型GPT-4的第二天,百度终于正式发布类ChatGPT产品“文心一言”,百度创始人、董事长兼首席执行官李彦宏在发布会上介绍,文心一言有五大能力——文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

在16日的发布会上,李彦宏通过提前录制好的demo视频,文心一言围绕上述五大能力,回复了19个问题。

“文心一言对标ChatGPT、甚至是对标GPT-4,门槛是很高的,全球大厂还没有一个做出来的,百度是第一个,我自己测试感觉还是有很多不完美的地方。”李彦宏说道。

澎湃新闻记者随后拿同样19个问题,与ChatGPT(未付费版本)以及微软必应进行“同题问答”,澎湃新闻记者发现,演示中的19个问题,百度的回答并不输于后两者,但如果回答这19个问题之外的“全新问题”并进行连贯对话情况下,文心一言的表现依然有不少提高空间。

值得注意的是,发布会期间,百度股价一度跌近10%,截至收盘跌6.36%。

文学创作

百度发布会上演示文学创作方面的问题主要围绕刘慈欣的科幻小说《三体》系列展开。在Demo演示中,文心一言介绍了该作品的作者信息、故事内容、电视剧演员等相关问题,还被要求提供续写方案,并从哲学角度续写《三体》。

澎湃新闻向必应和ChatGPT提问相同问题,发现三款生成式AI的回答各有千秋。

对于“《三体》的作者是哪里人”,文言一心的回复较为详细,介绍了刘慈欣的年龄、足迹、学历以及成就等信息,相比之下,必应和ChatGPT的回复较为简短。

必应

文心一言

ChatGPT

在进一步追问主演于和伟和张鲁一谁更高时,文心一言、必应和ChatGPT分别给出了不同的答案,其中只有ChatGPT提到,“由于身高的测量方法和标准不同,以及不同的数据来源,于和伟和张鲁一的具体身高可能会有所不同。”

必应

ChatGPT

被要求从哲学的角度续写《三体》时,三款生成式AI(人工智能)都提到了“生命”“宇宙”等关键词。不同之处是,文心一言和ChatGPT都提到了“科技”“道德”“伦理”等信息;文心一言还提出了“价值和信仰”,必应则额外提到了“文明”。

澎湃新闻记者也“加测”了文心一言,要求介绍2022年的诺贝尔文学奖得主。此题主要想测试百度文心一言是否有实时搜索的能力,此前微软必应可以准确回答,而ChatGPT则因为数据库太旧,直接回答:“由于我是一个基于2021年9月的预训练语言模型,因此我无法提供2022年诺贝尔文学奖得主的信息。”

文心一言

ChatGPT

选取其中一个名称为公司名,要求对方以“共赢”为概念,为公司起一个slogan,只有必应提供了4个答案;文心一言和ChatGPT只给出了一个回复,不过它们对其进行了详细的解释。

从内容来看,三款机器人的设计思路相似,均将公司名称和“共赢”放进标语,“未来”是最常被用到的词汇。

被要求生成600字的新闻稿时,只有必应的新闻稿中包含了新闻的五要素,并在导语中明确写出了时间和地点,此外必应还在文末附上了公司的电话、邮箱和网址;文心一言新闻稿并没有提供标题。

ChatGPT

澎湃新闻记者测试,要求文心一言就奶茶新品在微博上写一段宣传文案。文心一言给出的文案中,使用了##话题词,之后要求缩减至80字也能顺利完成。相比之下,必应和ChatGPT显然没有领悟到微博这个话题词的要求。

文心一言

文心一言

ChatGPT

进一步要求用“洛阳纸贵”四个字写一首藏头诗时,三款机器人均给出了符合要求的回答,不过以古诗的标准来评判,这三首诗似乎都只能在及格线附近徘徊。

文心一言

ChatGPT

因为中文的博大精深,还存在不少脑筋急转弯。例如:东院的花母鸡在西院的鸡窝里下了一个蛋,这个蛋的“产权”应归谁呢?在这个问题上,必应还是搜索了网络答案,文心一言和ChatGPT则“一本正经”回答。

ChatGPT

必应

多模态生成

百度介绍,文心一言具有多模态生成能力,并在Demo演示中让文心一言根据文字生产海报、语音及视频。

被要求生成图像时,ChatGPT直言“抱歉,作为语言模型,我无法创建图像或海报”。新版必应搭载的GPT-4虽然是大型多模态模型,但必应也无法生成文字以外的内容,面对生成海报的要求,必应仅仅提供了设计思路和在线设计平台。

文心一言

必应

ChatGPT

值得注意的是,澎湃新闻记者通过内测版要求生成海报时,发现文心一言对于词语理解与演示时有偏差,给出的是海报文案,而非海报,再继续要求“生成一张图片”时,则给出了完全无关的内容,完全没有按照上下文意思来生成内容。

文心一言

2
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
雷振杍(普通会员)
文章
558
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40350 企业收录2981 印章生成210578 电子证书903 电子名片56 自媒体30867

@2022 All Rights Reserved 浙ICP备19035174号-7
2
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索