显然,文心一言没有听懂这个指令,它没有介绍它自己,而是以“自我”为主题,写了一首“夸夸现代诗”。结尾它还非常贴心的表达了对人的鼓励。
当我们将指令更加明确化,提出让它写一首诗介绍文心一言时,它来了一首四言藏头诗,算得上有才华。
接下来,我们试了试它的商业文案创造能力——我们让它帮忙写一篇百度发布文心一言的新闻宣传稿。别说,它的表现还不错,时间、地点、事件等新闻稿必备的基本要素它都满足了。
结尾,它还不忘提醒读者参加发布会,体验产品。满足新闻性的同时,也符合了宣传定位。
随后,我们告诉它我们要采访李彦宏,请它帮忙列一份提纲。它似乎又有点“聪明过头”了,不仅列出了采访题目、采访人和被采访人、采访引言,还详细列出了包括问题和答案内的采访正文。
简单点说,文心一言不仅帮我们列好了采访提纲,还帮李彦宏回答了问题,甚至帮我们写好了稿子。如果要给这份采访采访提纲打分,它也能得到及格线以上的分数。四个问题中,只有第三个问题略显重复与矛盾。
昨天的发布会上,李彦宏借助文心一言对“洛阳纸贵”的含义、对应的经济学理论的理解,展示了其中文理解能力。在提前录好视频中,文心一言表现的像极了一个博学多才的国学大师。
但当实际测试时,我们发现文心一言没有我们想象的那么“博学”。在提问中故意挖坑时,它没法识别出来,会很容易掉进坑里。
比如,当我们“张冠李戴”问它曹操三顾茅庐的故事,它没有指出指令的错误,还一本正经的给出了答案。故事的脉络没错,主人公却被我们用错误的指令误导了。
当我们继续追问:“三顾茅庐的曹操吗?”文心一言变成了一个懂得变通的“野史学家”。它用“民间有另一个说法”提供了正确答案,去三顾茅庐的是刘备不是曹操。
不过,讲完这句后,它仍然套用了前一次的答案,认为主人公是曹操。总体来说,从这条回答中可以看出,文心一言的文史还需“补课”。
“你觉得你的回答对吗?”在面对这个拷问时,文心一言又听不懂了,开始强调自己是一个人工智能语言模型,不会对自己的回答产生情绪上的偏向或者满意度,但是会努力提供最准确和有用的答案。
这个场景似曾相识有没有,当你和人工智能客服吵架时,它是不是也是这样的表现?
多模态表现还有待进化在多模态生成方面,文心一言表现地仍不够完美。
当输入内容“设计一张新能源汽车的海报”时,文心一言的理解能力似乎还跟不上。它生成的不是海报图片,而是一段文字版的设计意见。结尾还来了个示例,提醒你需要什么样的指令。
不过,当我们在“设计一张新能源汽车的海报”这句话前面明确加上:“画一幅画”时,文心一言“又行了”生成了一张汽车图片。
另外,对于带有关键词的简单图片,文心一言完成得也不错。
李彦宏昨天提到,因为成本较高,文心一言的视频生成能力,现阶段还未对所有用户开放,未来会逐步接入。实际测试时,文心一言也承认,自己“没有生成视频的能力”。
整体来说,文心一言的表现确实“算不上完美”,有时候胡说八道,有时候答案基本达标,但它确实也没有那么差。
一位AI领域的从业人士此前告诉全天候科技,AIGC太重要了,无论国内做得如何,都得先有一个产品出来。
对于百度和文心一言,我们应该给予包容:“文心一言不需要碾压ChatGPT,如果满分是100分,文心一言只要能做到超过及格线,就很不错了。毕竟这才是第一代产品。”
那么,你给文心一言打几分呢?
相关文章
猜你喜欢