昨日安装部署之后,测试结果,还是有些出乎意料的。
关于测试结果,一直纠结要不要写出来,发出来,是不是有失偏颇。
总体来说,ChatGLM2-6B的测试结果远低于个人预期,同时也用同样的提问,对比了ChatGLM【内测】、讯飞星火大模型以及gpt-3.5-turbo。
2、中文测试2:一个有点区分度的提问提问:按照你认为的顺序列举中国古代最著名的都城,不超过10个
问题的要点:
核心:中国古代最著名的都城数量限制:10顺序要求:你认为的顺序2.1、ChatGLM2-6B【本地】的回答以下是我认为的中国古代最著名的都城,按照时间顺序不超过10个:1. 夏朝:阳城2. 商朝:亳3. 西周:镐京4. 东周:洛邑5. 东周:宋6. 春秋:齐:齐桓公7. 春秋:晋:晋文公8. 春秋:鲁:鲁昭公9. 春秋:楚:楚庄王10. 战国:赵:赵武灵王请注意,这仅仅是根据我所了解的知识和认为最具代表性的都城进行的列举。实际上,中国古代的都城有很多,每个朝代都有其独特的都城,都具有其独特的文化历史价值。
【点评】
都城内容呈现,不合格。要求中的“最著名”这个点,应该完全被无视了,仅试图按照历史上的朝代罗列。估计到春秋战国时期,需要细分春秋五霸、战国七雄之类的情况,可能是显示方式出问题了。2.2、ChatGLM【内测】接下来,看一下ChatGLM内测版的回答。
以下是我认为的中国古代最著名的十个都城,按照时间顺序排列:
1. 殷墟 (今河南省安阳市) - 商朝的都城,是中国历史上第一个有文献记载的都城。
2. 镐京 (今陕西省西安市) - 西周的都城,是中国历史上第二个王朝的都城。
3. 洛邑 (今河南省洛阳市) - 东周的都城,是中国历史上最长久的王朝的都城。
4. 咸阳 (今陕西省咸阳市) - 秦朝的都城,是中国历史上第一个统一的中央集权国家的都城。
5. 长安 (今陕西省西安市) - 西汉和唐朝的都城,是中国历史上最为繁荣昌盛的都城之一。
6. 建业 (今江苏省南京市) - 东晋和南朝的都城,是中国历史上南方政治、经济和文化中心之一。
7. 洛阳 (今河南省洛阳市) - 北魏和唐朝的都城,是中国历史上最为繁荣昌盛的都城之一。
8. 开封 (今河南省开封市) - 北宋的都城,是中国历史上经济、文化高度繁荣的都城之一。
9. 北京 (今北京市) - 元朝、明朝、清朝的都城,是中国历史上最为重要的都城之一,也是现代中国的首都。
10. 西安 (今陕西省西安市) - 明朝、清朝的都城,是中国历史上最为繁荣昌盛的都城之一,也是现代中国最重要的古都之一。
【点评】粗看没问题,细看之下,第10项,西安,明朝、清朝的都城,恐怕不合格吧
2.3、讯飞星火中国古代最著名的都城有很多,以下是一些著名的都城:
1. 长安(今西安):唐朝时期的首都,也是世界上最大、最繁华的城市之一。
2. 洛阳:东周、东汉、北魏、隋唐等朝代的都城,曾经是中国最大的城市之一。
3. 北京:元、明、清三朝的都城,现在是中国的首都。
4. 南京:明朝和民国时期的都城,也是中国四大古都之一。
5. 开封:北宋时期的都城,也是中国四大古都之一。
6. 杭州:南宋时期的都城,也是中国四大古都之一。
【点评】
最著名的顺序,基本满足(当然见仁见智,各个城市的朋友们要理解,别较真);只显示6个,优于其他回答;内容无明显错误。2.4、gpt-3.5-turbo【点评】
第五个开始死循环火星之后就是天王星?天王星是太阳系最远的行星表述错误,应该是海王星。3.5、其他模型的回答汇总其他三个模型的回答,不再一一截图对比,整理如下。
【点评】
对于送分题,大部分内容准确度是没问题的gpt-3.5-turbo对于建安七子和竹林七贤的回答的差异,可能和训练数据有关讯飞星火和ChatGLM【内测】,无明显错误讯飞星火关于河西四郡、建安七子、竹林七贤的回答,直接就是百度百科的原文ChatGLM【内测】,还提到建安七子与三曹的关系,加分。4、初步印象由于测试提问样本数少,也没有经过缜密的设计,也没有提示词工程基础,所以测试结果仅供参考。
讯飞星火,以上测试提问无明显错误;ChatGLM【内测】,有错误,也有惊喜gpt-3.5-turbo,没有想象中的好ChatGLM2-6B,读者自己看答案,当然也有回答好一些的情况,可能选择对比的样本不够客观吧。
相关文章
猜你喜欢