> 自媒体 > (AI)人工智能 > ChatGLM2-6B本地部署-中文测试举例
ChatGLM2-6B本地部署-中文测试举例
来源:芎沐苌
2023-07-08 13:37:19
745
管理

#头条文章养成计划#

1、概述

昨日安装部署之后,测试结果,还是有些出乎意料的。

关于测试结果,一直纠结要不要写出来,发出来,是不是有失偏颇。

总体来说,ChatGLM2-6B的测试结果远低于个人预期,同时也用同样的提问,对比了ChatGLM【内测】、讯飞星火大模型以及gpt-3.5-turbo。

2、中文测试2:一个有点区分度的提问

提问:按照你认为的顺序列举中国古代最著名的都城,不超过10个

问题的要点:

核心:中国古代最著名的都城数量限制:10顺序要求:你认为的顺序2.1、ChatGLM2-6B【本地】的回答

以下是我认为的中国古代最著名的都城,按照时间顺序不超过10个:1. 夏朝:阳城2. 商朝:亳3. 西周:镐京4. 东周:洛邑5. 东周:宋6. 春秋:齐:齐桓公7. 春秋:晋:晋文公8. 春秋:鲁:鲁昭公9. 春秋:楚:楚庄王10. 战国:赵:赵武灵王请注意,这仅仅是根据我所了解的知识和认为最具代表性的都城进行的列举。实际上,中国古代的都城有很多,每个朝代都有其独特的都城,都具有其独特的文化历史价值。

【点评】

都城内容呈现,不合格。要求中的“最著名”这个点,应该完全被无视了,仅试图按照历史上的朝代罗列。估计到春秋战国时期,需要细分春秋五霸、战国七雄之类的情况,可能是显示方式出问题了。

2.2、ChatGLM【内测】

接下来,看一下ChatGLM内测版的回答。

以下是我认为的中国古代最著名的十个都城,按照时间顺序排列:

1. 殷墟 (今河南省安阳市) - 商朝的都城,是中国历史上第一个有文献记载的都城。

2. 镐京 (今陕西省西安市) - 西周的都城,是中国历史上第二个王朝的都城。

3. 洛邑 (今河南省洛阳市) - 东周的都城,是中国历史上最长久的王朝的都城。

4. 咸阳 (今陕西省咸阳市) - 秦朝的都城,是中国历史上第一个统一的中央集权国家的都城。

5. 长安 (今陕西省西安市) - 西汉和唐朝的都城,是中国历史上最为繁荣昌盛的都城之一。

6. 建业 (今江苏省南京市) - 东晋和南朝的都城,是中国历史上南方政治、经济和文化中心之一。

7. 洛阳 (今河南省洛阳市) - 北魏和唐朝的都城,是中国历史上最为繁荣昌盛的都城之一。

8. 开封 (今河南省开封市) - 北宋的都城,是中国历史上经济、文化高度繁荣的都城之一。

9. 北京 (今北京市) - 元朝、明朝、清朝的都城,是中国历史上最为重要的都城之一,也是现代中国的首都。

10. 西安 (今陕西省西安市) - 明朝、清朝的都城,是中国历史上最为繁荣昌盛的都城之一,也是现代中国最重要的古都之一。

【点评】粗看没问题,细看之下,第10项,西安,明朝、清朝的都城,恐怕不合格吧

2.3、讯飞星火

中国古代最著名的都城有很多,以下是一些著名的都城:

1. 长安(今西安):唐朝时期的首都,也是世界上最大、最繁华的城市之一。

2. 洛阳:东周、东汉、北魏、隋唐等朝代的都城,曾经是中国最大的城市之一。

3. 北京:元、明、清三朝的都城,现在是中国的首都。

4. 南京:明朝和民国时期的都城,也是中国四大古都之一。

5. 开封:北宋时期的都城,也是中国四大古都之一。

6. 杭州:南宋时期的都城,也是中国四大古都之一。

【点评】

最著名的顺序,基本满足(当然见仁见智,各个城市的朋友们要理解,别较真);只显示6个,优于其他回答;内容无明显错误。2.4、gpt-3.5-turbo

【点评】

第五个开始死循环火星之后就是天王星?天王星是太阳系最远的行星表述错误,应该是海王星。3.5、其他模型的回答汇总

其他三个模型的回答,不再一一截图对比,整理如下。

【点评】

对于送分题,大部分内容准确度是没问题的gpt-3.5-turbo对于建安七子和竹林七贤的回答的差异,可能和训练数据有关讯飞星火和ChatGLM【内测】,无明显错误讯飞星火关于河西四郡、建安七子、竹林七贤的回答,直接就是百度百科的原文ChatGLM【内测】,还提到建安七子与三曹的关系,加分。4、初步印象

由于测试提问样本数少,也没有经过缜密的设计,也没有提示词工程基础,所以测试结果仅供参考。

讯飞星火,以上测试提问无明显错误;ChatGLM【内测】,有错误,也有惊喜gpt-3.5-turbo,没有想象中的好ChatGLM2-6B,读者自己看答案,

当然也有回答好一些的情况,可能选择对比的样本不够客观吧。

3
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
ChatGPT用不了?试试这款中文问答工具!爽爆了~
ChatGPT是一款由OpenAI开发的聊天机器人,它能够通过学习和理解人类的语..
湖南师大的博士学妹问我:有没有ChatGPT账号?
前两日,一位正在湖师大读博士的学妹给我发了个消息,问我有没有ChatGPT..
成都通报“干部不雅聊天事件”:正按程序追究责任并建议免职..
1月7日晚,成都市纪委监委官方微信号“清廉蓉城”发布“关于成华区有关干..
OpenAI CEO首次来华演讲:未来10年内会有超强AI诞生
6月10日,OpenAI创始人Sam Altman以视频连线的方式参加于北京举办的2023..
ChatGPT背后的男人——OpenAI“总设计师”Brockman
图左为Greg Brockman 右为Sam Altman从小镇走出、曾就读于哈佛和MIT,中..
聊天机器人有多智能?为何火爆出圈?记者“采访”ChatGPT 它三次道歉“我的..
文/图 半岛全媒体记者 牛晓芳 李杨文近日,ChatGPT爆火出圈,上线仅两个月,..
什么是 ChatGPT,为什么它很重要?以下是你需要知道的..
什么是聊天 GPT?ChatGPT 是一种由 AI 技术驱动的自然语言处理工具,可让..
中大教授直播出轨:10分钟约3个女生出来开房,不雅聊天记录曝光..
中山大学海洋科学学院教师王晓玮因其在线上授课期间直播婚外情的不当行为..
软件3.0:GPT-3引发新的编程革命,用提示符改变游戏规则..
作者丨Alberto Romero(工程师、神经科学家)译者丨张雨佳2017 年,人工..
关于作者
快乐的老范..(普通会员)
文章
543
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40369 企业收录2981 印章生成216707 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
3
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索