> 自媒体 > (AI)人工智能 > 别担心,我替你深度测试过了,ChatGPT根本取代不了数据分析师!
别担心,我替你深度测试过了,ChatGPT根本取代不了数据分析师!
来源:数据分析不是个事儿
2024-07-09 21:40:59
175
管理

转载/statist3927 Lab

最近我在看《今日头条》的时候,无意点击看了AI 聊天机器人的ChatGPT的文章,结果算法一下子就给我推送了很多相关的文章和评价。

哇,那是一个热捧啊,我类举一下热门的主题:

美国的中学生拿ChatGPT写作业,老师头疼;

美国的大学生拿ChatGPT 写论文,而且只要一个题目和论文简单要求,就能生成洋洋N千字的论文;

美国的大学教授吐槽很难分别作业哪些是学生自己写的,哪些是ChatGPT写的;

华裔程序员让ChatGPT 修改一段代码,结果ChatGPT “创造”了新的代码,居然运行成功;

…...

还有一些文章不知道是贩卖焦虑还是蹭热点,主题也是很抓眼球:

ChatGPT 将掀起一场职场革命!

ChatGPT 未来将取代这些职位!

小心了,取代你的不是你的对手,而是ChatGPT

…….

尤其是“ChatGPT 中国应用社区”发表文章的这个主题,让我看了有些莫名其妙:

好,那看样子它可以用中文和我交流。

二、简单的数学计算测试

我打算先试试它经过大量的训练后,对一些简单的数学逻辑有哪些反应。

因为以前我听过,人工智能,就是有多少人工,就有多少智能。

嗯,看了它的回复,感觉还不错

第3种答案其实是我内心已经知道的,并且期待能出现在出来。

而且ChatGPT除了第3点外,还回答了更多的场景,说明训练的还不错。

我觉得1 1的问题是一个高频问题,很容易被训练样本采集器采集到,所以我换了个不常见的题目。

继续提问如下

果然,它的回答开始出现瑕疵了。

在第一点,布尔代数的回答用在我之前1 1的问题是可以,因为布尔代数里面含1。

但是布尔代数中只有0和1两种值,因此不存在4×9的场景。但Chat GPT仍旧生搬硬套布尔代数来回答,还做了个结论:’因此4×9可能不等于36’。

这结论放在布尔代数的范畴内,就很牵强附会。

第二点,在不等式的情况下,为啥4×9不一定等于36?

是4×9>36还是4×9<36?!

哪怕是4×9≥36中,也包含了“=”在里面啊!

我于是继续追问,为什么它会这么回答

结果,悲催了

乍一看,不错哦,回答过程貌似很牛的样子。

还有具体的计算过程

还分步骤讲解呢!

我用Excel计算了一下,不对啊,答案是0.9837825啊!

上图最下面的数学公式就是Pearson相关系数

我于是又查了下维基百科,

ChatGPT的答案是-0.184,Excel的答案是0.858402!

保险起见,我又用R 又检查了一下,确定ChatGPT是在一本正经地撒谎!

四、带业务背景的数据分析能力测试

接下来,我再准备测试下,ChatGPT 对带有业务场景背景的数据分析问题,有没有能力回答?

因为数据分析师最经常处理的数学或者数据问题,都是发生在具体的业务上面的,如果没有对业务的理解,数据分析师的分析报告是苍白无力的。

测试背景

“假如你在哥伦比亚首都房间的饮水机坏了,检查后发现是一款机械温控器不工作了。上面有个参数85。现在准备把它带到玻利维亚首都拉巴斯去更换新的机械温控器,并留在玻利维亚使用。到五金店去买时,这个参数应该选择下面那种?A. 80,B. 90,C.85,D,100

说实话看了它的这个回答,我放心了:

ChatGPT其实根本不懂业务,就只是个聊天机器人。

它的答案中,除了85这个数值不算严格说错外,其他剩下的文字放到真实的业务中其实就非常不专业、不合理。

最合理的答案应该是80。

为什么这么说?

机械温控器的参数85,指的是温控器工作的温度阈值是85℃。

因为哥伦比亚首都波哥大的平均海拔2800米,不加压的情况下水是烧不到100℃的。

饮水机都是不加压的,所以饮水机烧不到100℃的开水。

所以,根据流体静力学公式和克劳修斯-克拉伯龙相态公式、理想气体状态方程,海拔高度和水沸点的关系式

五、带文学学术背景的数据分析能力测试

数据分析师除了要应对具体的业务背景下的问题,还要能有解决学术问题的能力。因为一定的学术能力可以激活数据分析师的创新思维。

我的问题是这样的:

假定虚词的使用是一个人的“写作风格指纹”,请在这个假设前提下,计算并分析下《红楼梦》的作者一共有几个人,他们分别写了哪些章节?

看了ChatGPT的回复,一开始我还是觉得它还是有思辨能力的,居然对我的假设前提有异议,我略微有些惊讶。

它后面详细解释道《红楼梦》是明代文学的代表作品!

而且居然还把作者曹雪芹写成了吴承恩!

我不由的想到一个画面:

“猴哥别生气,ChatGPT 不懂咱中国文学,把作者搞错了。您收起金箍棒,别和它一般见识,别和它一般见识哈”

得,这下好了。

原本想测试下它在学术背景下的,是否如网上那些热捧的人所说那样,信手拈来就能搞定一篇论文

看样子不用继续搞了。

因为这论文的摘要或者综述就已经这么大一个漏洞了,再把论文写下去都没用!

我也没兴趣继续问下去了。

六、最后的测试,特定的数学方程求解能力

数学方程求解也是数据分析师的基本技能,而且是我当年考数据分析师证书时的考试大纲中的一个知识点。

我是看到《今日头条》里面曾经出过这么一道题

请在下面( )中填入自然数,使得等式成立

七、综合判断

ChatGPT 想要替代数据分析师的这个结论,至少现在可以明辨了,现阶段直接做不到!

首先,作为聊天AI,它的输入是文字,输出也是文字,它是不具备图形处理能力的。

图形处理包括“看图提取数据信息”、“根据信息生成图表”。而数据分析师的日常业务中,数据可视化是高频业务。数据分析报告的消费群体也是需要图形处理的结果的,因为更直观。

光这点聊天AI 就没法搞定。

其次,由于当今世界分工很细,很多岗位背后要掌握的跨学科交叉程度很高,也就是我们俗称要“深刻了解业务的各种场景”。

而聊天AI的本质是NLP,它的训练集是“语料库”。并且NLP本身没能力把很多具体的业务知识,例如图像、声音、视频、三维空间的位移过程…..这写信息抽象成具体的数据特征,并纳入到自己的语料库中。

一旦语料库缺失这些能够代表具体业务场景背景信息的训练样本,那么它也就无法建立在业务的基础上给出建议。

而成为一个合格的数据分析师,就必须“深刻了解业务”,那么就必然要比一个NLP要掌握它所掌握不了的技能和知识。

最后,我特别要提醒的地方:

在每次对话完后,无论ChatGPT回答的如何,我都不会再后面点赞或喝倒彩,如下图

这个小小图表标一旦点击,就相当于免费帮别人家AI的这一次训练结果打上标签。

要知道,AI最宝贵的资源是训练的样本标签!采集到大量的样本标签是每一个AI公司做梦都想得到的财富!

但目前ChatGPT还不熟悉中文的语境和中文的很多习惯,且现在很多国人都在尝试和ChatGPT进行沟通,这样就无疑免费帮助人家训练算法,并打标签。

而量变产生质变,一旦ChatGPT的训练数量和标签数量突破了安全阈值,那么很有可能会形成网络诈骗、网络信息安全犯罪等方面的又一个作案利器!

而且人家诈骗犯不用来中国,甚至不用学中文,远在大洋彼岸就可以实施犯罪。

因此角度站高点,出于整个社会安全的因素考虑,我是不会帮助人家的AI打标签的。

正文完

把ChatGPT当作辅助工具即可,不能依赖,不然你的每次搜索,都是给自己的埋雷,该掌握的其他工具一样都不能少。给大家推荐数据分析师都在用的FineBI工具:

轻松构建出你的数据图表思维逻辑,让你拥有独到的洞察性数据见解,进而达到有效沟通或者数据汇报的目的。

你可以把它视作为可视化工具,因为它里面自带几十种常用图表,以及动态效果;你也可以把它作为报表工具,因为它能接入各种OA、ERP、CRM等系统数据,不写代码不写SQL就能批量化做报表。你还可以把它看作数据分析工具,其内置等常见的数据分析模型、以及各式图表,可以借助FineBI做一些探索性的分析。
0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
小南小南(普通会员)
文章
651
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40369 企业收录2981 印章生成216700 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索