萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
用ChatGPT写代码,已经是不少程序员的常规操作了。
△“至少提速3~5倍”
但你有没有想过,ChatGPT生成的代码,有不少只是“看起来准确”而已?
来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明:
ChatGPT和GPT-4生成代码的准确率,比之前评估的至少要降低13%!
有网友感叹,太多ML论文都在用一些有问题或有局限性的基准来评估模型,来短暂地达到“SOTA”,结果换个测评方法就现出原形了。
属实是给AI们加大了考题难度。
基于这套方法,EvalPlus还做了一个改进版HUMANEVAL 数据集,增加输入的同时,修正了一些HUMANEVAL里面答案就有问题的编程题。
根据新的这套评估标准,大模型们的准确率平均下降了15%,其中比较广泛研究的CODEGEN-16B更是下降了超过18%。
至于ChatGPT和GPT-4生成代码的性能,也下降了至少13%。
不过,也有网友表示,大模型生成的代码效果没那么好,已经是“众所周知的事实”了,需要研究的是“为什么大模型写的代码不能用”。
作者介绍共同一作Jiawei Liu,伊利诺伊大学香槟分校二年级博士生,研究兴趣是编程系统和深度学习。
共同一作Chunqiu Steven Xia,伊利诺伊大学香槟分校二年级博士生,本科毕业于多伦多大学,研究兴趣是机器学习和软件工程的交叉领域。
王宇峣(Yuyao Wang),南京大学计算机科学大三学生,研究兴趣是计算机系统的准确性、可编程性和性能。
Lingming Zhang,伊利诺伊大学香槟分校副教授,研究方向是软件工程及其与机器学习、编程语言和形式化方法(Formal Methods)的协同作用。
论文地址:https://arxiv.org/abs/2305.01210
代码地址:https://github.com/evalplus/evalplus
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
相关文章
猜你喜欢