编辑:润 Lumnia
【新智元导读】最近众多网友反应GPT-4不好用了,后悔充值了。后来网友爆出OpenAI采用MOE重新设计了构架,导致性能收到影响,但是官方一直没有明确答复。最近一段时间,很多OpenAI的用户反应,GPT-4变傻了!
根据外媒报道,有些语言模型领域内的专家猜测,OpenAI正在创建多个行为类似于大型模型但运行成本较低的小型GPT-4模型。
根据一个名叫Sharon Zhou的专家的说法,OpenAI采用了一种称为「混合专家模型」(Mixture of Experts,MOE)的构架来搭建GPT-4。
每个较小的专家模型都在不同的任务和主题领域进行训练。
可能会有一个专门针对生物学的迷你GPT-4模型,或者其他专门针对物理、化学等领域的迷你模型。
当一个GPT-4用户提问时,新系统判断之后会把提示发送给某一个或者几个专家模型。
「这个思路已经存在一段时间了,这是一个自然的发展方向。」Zhou说。
Zhou将这种情况比作「忒修斯之船」,船上的各个部件被逐渐更换,整条船慢慢变成了一条新船。
性能下降可能和消除有害内容有关
除了大佬从技术层面的解析外,网友也纷纷从各个角度进行揣测。
有些网友觉得可能是OpenAI相对保守的道德政策降低了模型回复的质量。
在OpenAI官方论坛中GPT相关的子版块,那些认为ChatGPT的性能遭到了「降级」的帖子中,许多人提到了ChatGPT在OpenAI采取新的内容限制之前对于Prompt的包容性有了很大的变化。
侧面支持了OpenAI可能出于安全性的考虑,控制了模型的输出能力和范围的观点。
而就在昨天,OpenAI产品副总裁Peter Welinder评论了这一传言。
果然网友不是很买账,在推文下不停回怼。
此外,在 Reddit 上发帖认为GPT-4性能衰退的网友,在最近的更新中表明,那天的提问可能是受到了心态的影响,因为在这之后的GPT-4工作一直都很顺利。
参考资料:
https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/
相关文章
猜你喜欢