微软在早在三月份就分享了一项研究《Capabilities of GPT-4 on Medical Challenge Problems》表明,利用非常简单的提示策略就能让GPT-4拥有医学方面的特长。其结果表明,"开箱即用 "的通用模型可以通过基本的提示来应对一系列医学挑战问题。
https://arxiv.org/pdf/2311.16452.pdf
目前业内普遍认为,要想扩展通用基础模型,使其在特定领域表现出色,就必须进行以专业为中心( specialty-centric)的微调。虽然微调可以提高性能,但这一过程可能代价高昂。微调通常需要专家或专业标注数据集(例如,通过 MedPaLM 项目中的顶级临床医生),然后训练更新模型参数。这一过程可能是资源密集型的,而且成本高昂,因此对许多中小型机构来说是一项艰巨的挑战。而Medprompt 研究表明,更深入地探索将通用模型转化为专业模型的提示可能性,并将这些模型的优势扩展到新领域和新应用,是非常有价值的。并且有趣的是,Medprompt还具备很强的泛化能力,无需对特定领域的提示策略进行任何更新,就能在电气工程、机器学习、哲学、会计、法律和心理学等多个领域的专业能力考试中发挥作用。
这一结论将会对业内认知产生重大影响,这或许也是微软首席科学家亲自撰文的原因之一吧。这也意味专用模型的最后一块领地也要面临挑战,专业模型微调面临新的命运宣判。但笔者认为,也不用过分担忧,微软目前发布的仅是一些测评数据集上的性能表现,后续可能还会有更多的详细解读和实践落地研究出现,形势也将会不断明朗。另一方面,这类专业/行业模型更多是公共知识,对于那些企业内部私域知识来讲,就当前认知来看,模型不可能获得这样的知识,仍然存在一些专业领域微调的空间,不过值得思考的是微调就一定是解决这类问题的最佳手段吗?
相关文章
猜你喜欢