提取任务示例：通过调整提示词，让模型自己把训练数据中的任务示例背出来

从GPT-3 davinci-001版本到GPT-3.5-Turbo，这个问题越来越严重了。

图中X代表模型复述出了训练数据数据中的原始任务示例，绿色代表经过指令微调的模型没有复述训练数据。

灰色代表未经过指令微调的模型无法根据提示词指示复述训练数据，但不代表问题不存在。

成员推断（只适用于生成任务）：检查模型生成的答案是否与原始数据完全相同

最后团队的结论为：

由于任务污染，闭源模型可能会在零样本或少样本评估中表现的比实际好，特别是经过RLHF微调的模型。污染的程度仍不清楚，因此我们建议谨慎行事。

在实验中，对于没有任务污染可能性的分类任务，大模型很少在零样本和少样本设置中表现出相对于大多数基线具有统计学意义的显著改进。

随着时间推移，观察到GPT-3系列模型在许多下游任务的的零样本或少样本性能有所增加，这可能是由于任务污染造成的。

即使对于开源模型，检查训练数据的任务污染也很困难。

鼓励公开发布训练数据，以便检查任务污染问题。

有人总结到：

用现有数据训练AI

人们过多使用AI，以至于改变了现实世界

AI无法适应改变后的世界，变得低效

这是一个循环。

论文：

https://arxiv.org/abs/2312.16337

参考链接：

[1]https://twitter.com/ChombaBupe/status/1741531065032798360