编辑：LRS 好困

今年是AI技术爆发式发展的一年，以ChatGPT为代表的大语言模型（LLM）大火。

语言模型除了在自然语言领域显示出巨大的潜力之外，也开始逐渐辐射到其他模态，比如文生图模型Stable Diffusion的背后也需要语言模型。

从头开始训练一个视觉-语言模型（VL-LLM）往往需要消耗大量的资源，所以现有的解决方案都是把语言模型和视觉提示生成模型（Visual Prompt Generator, VPG）连接起来，但即便如此，继续调整VPG仍然需要几千个GPU小时和数百万的训练数据。

最近，来自新加坡国立大学和清华大学的研究人员提出了一个解决方案VPGTrans，将现有的VPG迁移到现有的VL-LLM模型中，就能以低成本的方式获得目标VL-LLM模型。

论文链接：https://arxiv.org/abs/2305.01278

代码链接：https://github.com/VPGTrans/VPGTrans

多模态对话模型Demo：https://vpgtrans.github.io/

作者：张傲，费豪，姚远，吉炜，黎力，刘知远，Chua Tat-Seng

单位：新加坡国立大学，清华大学

文章的主要创新点包括：

1. 极低训练成本：

通过我们提出的VPGTrans方法，可以快速（少于10%训练时间）将已有的多模态对话模型的视觉模块迁移到新的语言模型，且达到类似或更优效果。

比如，相比于从头训练视觉模块，我们可以将BLIP-2 FlanT5-XXL的训练开销从19000 人民币缩减到不到1000元：

图2：VL-Vicuna的交互实例

一、动机介绍

1.1 背景

LLM在多模态理解领域掀起了一股从传统预训练视觉语言模型（VLM）到基于大语言模型的视觉语言模型（VL-LLM）的变革。

通过为LLM接入视觉模块，VL-LLM可以继承已有LLM的知识，零样本泛化能力，推理能力和规划能力等。相关模型有BLIP-2[1]，Flamingo[2]，PALM-E等。

图4：VPG迁移: 跨LLM大小迁移和跨LLM类型迁移

如图4所示，我们主要探索了两种类型的VPG的迁移:

（1）跨LLM大小迁移（TaS）：比如从OPT-2.7B到OPT-6.7B。

（2）跨LLM类型迁移（TaT）：比如从OPT到FlanT5。

其中TaS的意义在于：在LLM相关科研中，我们通常需要在小LLM上调参，再扩展到大LLM。有了TaS，我们可以在调参之后，把小LLM上已经训好的VPG直接迁移到大LLM上。

TaT的意义在于：不同功能种类的LLM层出不穷，比如今天有了LLaMA，明天又有了Alpaca和Vicuna。TaT可以让我们利用已有的VPG快速为新语言模型添加视觉感知能力。

1.3 贡献

（1）提出高效的方法：

我们首先通过一系列的探究实验，探究了影响VPG迁移效率的关键因素。根据探索实验发现，我们提出了一个两阶段的高效迁移框架VPGTrans。该框架可以大幅度缩减训练VL-LLM所需的计算开销和需要的训练数据。

比如，相比于从头训练，我们通过BLIP-2 OPT-2.7B到6.7B的VPG迁移，可以仅用大约10%的数据和计算时间就达成各个数据集相似或更好的效果（图1）。训练花销从17901人民币到1673元。

（2）得到有趣的发现：

我们同时提供了TaS和TaT场景下一些有趣的发现，并尝试给出解释:

a) TaS场景下，使用VPGTrans从小到大迁移不会影响最终模型效果。

b) TaS场景下，越小的语言模型上训练的VPG，迁移到大模型时效率越高，最终效果越好。

c) TaT场景下，越小的模型之间迁移的gap越大。在我们验证实验中，OPT350M和FlanT5-base使用VPGTrans互相迁移几乎和从头训练一样慢。

（3）开源：

我们使用VPGTrans得到了两个新的VL-LLMs：VL-LLaMA和VL-Vicuna，并开源在了社区上。其中VL-Vicuna实现了类GPT4的高质量的多模态对话。

二、高效率的VPG迁移方案：VPGTrans

首先我们进行一系列的探索验证实验，分析如何最大化对于VPG的迁移效率。接着我们基于这些重要观察提出一个解决方案。

2.1 探究实验

我们选取BLIP-2架构作为我们的基础模型，预训练语料采用COCO和SBU，总共1.4M图文对。

下游任务采用COCO Caption, NoCaps, VQAv2, GQA和OK-VQA的zero-shot设定进行评测(对caption任务并非严格zero-shot)。下面是我们的关键发现:

（1）直接继承一个训练好的VPG可以加速收敛，但效果有限：

我们发现，直接迁移一个LLM上训练好的VPG到大LLM可以加速模型收敛，但加速效果有限，且收敛后模型效果相比于从头训练VPG会掉点（图5的VQAv2、GQA蓝线最高点均低于橘线）。

我们猜测，这个掉点是由于随机初始化的projector会在训练起始阶段损伤VPG中已有的视觉感知能力。

上的projector融合作为projector的初始化。

通过这个初始化，我们可以将projector的warm-up训练由3个epoch减为2个epoch。

（4）projector可以在超大学习率下快速收敛：

我们进一步实验发现，projector由于其参数量较少，可以使用5倍的正常学习率进行训练而不崩溃。

通过5倍学习率的训练，projector warm-up可以进一步被缩短到１个epoch。

（5）一个附加发现：

虽然projector warm-up很重要，但仅训练projector是不够的。尤其在caption任务上面，仅仅训练projector的效果要比同时训练VPG的效果差一截（图5绿线在COCO Caption和NoCaps均远低于蓝线）。

这也就意味着，仅仅训练projector会导致欠拟合，也就是无法充分对齐到训练数据。

2.2 我们所提出的方法

图7：VPGTrans框架: (1) 一阶段:projector的warm-up (2) 二阶段: 整体微调

如图7所示，我们的方法共分为两个阶段：

（1）第一阶段：我们首先使用词向量转化器和原有projector进行融合作为新projector的初始化，然后用5倍学习率训练新projector一个epoch。

（2）第二阶段：直接正常训练VPG和projector。

三、实验结果

3.1 加速比

表2：真实场景下的大规模实验结果

如表2所示，我们的VPGTrans在大规模场景下依然有效。通过OPT-2.7B到OPT-6.7B的迁移，我们仅用10.8%的数据和不到10%的训练时长达到了相似或更优的效果。

尤其是，我们的方法在BLIP-2以FlanT5-XXL为基座的VL-LLM实现了4.7%的训练成本控制。

四、定制您的VL-LLMs

我们的VPGTrans可以快速为任意新的LLMs添加视觉感知模块，从而得到一个全新的高质量VL-LLM。在本工作，我们额外训练了一个VL-LLaMA和一个VL-Vicuna。其中VL-LLaMA的效果如下:

表3：VL-LLaMA的效果展示

同时，我们的VL-Vicuna可以进行类GPT-4的多模态对话。我们和MiniGPT-4进行了简单的比较:

五、总结

在这项工作中，我们对VPG在LLM之间的可迁移性问题进行了全面调查。我们首先探讨了最大化迁移效率的关键因素。

基于关键观察，我们提出了一种新颖的两阶段迁移框架，即VPGTrans。它可以在显著降低训练成本的同时，实现相当或更好的性能。

通过VPGTrans，我们实现了从BLIP-2 OPT 2.7B到BLIP-2 OPT 6.7B的VPG迁移。相较于从零开始连接VPG到OPT 6.7B，VPGTrans仅需10.7%训练数据和不到10%的训练时长。

此外，我们展示并讨论了一系列有趣发现及其背后的可能原因。最后，我们通过训练VL-LLaMA和LL-Vicuna，展示了我们的VPGTrans在定制新的VL-LLM方面的实际价值。

参考资料：

https://arxiv.org/abs/2305.01278