新上线18天前0 投票
无权重微调：通过逻辑空间传输实现LLM个性化
无权重微调（Weightless Fine-Tuning, WFT） 是一种无需更新模型权重即可实现大语言模型（LLM）个性化的新方法。该方法由Bohan Zhang等人提出，旨在解决传统监督微调（SFT）在个性化场景中成本高昂的问题。WFT通过计算作者训练序列上的监督残差，并利用从dropout诱导的交叉协方差估计的跨前缀传输算子，将残差传输到当前提示，从而在解码时近似SFT的分布效果。在三个LaMP个性化基准测试中，WFT取得了最佳平均性能，在个别任务上匹配或超过SFT，并优于其他轻量级基线。在预算控制比较中，WFT使用不到7%的有效计算量接近SFT性能。逻辑级分析显示，WFT和SFT诱导的逻辑位移在95%的下一个标记概率质量上余弦相似度为0.875，表明WFT无需修改模型权重即可捕捉监督适应的分布效果。该研究为个性化LLM提供了一种高效、低成本的替代方案，尤其适用于需要为每个用户单独适配的场景。