Large Language Models Enhanced Collaborative Filtering

协同过滤从用户与物品的交互中学习偏好规律。大模型则可以理解产品属性、用户兴趣，以及历史行为和候选物品之间的关系。 只把一个用户和一个物品放进提示词，能用到的交互信息有限。LLM-CF 将相似的历史交互及其推理说明一起检索出来， 让这些语言信息参与当前预测。

图中的虚线划分了离线生成和在线服务。下半部分用 RecGen-LLaMA 构建推理示例库；上半部分把检索结果转成协同过滤特征， 交给原有推荐模型。在线仍需执行特征编码、检索、ICT 和骨干模型计算，但每次请求都不再需要大模型重新生成一段回答。

每条历史示例由推荐特征、生成的推理和历史交互标签组成。右侧提示词让教师模型分析用户历史、候选物品属性、 两者的匹配关系和可能的多样性需求。离线生成时会提供该条历史交互的真实标签。论文从训练交互中抽取十分之一， 构建这份示例库。

当前请求先用 BGE 将用户和物品的文本特征编码，再按余弦相似度检索历史示例。检索排除当前时间之后的交互， 并控制返回示例中的正负标签数量相等，减少标签比例带来的捷径。当前请求待预测的标签不会输入 ICT。

右上角说明每条示例怎样编码：推荐特征、推理文本和历史标签各形成一个向量。ICT 将这些三元组排在当前请求的特征向量之前， 输入 Transformer Decoder。检索四条示例时，序列共有十三个位置；当前请求位置的最终隐状态就是增强后的协同过滤特征。 论文采用两层、每层两个注意力头的解码器。

训练时，在原推荐损失之外加入推理向量的余弦重建损失，促使特征表征保留历史推理中的信息。排序模型将新特征与原特征拼接后做交互； 召回模型将它加到用户向量上。用于候选召回时，当前目标物品的信息会被遮蔽，避免把待召回答案暴露给模型。

横轴是推荐 AUC，纵轴是 MMLU 准确率。仅用推荐数据做全参数微调，虽然提高了推荐效果，却明显降低了 MMLU 表现。 这会影响后续教师的选择，因为离线阶段还需要它生成有信息量的推理示例。

论文比较了混合数据、LoRA、加噪微调、表征正则化和权重插值等设置。RecGen 将推荐数据与 LIMA、alpaca-gpt4 指令数据混合， 在这两项评估中取得较好的平衡。这里对通用能力的判断来自 MMLU，图中的证据也应按这两个坐标来理解。

每个子图固定一个骨干模型，三条曲线对应三个数据集。若干曲线从两条增加到四条示例后继续改善， 但不同设置的峰值位置并不相同，也有两条、六条或八条示例表现更好的情况。论文采用四条示例作为效果与计算量之间的实用选择， 并非每条曲线的最优点都在四条。

n4_noc 保持四条示例，但取消正负标签比例约束。它在不同数据集和骨干上的变化方向并不相同。 主实验保留标签平衡设置，以减少检索结果中正标签占比对预测的影响。下面的表格进一步给出排序、召回与消融实验的主要证据。