Meta 如何利用生成式模型提升推荐系统
Meta，作为 Facebook、Instagram、WhatsApp 和 Threads 等平台的母公司，拥有全球最大的推荐系统之一。最近，Meta 的研究人员发表了两篇论文，揭示了生成式模型如何被用于更好地理解和响应用户意图。
通过将推荐视为一个生成式问题，研究人员可以采用更丰富、更有效的方式来解决这一问题，超越传统方法。这种方法对于需要检索文档、产品或其他类型对象的任何应用程序都具有重要意义。
传统的推荐系统通常依赖于计算、存储和检索文档的密集表示。例如，为了向用户推荐商品，应用程序需要训练一个模型，该模型可以计算用户和商品的嵌入。然后，它需要创建一个庞大的商品嵌入存储库。
在推理阶段，推荐系统通过查找与用户嵌入相似的商品嵌入来理解用户的意图。然而，随着商品数量的增长，这种方法需要越来越多的存储和计算能力，因为每个商品嵌入都需要存储，并且每次推荐操作都需要将用户嵌入与整个商品存储库进行比较。
生成式检索是一种更现代的方法，它试图通过预测序列中的下一个商品来理解用户意图并进行推荐，而不是搜索数据库。生成式检索不需要存储商品嵌入，并且其推理和存储成本随着商品数量的增长而保持不变。
生成式检索的关键在于计算“语义 ID”（SID），其中包含每个商品的上下文信息。像 TIGER 这样的生成式检索系统分为两个阶段。首先，训练一个编码器模型，根据商品的描述和属性为每个商品创建唯一的嵌入值。这些嵌入值成为 SID，并与商品一起存储。
在第二阶段，训练一个 Transformer 模型来预测输入序列中的下一个 SID。输入 SID 列表代表用户与过去商品的交互，模型的预测是推荐商品的 SID。生成式检索减少了存储和搜索单个商品嵌入的需求。它还增强了捕获数据中更深层语义关系的能力，并提供了生成式模型的其他优势，例如修改温度以调整推荐的多样性。
尽管存储和推理成本较低，但生成式检索也存在一些局限性。例如，它容易过度拟合训练期间见过的商品，这意味着它难以处理模型训练后添加到目录中的商品。在推荐系统中，这通常被称为“冷启动问题”，指的是没有交互历史的新用户和商品。
为了解决这些缺点，Meta 开发了一种名为 LIGER 的混合推荐系统，它将生成式检索的计算和存储效率与密集检索的强大嵌入质量和排序能力相结合。
在训练期间，LIGER 使用相似度得分和下一个标记目标来改进模型的推荐。在推理期间，LIGER 根据生成机制选择几个候选商品，并用一些冷启动商品补充它们，然后根据生成候选商品的嵌入对它们进行排序。
研究人员指出，“密集检索和生成式检索方法的融合为推荐系统的进步提供了巨大的潜力”，随着模型的不断发展，“它们将变得越来越实用，适用于现实世界的应用，从而提供更加个性化和响应式的用户体验。”
在另一篇论文中，研究人员介绍了一种名为“多模态偏好辨别器”（Mender）的新型多模态生成式检索方法，该方法可以使生成式模型从用户的不同商品交互中获取隐式偏好。Mender 基于 SID 的生成式检索方法，并添加了一些组件，可以将用户的偏好融入推荐中。
Mender 使用大型语言模型（LLM）将用户交互转换为具体的偏好。例如，如果用户在评论中赞扬或抱怨某个特定商品，模型会将其概括为对该产品类别的偏好。
主要的推荐模型经过训练，在预测输入序列中的下一个语义 ID 时，既要考虑用户交互序列，也要考虑用户偏好。这使推荐模型能够进行泛化和上下文学习，并在没有明确训练的情况下适应用户偏好。
研究人员写道：“我们的贡献为一类新的生成式检索模型铺平了道路，这些模型能够利用有机数据，通过文本形式的用户偏好来引导推荐。”
生成式检索系统提供的效率对企业应用程序具有重要意义。这些进步转化为直接的实际益处，包括降低基础设施成本和加快推理速度。该技术能够在目录规模不断增长的同时保持恒定的存储和推理成本，使其对成长型企业特别有价值。
这些益处遍及各个行业，从电子商务到企业搜索。生成式检索仍处于早期阶段，随着其不断成熟，我们可以期待应用程序和框架的出现。
