URM：阿里开发的一种新型推荐系统框架

URM项目简介

Universal Recommendation Model（URM）是由阿里巴巴集团淘宝与天猫团队开发的一种新型推荐系统框架。URM利用大型语言模型（LLMs）的强大能力，通过任务提示将多种推荐任务整合到一个统一的输入输出框架中，无需为每个任务设计专门的模型架构。该模型通过多模态融合模块结合ID嵌入和文本嵌入的优势，同时采用序列到集合的生成方法，显著提升了推荐性能和效率。URM在工业规模数据上展现出与专家模型相媲美的效果，并通过提示工程优化推荐结果，展现了强大的多功能性和适应性。

URM主要功能

1. 多任务推荐：
   • URM能够处理多种推荐任务，如多场景推荐、多目标推荐、偶然性推荐、长尾项目推荐和长期兴趣推荐等，无需为每个任务设计专门的模型。
   • 支持零样本（zero-shot）任务迁移，能够适应新任务和新文本输入，无需额外训练。
2. 高效推荐生成：
   • 通过序列到集合（sequence-in-set-out）的生成方法，URM能够在单次前向传递中生成高质量的推荐集合，显著提高了推荐系统的效率。
   • 支持大规模候选集的高效检索，适用于工业级推荐系统。
3. 语义对齐与个性化：
   • 利用多模态融合模块，结合ID嵌入和文本嵌入的优势，URM能够在保持语义对齐的同时，保留每个项目的特定信息，提升推荐的准确性和多样性。
   • 支持通过提示工程优化推荐结果，能够根据用户行为和上下文生成个性化的推荐。
4. 可扩展性与灵活性：
   • URM基于预训练的大型语言模型（LLMs），具有强大的泛化能力和适应性，能够快速扩展到新的任务和领域。
   • 支持多种提示模板，可以根据不同的推荐任务和场景灵活调整。

URM技术原理

1. 多模态融合模块：
   • ID嵌入与文本嵌入结合：URM通过多模态融合模块将ID嵌入（基于用户行为学习的项目嵌入）和文本嵌入（基于项目标题、描述等文本信息的嵌入）相结合，平衡了区分性和语义对齐。
   • 多模态嵌入生成：通过MLP（多层感知机）将ID嵌入和文本嵌入投影到同一维度，然后通过加法和归一化操作生成最终的多模态项目嵌入。
2. 序列到集合的生成方法：
   • 特殊查询标记：URM在输入序列中引入特殊标记（如[UM]和[LM]），分别用于生成用户嵌入和目标文本，避免了自回归生成中的多次前向计算。
   • 单次前向传递：通过多头用户嵌入（multiple low-dimensional user embeddings）和多模态项目嵌入的内积计算，URM能够在单次前向传递中生成推荐集合。
3. 任务提示与零样本学习：
   • 任务提示定义：URM通过任务提示（prompts）将不同的推荐任务定义为自然语言形式，例如“请推荐与{QUERY}相关的项目”。
   • 零样本任务迁移：利用LLMs的预训练知识和语言生成能力，URM能够处理未见过的任务或新文本输入，实现零样本任务迁移。
4. 高效检索与索引：
   • HNSW索引：为了处理大规模候选集，URM使用HNSW（Hierarchical Navigable Small World）索引进行高效检索，能够在数十亿规模的候选集中快速找到最相关的项目。
   • 多头用户嵌入：通过增加[UM]标记的数量并减少每个用户嵌入的维度，URM能够表达目标项目集合的不同方面，同时保持总输出维度不变。

URM应用场景

1. 多场景推荐：根据不同应用界面或用户行为场景（如首页、搜索页、详情页）提供个性化推荐。
2. 多目标推荐：同时预测用户的多种行为目标，如点击、购买、收藏等。
3. 偶然性推荐：向用户推荐其未曾接触过但可能感兴趣的新类别商品，打破信息茧房。
4. 长尾商品推荐：挖掘并推荐那些不常见但可能符合用户兴趣的低频商品。
5. 长期兴趣推荐：基于用户长期历史行为，推荐符合其长期偏好的商品。
6. 搜索增强推荐：结合用户搜索查询，提供与查询语义最匹配的商品推荐。

URM项目入口

• arXiv技术论文：https://arxiv.org/pdf/2502.03041