💬 观点Eugene Yan
Training an LLM-RecSys Hybrid for Steerable Recs with — 用语义ID训练LLM
用语义ID训练LLM-推荐系统混合模型,实现无需检索的可控推荐
2025-09-14原文
本文为要点摘要,完整细节以原文为准。
🧭 一图看懂
由原文自动提炼 · 以原文为准点击任一分支,查看这一点的一句话解读
用语义ID训练LLM推荐混合模型
把商品编码成语义ID,作为LLM词表的一部分,训练出双语模型
- 扩展词表加入<|sid_0|>等语义ID token
- 模型既能推荐又能用自然语言对话
- 可对话式操控推荐并解释理由
⚙️ 流程拆解
STEP 1扩展LLM词表加入语义ID
STEP 2继续预训练学习ID与商品关系
STEP 3在用户行为序列上微调
STEP 4模型生成语义ID推荐商品
STEP 5用自然语言对话操控推荐
🔗 涉及的概念与玩家
- Semantic IDs概念
- RQ-VAE模型
- LLM概念
- Amazon Reviews 2023产品
- eugeneyan人物
- recsys概念
- RQ-VAE—生成→Semantic IDs
- LLM—使用→Semantic IDs
- eugeneyan—使用→RQ-VAE
- eugeneyan—使用→Amazon Reviews 2023
- LLM—结合→recsys
本文探讨了如何训练一个能同时理解自然语言和语义ID的LLM,使其无需依赖传统检索系统就能生成推荐。
- 语义ID作为物品的紧凑表示:将物品编码为简短、有序的字符串(如“A1B2”),使LLM能直接处理ID序列,无需额外工具。
- LLM学习ID与描述的映射:模型通过训练理解语义ID对应的物品特征(如“科幻电影”),实现基于ID的推荐推理。
- 混合模型支持自然语言引导:用户可用自然语言(如“推荐轻松喜剧”)与模型交互,模型结合语义ID库生成个性化推荐。
原文:Training an LLM-RecSys Hybrid for Steerable Recs with Semantic IDs · 作者 Eugene Yan
🕸 顺着图谱继续读
- AI Engineer 2025 - Improving RecSys & Search with LLM — Eugene Yan 分享 2025 年 AI 工程师如何用 LLM 技术提升推2025-06-04 · 共同涉及 recsys、LLM
- How to Work and Compound with AI — AI 时代如何高效工作与复利增长:五大核心原则解析2026-05-03 · 共同涉及 eugeneyan
- Advice for New Principal Tech ICs (i.e., Notes to — 亚马逊资深技术专家分享晋升后如何保持技术影响力、平衡管理与执行,值得新晋Prin2025-10-19 · 共同涉及 eugeneyan
- llm-anthropic 0.29 — Simon Willison 发布 llm2026-09-22 · 共同涉及 LLM