One doc tagged with "偏好优化"

摘要：在 LLM 的训练流程中，SFT 教会了模型"说话"，而 DPO（Direct Preference Optimization）则教会了模型"如何得体地说话"。本文将深入浅出地拆解 DPO 的核心原理、数学本质以及它为何能在 2023 年横空出世后迅速取代复杂的 RLHF (PPO)。