PPO算法的pipeline冗长涉及四个模型资源消耗大且训练极其不稳定。DPO是斯坦福团队基于PPO推导出的优化算法去掉了RW训练和RL环节只需要加载一个推理模型和一个训练模型直接在偏好数据上进行训练即可损失函数如下L D P O ( π θ ; π r e f ) − E ( x , y w , y l ) ∼ D [ log σ ( β log π θ ( y w ∣ x ) π r e f ( y w ∣ x ) − β log π θ ( y l ∣ x ) π r e f ( y l ∣ x ) ) ] \mathcal{L}_{\mathrm{DPO}}\left(\pi_\theta ; \pi_{\mathrm{ref}}\right)-\mathbb{E}_{\left(x, y_w, y_l\right) \sim \mathcal{D}}\left[\log \sigma\left(\beta \log \frac{\pi_\theta\left(y_w \mid x\right)}{\pi_{\mathrm{ref}}\left(y_w \mid x\right)}-\beta \log \frac{\pi_\theta\left(y_l \mid x\right)}{\pi_{\mathrm{ref}}\left(y_l \mid x\right)}\right)\right]LDPO(πθ;πref)−E(x,yw,yl)∼D[logσ(βlogπref(yw∣x)πθ(yw∣x)−βlogπref(yl∣x)πθ(yl∣x))]可以拆成两部分来看最大化好答案的奖励值max log π θ ( y w ∣ x ) π r e f ( y w ∣ x ) \text{max} \log \frac{\pi_\theta\left(y_w \mid x\right)}{\pi_{\mathrm{ref}}\left(y_w \mid x\right)}maxlogπref(yw∣x)πθ(yw∣x)最小化好答案的奖励值min log π θ ( y l ∣ x ) π r e f ( y l ∣ x ) \text{min} \log \frac{\pi_\theta\left(y_l \mid x\right)}{\pi_{\mathrm{ref}}\left(y_l \mid x\right)}minlogπref(yl∣x)πθ(yl∣x)两部分组合就是DPO的公式了。DPO在理解难度、实现难度和资源占用都非常友好想看具体的公式推导见[论文笔记]DPODirect Preference Optimization: Your Language Model is Secretly a Reward ModelDPO的缺陷DPO 为什么要用同分布数据在搞 DPO 时很多人会踩一个坑拿 GPT-5 的数据去 DPO 一个 7B 的小模型结果发现效果并不好。为什么这里就涉及到一个核心概念同分布On-Policy / Near-Policy。通俗点说DPO 的数据最好是自己改自己的错题集。别人的错题分布差异大如果你拿 Gemini3 Pro 生成的“坏答案”给 7B 小模型看小模型可能会一脸懵逼“这句坏答案写得文采飞扬、逻辑复杂有没可能虽然它是错的但我本来就写不出来啊”既然模型本来生成这句话的概率就极低那你再去压低它的概率对模型来说就是无效补课梯度几乎为 0。自己的错题同分布只有拿模型自己或者能力相近的模型生成的坏答案它才会恍然大悟“哎呀这确实是我经常忍不住想说的那句蠢话原来这是错的我改”所以DPO 想要效果好最好是用当前模型去采样数据然后让人类或强模型去标注好坏。这种量身定做的错题集才是提分的关键。参考看完能和外婆解释的PPO, DPO, GRPO强化学习Direct Preference Optimization:Your Language Model is Secretly a Reward ModelDPO: Direct Preference Optimization 论文解读及代码实践
)
