扩散模型 (如 dall-e 2、stable diffusion) 是一类文生图模型，在生成图像 (尤其是有**级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题，即如何确保模型的输出与人类偏好 (如“质感”) 一致，或者与那种难以通过提示来表达的意图一致？这里就有强化学习的用武之地了。
在大语言模型 (llm) 领域，强化学习 (rl) 已被证明是能让目标模型符合人类偏好的非常有效的工具。这是 chatgpt 等系统卓越性能背后的主要秘诀之一。更准确地说，强化学习是人类反馈强化学习 (rlhf) 的关键要素，它使 chatgpt 能像人类一样聊天。
在 training diffusion models with reinforcement learning 一文中，black 等人展示了如何利用 rl 来对扩散模型进行强化，他们通过名为去噪扩散策略优化 (denoising diffusion policy optimization，ddpo) 的方法针对模型的目标函数实施微调。
在本文中，我们讨论了 ddpo 的诞生、简要描述了其工作原理，并介绍了如何将 ddpo 加入 rlhf 工作流中以实现更符合人类审美的模型输出。然后，我们切换到实战，讨论如何使用trl库中新集成的ddpotrainer将 ddpo 应用到模型中，并讨论我们在 stable diffusion 上运行 ddpo 的发现。
ddpo 并非解决如何使用 rl 微调扩散模型这一问题的唯一有效答案。
在进一步深入讨论之前，我们强调一下在对 rl 解决方案进行横评时需要掌握的两个关键点：
计算效率是关键。数据分布越复杂，计算成本就越高。近似法很好，但由于近似值不是真实值，因此相关的错误会累积。在 ddpo 之前，奖励加权回归 (reward-weighted regression，rwr) 是使用强化学习微调扩散模型的主要方法。rwr 重用了扩散模型的去噪损失函数、从模型本身采样得的训练数据以及取决于最终生成样本的奖励的逐样本损失权重。该算法忽略中间的去噪步骤/样本。虽然有效，但应该注意两件事：
通过对逐样本损失进行加权来进行优化，这是一个最大似然目标，因此这是一种近似优化。加权后的损失甚至不是精确的最大似然目标，而是从重新加权的变分界中得出的近似值。所以，根本上来讲，这是一个两阶近似法，其对性能和处理复杂目标的能力都有比较大的影响。
ddpo 始于此方法，但 ddpo 没有将去噪过程视为仅关注最终样本的单个步骤，而是将整个去噪过程构建为多步马尔可夫决策过程 (mdp)，只是在最后收到奖励而已。这样做的好处除了可以使用固定的采样器之外，还为让**策略成为各向同性高斯分布 (而不是任意复杂的分布) 铺平了道路。因此，该方法不使用最终样本的近似似然 (即 rwr 的做法)，而是使用易于计算的每个去噪步骤的确切似然 (
如果你有兴趣了解有关 ddpo 的更多详细信息，我们鼓励你阅读 原** 及其 附带的博文。
考虑到我们用 mdp 对去噪过程进行建模以及其他因素，求解该优化问题的首选工具是策略梯度方法。特别是近端策略优化 (ppo)。整个 ddpo 算法与近端策略优化 (ppo) 几乎相同，仅对 ppo 的轨迹收集部分进行了比较大的修改。
下图总结了整个算法流程：
o rl 流图。
rlhf 的一般训练步骤如下：
有监督微调“基础”模型，以学习新数据的分布。收集偏好数据并用它训练奖励模型。使用奖励模型作为信号，通过强化学习对模型进行微调。需要指出的是，在 rlhf 中偏好数据是获取人类反馈的主要**。
ddpo 加进来后，整个工作流就变成了：
从预训练的扩散模型开始。收集偏好数据并用它训练奖励模型。使用奖励模型作为信号，通过 ddpo 微调模型请注意，ddpo 工作流把原始 rlhf 工作流中的第 3 步省略了，这是因为经验表明 (后面你也会亲眼见证) 这是不需要的。
下面我们实战一下，训练一个扩散模型来输出更符合人类审美的图像，我们分以下几步来走：
从预训练的 stable diffusion (sd) 模型开始。在 美学视觉分析 (aesthetic visual analysis，**a) 数据集上训练一个带有可训回归头的冻结 clip 模型，用于**人们对输入图像的平均喜爱程度。使用美学**模型作为奖励信号，通过 ddpo 微调 sd 模型。记住这些步骤，下面开始干活：
首先，要成功使用 ddpo 训练模型，你至少需要一个英伟达 a100 gpu，低于此规格的 gpu 很容易遇到内存不足问题。
使用 pip 安装trl库。
pip install trl[diffusers]
wandb后，请务必登录以将结果保存到个人帐户。
pip install wandb torchvision
wandb，你也可以用pip安装tensorboardtrl库中负责 ddpo 训练的主要是ddpotrainer和ddpoconfig这两个类。有关ddpotrainer和ddpoconfig的更多信息，请参阅 相应文档。trl**库中有一个 示例训练脚本。它默认使用这两个类，并有一套默认的输入和参数用于微调runwayml中的预训练 stable diffusion 模型。
此示例脚本使用wandb记录训练日志，并使用美学奖励模型，其权重是从公开的 hugging face 存储库读取的 (因此数据收集和美学奖励模型训练均已经帮你做完了)。默认提示数据是一系列动物名。
用户只需要一个命令行参数即可启动脚本。此外，用户需要有一个 hugging face 用户访问令牌，用于将微调后的模型上传到 hugging face hub。
运行以下 bash 命令启动程序：
python stable_diffusion_tuning.py --hf_user_access_token
这个脚本仅仅是一个起点。你可以随意调整超参数，甚至彻底修改脚本以适应不同的目标函数。例如，可以集成一个测量 jpeg 压缩度的函数或 使用多模态模型评估视觉文本对齐度的函数 等。
尽管训练提示很少，但其结果似乎已经足够泛化。对于美学奖励函数而言，该方法已经得到了彻底的验证。尝试通过增加训练提示数以及改变提示来进一步泛化美学奖励函数，似乎反而会减慢收敛速度，但对模型的泛化能力收效甚微。虽然推荐使用久经考验 lora，但非 lora 也值得考虑，一个经验证据就是，非 lora 似乎确实比 lora 能产生相对更复杂的图像。但同时，非 lora 训练的收敛稳定性不太好，对超参选择的要求也高很多。对于非 lora 的超参建议是： 将学习率设低点，经验值是大约1e-5，同时将mixed_ precision设置为none。以下是提示bearhe**en和dune微调前 (左) 、后 (右) 的输出 (每行都是一个提示的输出):
目前trl的ddpotrainer仅限于微调原始 sd 模型；在我们的实验中，主要关注的是效果较好的 lora。我们也做了一些全模型训练的实验，其生成的质量会更好，但超参寻优更具挑战性。像 stable diffusion 这样的扩散模型，当使用 ddpo 进行微调时，可以显著提高图像的主观质感或其对应的指标，只要其可以表示成一个目标函数的形式。
ddpo 的计算效率及其不依赖近似优化的能力，在扩散模型微调方面远超之前的方法，因而成为微调扩散模型 (如 stable diffusion) 的有力候选。
trl库的ddpotrainer实现了 ddpo 以微调 sd 模型。
我们的实验表明 ddpo 对很多提示具有相当好的泛化能力，尽管进一步增加提示数以增强泛化似乎效果不大。为非 lora 微调找到正确超参的难度比较大，这也是我们得到的重要经验之一。
ddpo 是一种很有前途的技术，可以将扩散模型与任何奖励函数结合起来，我们希望通过其在 trl 中的发布，社区可以更容易地使用它！
感谢 chunte lee 提供本博文的缩略图。
英文原文：原文作者： luke meyers，sayak paul，kashif rasul，leandro von werra
译者： matrix yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。
审校/排版： zhongdongy (阿东)
电动阀门执行器在中央空调使用中发挥哪些作用？
随着 空调在各行各业越来越广泛的应用，电动阀门执行器也成为了 空调系统中不可或缺的一部分。那么，电动阀门执行器在 空调使用中发挥了哪些作用呢？首先，电动阀门执行器可以控制 空调水系统的水流量。空调系统中的水流量是通过电动阀门的开启和关闭来控制的。当室内温度高于设定温度时，电动阀门执行器会打开阀门，使...
气动调节阀在核电厂中的使用及常见问题分析
一 引言。气动调节阀作为一种重要的控制设备，在核电厂中发挥着至关重要的作用。然而，在实际使用中，气动调节阀可能会出现一些常见问题，这些问题可能会影响核电厂的正常运行。本文将分析气动调节阀在核电厂中的使用及常见问题，并提出相应的解决方案。二 气动调节阀的原理及特点。气动调节阀是一种以压缩空气为动力源的...
空气源热泵空调在使用过程中需要注意什么？
为了更好的了解空气源热泵空调的优点，提高设备的寿命和稳定性，建议在使用过程中过程中注意以下几点 .合理选择型号和规格。在选择空气源热泵空调时，需要根据自己的需求和环境条件来选择合适的型号和规格。如果设备选型不当或安装位置不。合理，会影响到设备的制冷效果和寿命。.定期清洗和维护。定期清洗和维护是保证空...