精选今天0 投票
用人类偏好与解释训练安全智能体：DROPJ 方法通过世界模型实现
核心结论
在安全关键环境中，传统强化学习（RL）常因缺乏明确奖励函数而难以应用。最新研究提出 DROPJ（Dynamic Reward from Online Preferences and Justifications）方法，通过世界模型结合人类偏好与解释，实现智能体的安全训练与部署。实验表明，该方法不仅降低了计算成本，还能显著提升部署性能与安全性。
方法解读
DROPJ 的核心流程分为三步：
- 学习世界模型：从真实环境轨迹数据中训练一个模拟器，用于后续人类交互与策略优化。
- 人类反馈采集：让用户在模拟器中“玩游戏”，生成若干信息丰富的模拟轨迹。然后从这些轨迹中抽取片段对，要求人类提供偏好选择（哪个更安全/更优）以及解释（为什么这样选）。
- 奖励建模与部署：基于带解释的偏好数据训练奖励模型，并结合世界模型使用**模型预测控制（MPC）**直接部署智能体，无需额外在线训练。
关键发现
- 计算效率：从用户生成的模拟轨迹中采样，相比其他策略（如随机探索）可大幅降低训练时的计算成本。
- 性能优势：使用偏好反馈（而非数值评分或演示）能显著提升部署时的任务性能。
- 安全性增强：偏好附带的安全解释可有效引导智能体遵循用户指定的安全规则，例如“避免靠近悬崖”或“优先减速而非急刹”。
行业背景与意义
当前 RL 在自动驾驶、医疗机器人等安全领域面临两大挑战：一是环境动力学未知，二是难以形式化安全约束。DROPJ 提供了一条人机协同的路径——让人类以自然语言解释偏好，既降低了标注成本，又保留了安全先验知识。这与近年来 RLHF（基于人类反馈的强化学习）的趋势一致，但 DROPJ 更强调世界模型作为中间层，使训练过程更可控且可解释。
局限与展望
论文指出，方法依赖人类在模拟器中生成高质量轨迹，且解释的语义理解尚需改进。未来可探索多模态反馈（如视觉注意力）或自动化解释生成，以扩大应用范围。