论文名：Diffusion for World Modeling:Visual Details Matter in Atari
世界模型为以安全且样本高效的方式训练强化学习智能体提供了一种很有前景的方法。最近的世界模型主要在离散潜在变量序列上运行以模拟环境动力学。然而，这种压缩成紧凑的离散表示可能会忽略对强化学习很重要的视觉细节。与此同时，扩散模型已成为图像生成的主流方法，挑战了对离散潜在变量建模的成熟方法。受这种范式转变的启发，我们引入了 DIAMOND（DIffusion As a Model Of eNvironment Dreams），这是一种在扩散世界模型中训练的强化学习智能体。我们分析了使扩散适合世界建模所需的关键设计选择，并证明了改进的视觉细节如何能够提高智能体的性能。DIAMOND 在竞争激烈的 Atari 100k 基准测试中获得了 1.46 的平均人类归一化分数；这是完全在世界模型中训练的智能体的最新最佳成绩。我们进一步证明，DIAMOND 的扩散世界模型可以作为独立的交互式神经游戏引擎，通过在静态的《反恐精英：全球攻势》游戏玩法上进行训练。为了促进未来关于扩散世界建模的研究，我们发布了我们的代码、智能体、视频和可玩世界模型，网址为 https://diamond-wm.github.io。
