拡散モデル(Diffusion Models)

拡散モデル(Diffusion Models)
拡散モデルは、マルコフ連鎖(未来の挙動が現在の値だけで決定され、過去の挙動と無関係)に依存して、低解像度画像ペアから高解像度画像ペアへの段階的な移行をモデル化する生成モデルです。 これらは、推論/予測時間よりも品質に重点を置く超解像度アプリケーション向けの有望な技術として浮上しています。 それらはすでに降水量のダウンスケールに適用されています。拡散モデル (多くの場合、U-Net アーキテクチャを備えています) のトレーニングは、低解像度画像と高解像度画像のペアで構成されるデータセットから始まります。 低解像度データは、最初はノイズ レベルが徐々に増加するため不明瞭になります。 モデルの目的は、現在のノイズの多い表現に基づいて拡散プロセスの次のステップを予測することです。 拡散モデルは、「モデル崩壊」として知られる問題があることが知られている GAN と比較して、トレーニングが安定性します。 拡散モデルは、画像合成においても GAN のパフォーマンスを上回りことが示されています。 ただし、トレーニングや推論に長時間かかるなど、重要な課題が残っています。

コメント：拡散モデル（ディフュージョンモデル）では、元の画像にノイズを徐々に加えて完全ランダムノイズ画像を生成し（拡散過程）、完全ランダムノイズ画像からノイズを徐々に除去して画像を生成（逆拡散過程）することを目的としています。トレーニング時間の問題については、時間を短縮するための手法も開発されています。「Stable Diffusion」でも利用されており、テキストエンコーダーと拡散モデルを連結することにより、”Text to Image”、文章から画像を生成することも可能になりました。その手法は画期的で広く注目されていることから、画像生成分野では今後主流になることが予想されます。ダウンスケーリングでの利用については、現状ではパフォーマンスが十分でなく(研究事例が少なく、適切に設定がされていないだけかもしれません)、課題も多そうですが、拡散モデル手法が急速に開発が進むと想定されることから今後の発展が期待されます。

https://ja.stability.ai/stable-diffusion
https://arxiv.org/abs/2112.10752
Addison, H., Kendon, E., Ravuri, S., Aitchison, L., & Watson, P. A. (2022). Machine learning emulation of a local-scale uk climate model. arXiv preprint arXiv:2211.16116. https://arxiv.org/pdf/2211.16116.pdf