地域気候モデルエミュレータ(RCM emulator)

RCM emulatorでは、力学的ダウンスケーリングで用いられるRCMをエミュレートするとこを目的としています。比較的単純な統計アルゴリズムとMLアルゴリズムを使用したいくつかの研究では、RCMを効果的にエミュレートし、学習データの分布外の将来の気候予測を再現する能力があることを示しています。 これらの研究は、複雑さが必ずしも有効性の前提条件ではなく、これらの方法の解釈可能性と柔軟性が、より複雑な代替方法を上回る場合があることを強調しています。 最も重要なことは、これらの実験は、より高度なアルゴリズムを評価するためのベンチマークを提供するだけでなく、通常より多くの計算リソースを必要とする深層学習アルゴリズムの効率を向上させる可能性を示しています。最近、RCM エミュレーションにコンピュータービジョンアルゴリズム(コンピュータが画像や動画を理解し処理を自動化するアルゴリズム)を使用する移行が行われています。 これらには、CNNやU-Netなどの CNN ベースのアーキテクチャやGANおよび最近の拡散モデルが含まれます。地表付近の温度、降水量、蒸発散量など、さまざまな変数がエミュレートされています。観測を使用して直接将来を評価することは実現できませんが、将来と過去の両方の気候にアクセスできる観測の代わりに、GCM/RCM シミュレーションを利用して分布外テストや実験を実施することは可能です。 このような実験は、観測データに基づいてトレーニングされたダウンスケーリング アルゴリズムにおける潜在的な問題の検出に役立つ疑似現実実験として知られています。これらの実験の大部分は従来の統計的アプローチを使用して実行されますが、コンピュータービジョンアルゴリズムに焦点を当てたものはほんのわずかです。特定の疑似現実シミュレーションを使用すると、さまざまな問題を調査するためにさまざまな理想化された実験を実行できます。「完全モデル」または「真実としてのモデル」としても知られるこのような擬似現実実験の例には、「擬似観測された」予測量と擬似空間の RCM/GCM から導出された予測子を使用した定常性テストまたは領域適応実験が含まれます。 これらの実験の実現可能性は、トレーニング用の幅広いシミュレーションが利用できるかどうかに依存しますが、一部の地域、特にRCM シミュレーションではこれが不可能な場合があることに注意してください。

コメント:RCM emulatorの大きな利点の一つは、物理に基づいた将来気候のダウンスケーリングを計算コストの高いRCMに代わって高速で実行できることです。経験的手法では、トレーニングで使用したデータ分布の範囲外(例えば将来気候の気温など)については、現在気候分布を前提とした外挿に依存しており、推定結果が適切かどうか判断することが大変難しいです。それに対して、RCM emulatorでは将来予測値に一定の合理性があります。一方で、本論文のFigure1に示されているように、RCM での解像度や物理過程により、全球気候モデル(GCM)と異なる降水分布が形成されることもあり、これらの違いを機械学習で適切に認識し推定できるのか十分に検証を行う必要があります。また、RCM の降水過程などの物理プロセスを変更することにより、それぞれで降水分布が大きく異なるケースもあります。特定のRCM/GCM ペア、特定の物理ブロセスのみで作動するエミュレータになることも想定されます。基本的に、全球気候モデルと同様にRCMもバイアスがあり、気候影響評価にそのまま利用することが困難になる場合も考えられます。また、解像度が十分でない場合は強雨を過小評価することが示されています。そのため、何らかのバイアス補正法を組み込む必要があるかもしれません。バイアス補正に観測値を取り入れるとエミュレータの利点が失われるため、超高解像度RCMの出力値を用いる方法も考えられますが、計算コストが膨大になることが懸念されます。しかし、RCM の様々な問題点を承知の上でRCM emulatorを使用する(例えば大量の全球気候モデルアンサンブルシミュレーションのダウンスケーリングを実施する)場合に、極めて高いパフォーマンスを発揮します。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

拡散モデル(Diffusion Models)

拡散モデル(Diffusion Models)
拡散モデルは、マルコフ連鎖(未来の挙動が現在の値だけで決定され、過去の挙動と無関係)に依存して、低解像度画像ペアから高解像度画像ペアへの段階的な移行をモデル化する生成モデルです。 これらは、推論/予測時間よりも品質に重点を置く超解像度アプリケーション向けの有望な技術として浮上しています。 それらはすでに降水量のダウンスケールに適用されています。拡散モデル (多くの場合、U-Net アーキテクチャを備えています) のトレーニングは、低解像度画像と高解像度画像のペアで構成されるデータセットから始まります。 低解像度データは、最初はノイズ レベルが徐々に増加するため不明瞭になります。 モデルの目的は、現在のノイズの多い表現に基づいて拡散プロセスの次のステップを予測することです。 拡散モデルは、「モデル崩壊」として知られる問題があることが知られている GAN と比較して、トレーニングが安定性します。 拡散モデルは、画像合成においても GAN のパフォーマンスを上回りことが示されています。 ただし、トレーニングや推論に長時間かかるなど、重要な課題が残っています。

コメント:拡散モデル(ディフュージョンモデル)では、元の画像にノイズを徐々に加えて完全ランダムノイズ画像を生成し(拡散過程)、完全ランダムノイズ画像からノイズを徐々に除去して画像を生成(逆拡散過程)することを目的としています。トレーニング時間の問題については、時間を短縮するための手法も開発されています。「Stable Diffusion」でも利用されており、テキストエンコーダーと拡散モデルを連結することにより、”Text to Image”、文章から画像を生成することも可能になりました。その手法は画期的で広く注目されていることから、画像生成分野では今後主流になることが予想されます。ダウンスケーリングでの利用については、現状ではパフォーマンスが十分でなく(研究事例が少なく、適切に設定がされていないだけかもしれません)、課題も多そうですが、拡散モデル手法が急速に開発が進むと想定されることから今後の発展が期待されます。

https://ja.stability.ai/stable-diffusion
https://arxiv.org/abs/2112.10752
Addison, H., Kendon, E., Ravuri, S., Aitchison, L., & Watson, P. A. (2022). Machine learning emulation of a local-scale uk climate model. arXiv preprint arXiv:2211.16116. https://arxiv.org/pdf/2211.16116.pdf

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

敵対的生成ネットワーク(GAN)

Generative Adversarial Networks (GAN) は近年開発された機械学習手法であり、コンピューター ビジョン、医療画像などの多くの分野で広く採用されています。 特に、条件付きGAN (c-GAN) として知られる手法は、低解像度の入力画像 (条件) から高品質 (現実的に見える)の高解像度画像を生成することに成功しています。 他の CNNアーキテクチャ (U-Net など) では同等のパフォーマンスが得られない場合があります。 ダウンスケーリングでは、c-GANアーキテクチャは 2 つの主要部分で構成されます。1 つは入力 (条件) 値の「低解像度」の気象場から高解像度の気象場を作成することを目的としたジェネレーター、もう 1 つは生成された画像が本物 (グラウンドトゥルース) か偽物 (ジェネレーターによって生成された合成の高解像度画像) を分類するディスクリミネーターです。 GANの目的は、識別子をだまして本物だと信じ込ませることができる、非常に「現実的な」画像を作成するジェネレーターをトレーニングすることです。GAN では、敵対的損失として知られる項が追加され、アルゴリズムの出力に固有の「現実性」制約を加えます。 c-GANは、物理的な一貫性よりも知覚的なリアリズムが優先されます。これは、結果として得られるダウンスケーリング推定値が必ずしも物理法則に準拠しているとは限らないことを意味します。

コメント:Google、Alphabetの子会社であるDeepMind社が開発したNowcastingシステムにも採用されている手法で、従来のU-Netモデルよりも降水分布特性の予測精度が大幅に向上しました。見た目も観測とよく似ており、前線の全体的な特性がよく推定されています。しかし、これも詳細に見ると新たに発生する降水域の推定が難しく、降水帯の移動もズレが生じています。このような高度な手法を使っても、既存の手法(例えば、気象庁のナウキャスティングに用いられているパターンマッチング法:外挿予報)と比較して予測精度が良くならなければ現業で採用しにくく、さらなる手法の改良が必要になるでしょう。また、単に「見た目」ではなく、ダウンスケーリングされた画像が物理的に整合することを示す必要があります。実際の気象現象の特性を把握した上で十分に比較検証を行い、手法の適用限界を明確にすることが重要になります。

https://deepmind.google/discover/blog/nowcasting-the-next-hour-of-rain/
Ravuri, Suman, et al. “Skilful precipitation nowcasting using deep generative models of radar.” Nature 597.7878 (2021): 672-677.

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

U-Net (エンドツーエンド畳み込みアーキテクチャ)

エンコーダを用いて特徴を抽出(畳み込み)し、逆畳み込み(デコンボリューション)処理を行い、入力画像と同じサイズの確率マップを出力します。U-Net アーキテクチャは、図4c に示すように、CNNアーキテクチャとはわずかに異なり、U字型の設計が特徴です。 これは、特徴抽出のための縮小パス (潜在空間ベクトルへの入力の次元を削減) と、抽出された特徴 (潜在空間ベクトル) から高解像度画像が生成される拡張パスで構成されます。 U-Net は、ニューラルネットワークを使用して最終的な高解像度出力を予測するのではなく、ダウンスケーリングに畳み込み層 (多くの場合、空間解像度を上げるためのアップサンプリング層) を使用します。 U-Net アーキテクチャと他のエンドツーエンド CNNアーキテクチャの主な違いは、長距離スキップ接続にあります。 ここでは、縮小パスの複数の段階での中間出力が拡張パスと混合 (または連結) されます。

コメント:U-Netはセグメンテーション(画像をいくつかの対象物に分類)手法の一つとして開発されたもので、画像の重なりや境界を識別することを目的としています。U-netはセマンティックセグメンテーション(全ての画素に対して予測する手法)の1つで、降水分布の空間特性をより明瞭に推定することが期待されます。例えば、前線帯の全体構造が不自然にならないように推定が可能になると想定されます。降水短時間予報(Nowcasting)にも多く用いられている手法で、最近の研究では前線帯の特性をかなりよく推定できるようになっています。しかし、細かく見ると1~2時間先の予報でも降水の範囲や強さにズレが生じており、降水予測の難しさが示唆されます。 最近では、ダウンスケーリングに採用した研究例も多くなっています。ただし、従来の統計的ダウンスケーリング手法である分位マッピング手法と比較してパフォーマンスの向上が見られないケースもあり、ダウンスケーリング手法としては発展途上なのかもしれません。

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).


Zhang, Y., Long, M., Chen, K., Xing, L., Jin, R., Jordan, M. I., & Wang, J. (2023). Skilful nowcasting of extreme precipitation with NowcastNet. Nature, 619(7970), 526-532.


Yu, Shuang, et al. “UFNet: Joint U-Net and fully connected neural network to bias correct precipitation predictions from climate models.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

畳み込みニューラルネットワーク (CNNs)

深層学習技術により、単一のアルゴリズムを学習して、対象領域全体をシームレスにダウンスケールができるようになりました。従来の手法では、「最適」なダウンスケーリングを実施できるように、特徴ベクトルを手動で選択する必要がありました。しかし、畳み込みニューラル ネットワーク (CNN)では、どの情報を組み込むのかを手動で決定する必要がありません。 Rampal et al. (2024)のFig.4bで示すように、CNN 出力は、降雨の確率 (p)、ガンマ分布からの形状 (α) およびスケール (β) パラメーターの 3 つの層で構成されます。各出力層のニューロンの数は、その上のグリッド セルの数と等しくなります(本論では。これらのパラメーターは、ニュージーランド上空の5kmの各格子における1日の累積降雨量を予測するために使用されます)。

コメント:本論でも述べられているように、サポートベクターマシンやランダムフォレスト等と異なり、深層学習(CNN)では特徴ベクトル(説明変数)を設定する必要はなく、画像から自動的に特徴を取り出し、各グリットポイント毎に推定を行うことが可能になります。一般的に計算量が多くなりますが、より高精度での推定が期待されます。ただし、Fig.4bに示されているように元の画像の2次元データを最終的に1次元データにして推定を行うため、物体の形状などの位置情報が失われます。各グリッド間の関係性が失われるため、例えば前線帯などの空間構造が不自然になることが懸念されます。空間構造を正確に推定するには、セグメンテーションなどの手法が必要になります。

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

超解像(SR)手法

医療画像処理や衛星画像処理などで注目を集めている技術ですが、気候ダウンスケーリングでも適用例が多くなっています。SRダウンスケーリングは、降水量などの低解像度画像自体を単独で使用して高解像度画像を推定するPPの特殊なケースとみなすことができます。SRダウンスケーリング アルゴリズムは、PPなど従来の観測ダウンスケーリング手法 アプローチよりも優れたパフォーマンスを示すことも示されています。 Vandal et al., (2017) によって導入されて以来、様々な地域でSR ダウンスケーリングが実装されてきました。 SRでは、エンドツーエンドの CNNアーキテクチャを使用した場合に、パフォーマンスが向上することがいくつかの研究で示されています。残差層(Residual layers)とスキップ接続(skip connections)を使用すると、特により深いネットワークでの勾配の消失などの問題に効果的に対処できるため、学習の向上に貢献できます 。 さらに、エンドツーエンドCNNアーキテクチャ (U-Net など) が改善され、再帰層(recurrent layers)を使用してアルゴリズムが複数の時間的および空間的スケールにわたる気候の関係を学習できるようになりました。

コメント:画像内の特徴から関係性を推定して高解像度化する手法で、人が理解しやすい単純な因果関係よりも見た目の関係性を重視しています。理由はよくわからないが、こうすればうまくいくといった匠の技(職人の直感)のようなものを習得する手法と考えることもできるかもしれません。気候ダウンスケーリングについては、現在気候に適用する研究事例は多くありますが、気候変動(将来気候)に適用できるのか、極端現象の推定に利用できるのか、よく分かっていません。また、機械学習モデルが複雑になるほど、問題が起こった時に対処することが難しくなります。様々なケースに適用して、堅牢性、信頼性、透明性を示していくことが不可欠になります。

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

完全予報(PP)手法

観測値を用いる方法は、観測を行う特定の場所にダウンスケーリングします。PP手法には多くの利点があります。まず第一に、単純で解釈可能であり、複雑なアルゴリズムに比べて必要なトレーニング データが少なくなります。 そのシンプルさと解釈可能性により、意思決定のための根拠を明確に理解でき、様々なエンドユーザーの要望に合わせて簡単に設計できます。 満足のいくパフォーマンスを得るのに、複雑なアルゴリズム (たとえば、CNN等の極めて高度なアルゴリズム) が必ずしも必要というわけではありません。 場合によっては、単純なダウンスケーリング アルゴリズムの方が学習の「分布外」を推定するパフォーマンスが向上することがよくあります。 第二に、空間推移性(spatial transitivity)が可能になります。 ある地点で開発されたアルゴリズムを、ラベル (予測値) が利用できない別の地点に適用できるようになります。 一方で、広範囲にこの手法を適用する場合に、力学的ダウンスケーリングよりもはるかに効率的ではあるものの、計算コストが高くなる可能性があります。 また、説明変数の選択によって、将来の気候予測、特に気候変動シグナルを大きく変える可能性があります。

コメント:PP手法では、例えば降水を推定する場合、一般的には降水に関係がありそうな変数を説明変数として選択しますが、それは必ずしもダウンスケーリングに最適な変数とは限りません。対象地点と関係が大きい局所的な影響を反映した変数を採用したほうがパフォーマンスが良くなる可能性があります。多くの変数からそれを見つけ出すのは極めて難しいかもしれません。深層学習を使う場合でも、計算量が膨大になることを避けるために、入力データをある程度人が判断して選択する必要があります。機械学習技術の発展により人への依存度が小さくなると想定されますが、現状では全てを機械学習に依存できないため、人の介入がパフォーマンス向上の妨げになるかもしれません。

カテゴリー: Uncategorized | コメントする

機械学習を用いたダウンスケーリング

機械学習を用いたダウンスケーリングでは、目的変数に観測値を用いる方法と数値モデルの出力値を用いる方法があります。観測値を用いる方法では、完全予報 (Perfect prognosis: PP)、超解像 (Super-Resolution: SR)、気象ジェネレーター (Weather generator: WG)、およびモデル出力統計 (Model Output Statistics: MOS) の4 つの方法に分けられます。PPは全球気候モデルスケール (~100 km) の低解像出力値と局所スケールの観測値 ( 降雨量など)の関係性からダウンスケーリング推定値を求めます。通常、説明変数となる全球気候モデル出力値は、複数の要素の組み合わせ(温度、風、湿度など)で構成されます。例えば、降水量を推定する場合、降水に関係がありそうな複数の要素を説明変数として採用します。関係性の説明が比較的容易であり、以前から多くの研究が行われています。SRは、低解像画像と高解像画像の関係性を学習し、低解像画像から高解像画像を推定する手法であり、画像処理技術を応用した方法として医療や衛星画像処理などに一般に広く利用されています。WGは、対象要素の時空間ダイナミクス、相関構造、持続性、自然変動を正確に再現することを目的として、確率統計モデルを用いてモデル予測値などから合成された様々な天気パターンを作成します。MOSは、観測値と全球気候モデルの統計量の関係性を用いて全球気候モデルの出力値を直接バイアス補正します。代表的な手法として分位マッピング法があります。一方、数値モデルの出力値を用いる方法はRCMエミュレータと呼ばれており、力学的ダウンスケーリングで用いる数値モデル(Regional climate model: RCM)の出力値をエミュレート(模倣)することにより、実際に数値モデルを作動させるより遥かに高速でダウンスケーリングを行います。最近では、畳み込みニューラル ネットワーク(CNNs)、 U-Net、 敵対的生成ネットワーク(Generative Adversarial Networks: GAN)、拡散モデル(Diffusion Models)、コンピュータービジョン(computer-vision algorithms) などの高度な深層学習を用いて高精度の推定値を求める試みが行われています。一方で、各手法にそれぞれ問題点や課題があります。

気象庁 ガイダンスの開発と運用
https://www.jma.go.jp/jma/kishou/books/nwpreport/64/chapter3.pdf

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 気候変動, 高解像度 | コメントする

気候変動予測の高解像度化と問題点

温暖化予測に用いられる全球気候モデルは、洗練され精巧に作られているものの計算機資源の制約から空間分解能が極めて低く、地域レベルの気候変化の再現が困難です。局地地形に大きく影響される降水イベントによる洪水のリスク評価や水資源量予測評価等には全球気候モデルの高解像度化が必要とされています。現在、「ダウンスケーリング」と呼ばれるモデル出力値を高解像度化する手法が開発されています。ダウンスケーリングは大きく分けて2種類あり、一つは「力学的ダウンスケーリング」と呼ばれている手法で、対象領域の一部を高解像度化した数値モデルを全球気候モデル出力値に適用して計算を実施します。数値モデルは物理に基づいているため、全球気候モデルと整合しており、結果の解釈が比較的容易である反面、(領域の一部であっても)数値モデルの高解像度化により計算コストが膨大になります(例えば、100kmから10kmへのダウンスケーリングの場合、約1000倍の計算量を必要とします)。もう一つは「経験的ダウンスケーリング」と呼ばれるもので、観測データ(もしくは再解析データ)と全球気候モデルによるシミュレーションデータの統計値の関係性からダウンスケーリングを行う方法で、全球気候モデルで問題となるバイアスを補正することも可能です。経験的ダウンスケーリングは統計的手法および機械学習手法を包括しており、最近のAI技術の発展から高精度に推定を行うことが可能になっています。しかし、数値モデルシミュレーションとは異なり、これらは基本的にデータ駆動型手法であり、本当に将来の気候を推定できるのか、極端現象を推定する能力があるのか、よく分かっていません。

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 気候変動, 高解像度 | タグ: | コメントする

AI 地球システム研究所

はじめまして。本サイトでは、人工知能と地球環境についての話題を独自の視点から紹介いたします。また、初心者向けに機械学習の導入方法についても解説する予定にしています。お気軽にお立ち寄りいただければ幸いです。よろしくお願いいたします。

カテゴリー: Uncategorized | コメントする