機械学習ダウンスケーリング まとめ5

RCM エミュレータには、過去および将来の気候設定の両方でトレーニング データにアクセスできるという利点があり、特定のシナリオにおける将来の気候に対する分布外パフォーマンスが向上しました。 ただし、RCM エミュレーターは、アルゴリズムの複雑さ (従来の ML アルゴリズムと最新の ML アルゴリズムの両方) とは関係のない、ドメイン適応に関連する課題にも直面します。 RCM エミュレータは、完全または不完全なトレーニング フレームワークでトレーニングされます。 不完全なフレームワークで経験的アルゴリズムをトレーニングすることは、低解像度の GCM フィールドと高解像度の RCM フィールドの間の時空間的不一致のため、困難です。 逆に、完全なフレームワークは、RCM とはわずかに異なる関数ではあるものの、高解像度の RCM フィールドをより低い解像度に粗くすることでこの問題を単純化し、相関関係を改善します。
全体として、完璧なフレームワークにおける将来の分布外パフォーマンスは、トレーニングで使用される RCM シミュレーションから独立しているため、GCM-RCM マトリックス全体で移植可能になります。 ただし、RCM とは機能が異なるため、将来の予測の信頼性を評価するには追加の研究が必要です。 逆に、不完全なフレームワークにおける将来の分布外パフォーマンスは、トレーニングで使用される RCM シミュレーションに依存すると思われます。 このトレーニング シミュレーションへの依存は、完全なフレームワークに比べて、GCM-RCM マトリックス全体での一般化性や移植性が低いことを示唆しています。 両方のフレームワークのさらなる研究と評価が必要であり、セクション 6a と 6b で詳細に説明されている適応性実験の可能性があります。 さらに、ML は特に転移学習を進歩させ、トレーニングを 2 つの単純なタスクに分割することで、不完全なフレームワークでのトレーニングを改善する可能性を提供する可能性があります。 最初のタスクには、より単純で完全なフレームワークでの事前トレーニングと、その後の不完全なフレームワークでの微調整が含まれます。

コメント:上記の完全なフレームワークとは、RCM の解像度を(例えば12kmから100km)にアップスケーリングして低解像と高解像の関係性を学習させるもので、基本的にはRCMバイアスが共通であるため関係性を学習させやすく高い精度でダウンスケーリング可能になります(Fig.3)。一方で、不完全なフレームワークとは解像度が100kmのGCMと高解像度RCM(例えば12km)の関係性を学習させるもので、GCMとRCM のバイアスが異なるため関係性が小さい場合もあるため、学習が適切ではなく精度が低くなることも予想されます。しかし、GCM および RCM で(両者のバイアスに依存せずに)「何が再現できるのか」に注目することにより、それを共通の特徴量として適切な学習が可能になると思われます1)。特徴量を自動的に選択する深層学習モデルでは逆に難しいかもしれません。「何が再現できるのか」を認識するには理論から導かれる制約条件を課すなど、何らかの仕掛けが必要になるかもしれません。

1) Yoshikane, T., & Yoshimura, K. (2023). A downscaling and bias correction method for climate model ensemble simulations of local-scale hourly precipitation. Scientific Reports, 13(1), 9412.

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

機械学習ダウンスケーリング まとめ4

観測されていない過去および将来の気候への適応について
ドメイン適応の問題は、特定のシミュレーション (再解析/観測または特定の RCM シミュレーションなど) でトレーニングされた経験的ダウンスケーリング アルゴリズムを、トレーニングによる未観測の GCM (高排出シナリオなど) からの予測子フィールドに適用するときに発生します。 多くの場合、トレーニング データと比較して分布外になります。全体として、ドメイン適応の問題は、観測ダウンスケーリングにおける最近の ML の進歩においてほとんど注目されていません。 ドメイン適応は、少数の PP 研究でしか検討されておらず、気候のダウンスケーリングにおいて顕著であるにもかかわらず、SR のダウンスケーリングでは依然としてほとんど見落とされています。 さらに、ドメイン適応条件は SR 手法と PP 手法の間で異なる可能性があります。いくつかの研究では、PP アプローチの領域適応性を向上させるために、観測ダウンスケーリングの前にバイアス補正が必要であることが強調されています。 バイアス補正の後、PP CNN アルゴリズムは、従来の観測ダウンスケーリング アルゴリズムと比較して、過去および将来のシミュレーションの両方にわたって GCM 予測子フィールドに適切に適応することが提案されています。 CNN の適応性の向上は、特徴の選択に敏感なことが多い従来の経験的ダウンスケーリング アルゴリズムとは対照的に、気候フィールドから安定した一般化可能な関係を学習する能力から生じると考えられています。ML の分散外の課題に対処するための新しい戦略の可能性は、転移学習です。 ここで、転移学習には、最初に RCM シミュレーションでアルゴリズムを「事前トレーニング」することが含まれます。このアルゴリズムは、将来のシナリオと過去のシナリオの両方でトレーニングでき、その後、観測データで微調整することができます。 転移学習は、トレーニング前にモデルをさまざまな気候条件にさらすことで、アルゴリズムのパフォーマンスと分布外の状況に適応する能力を向上させる可能性があります。

コメント:現在気候から大きく逸脱していない限り、SR手法でも外挿機能によりある程度は将来および過去気候への適応は可能であると思われますが、研究事例が少ないのは技術的な難しさが関係しているのかもしれません。バイアス補正については地域の気候特性の再現性が悪化するなどの副作用もあるため慎重に行う必要があります。バイアス補正による悪影響を避けるために、事前に大気循環場やストームトラックなどの再現性が良い全球気候モデルを選択する必要があります。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

機械学習ダウンスケーリング まとめ3

敵対的生成ネットワーク (GAN) と拡散モデルは、極端な現象を正確に推定し、局地規模の気候プロセスをより適切に解決する点で、CNN と比較して改善を示しています。 注目すべき制限としては、GAN をトレーニングする際の安定性、拡散モデルでの推論時間の遅さなどが挙げられます。 CNN と同様に、GAN および拡散モデルも、従来の経験的ダウンスケーリング アルゴリズムと比較して大量のトレーニング データを必要とします。 ただし、セクション 6a で説明した転移学習などの ML の革新的な戦略には、トレーニング データの制限を克服する可能性があります。ML の進歩は有望ですが、アルゴリズムの評価が不足しており (評価の枠組みについてはセクション 8 を参照)、多くの研究が気候ダウンスケーリング固有の評価尺度 (降雨の気候学など) を見落としています。 サイクロンや大気河川イベントなど、特定のイベント/ケーススタディにおけるアルゴリズム評価は、限界や改善の領域を理解するのに役立ちます。 さらに、将来の気候予測をスケールダウンするためのアルゴリズムを選択する際には、現在の気候におけるスキルを超えた要因を認識することが重要です。

コメント:GANによる極端現象の再現はともかく、気候変動で適切に外挿ができているのか気になるところです。残念ながら、現時点ではGANを含めた高度な深層学習を気候変動に適用して詳細に評価した事例はほとんどありません。上記の制限に加え、機械学習モデルが高度になるほどアルゴリズムの評価は難しくなることが想定されます。詳細に評価されるまでに時間が必要かもしれません。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

機械学習ダウンスケーリング まとめ2

私たちのレビューでは、次の 3 つの重要な研究課題を中心に、これらの問題と気候ダウンスケーリングのための機械学習手法を批判的に診断しています。
a. 経験的ダウンスケーリングアルゴリズムは、極端な気候を含む現在の気候を適切に再現可能か?
全体として、最近の ML の進歩、特に敵対的生成ネットワーク (GAN) と拡散モデルでは、現在の気候とその極端な状況を再現する際の経験的ダウンスケーリング (観測的ダウンスケーリングと RCM エミュレーションの両方) の従来のアルゴリズムに比べて大幅に改善されました。従来の観察ダウンスケーリング アルゴリズムと RCM エミュレータ アルゴリズムは、より複雑な ML 経験的ダウンスケーリング アルゴリズム (GAN など) よりも単純でより解釈しやすく、一般に必要なトレーニング データが少なくなります。 ただし、その主な制限は、降雨量や地表風場などの変数を予測する場合に気候フィールドから複雑な時空間特徴を学習するのに苦労していることです。現在気候においては、畳み込みニューラル ネットワーク (CNN) が従来の経験的ダウンスケーリング手法よりも優れたパフォーマンスを発揮するということで、コンセンサスが得られています。 CNNは、気候フィールドから複雑な力学を学習することができ、特に風や降雨量などの変動要素について、極端な現象をより適切に解決するのに役立ちます。 CNN は、グリッド セルごとに個別のアルゴリズムを必要とすることが多い従来のアプローチとは異なり、1 つのアルゴリズムで大陸全体など、広範囲の地域にわたるダウンスケールにも容易に適用できます。 ただし、CNN アーキテクチャにも制限があります。 まず、トレーニング パラメーターの数が多いため、トレーニングには大量のデータが必要になることが多く、使用できるトレーニング データが限られている場合には問題が発生する可能性があります。 さらに、従来の統計的ダウンスケーリング アルゴリズムほどではないにせよ、「平均値への回帰」現象に悩まされ、極端な現象が過小評価されたり平滑化されたりする可能性もあります。

コメント:一般に、GANなどの高度な機械学習モデルは、従来型の単純な機械学習モデルと比較して、推定精度が高くなる反面、データハンドリングが複雑で結果の解釈が難しくなる傾向があります。CNNでは、従来のアプローチ*と異なり、例えば降水システム全体の空間分布特性を学習できるため、極端現象を含む複雑な降水パターンを推定できると期待されています。ただし、「平均値への回帰」現象、つまり極端現象のような少数事例を過小評価する問題については、今のところ有効な対策がありません。推定結果を細かく見ると、平滑化されたような(ぼやけた)降水分布になっているケースも多く見られます。
*従来型でも手法によっては、システム全体の空間分布特性を捉えることが可能です。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

機械学習ダウンスケーリング まとめ1

観測ダウンスケーリング手法 (PP) および超解像 (SR) は、局所的な気候の複雑さを捉えた観測データセットを用いて学習を行います。 RCM エミュレーターは、RCM の機能をミラーリングするために開発され、CORDEX のオープンアクセス データセットなどのシミュレーションでトレーニングされます。 RCM エミュレータは、将来のシミュレーションと過去のシミュレーションの両方から学習できますが、これは PP や SR では不可能です。 RCM エミュレータは、CP-RCM のような高解像度シミュレーションを模倣することもできます。これは、空間解像度の制限により観測データセットでは得られない機会です。 RCM シミュレーションが利用できると仮定すると、通常は観測データがまばらな地域でもエミュレータをトレーニングできます。 ただし、RCM に固有のバイアスがあるため、実際の意思決定の状況では現実的ではない予測が生じる可能性があります。

コメント:
・PP、SR手法:
 利点:観測データを用いているため、バイアス補正を含めたダウンスケーリングが可能。
 欠点:データが観測期間に限定されるため、未知の気候変動特性を正確に学習できない可能性がある。

・地域気候モデル(RCM)シミュレーター
 利点:物理に整合した気候変動特性のダウンスケーリングが可能。超高解像度のRCM出力データを利用できる。
 欠点:バイアス補正ができない。RCM 固有のバイアスを学習するため、予測の不確実性が大きくなる。力学的ダウンスケーリングと同様に推定結果の活用に問題が生じる可能性がある。

 RCM シミュレーターは、モデルバイアスの問題から積極的な活用は難しいかもしれませんが、観測データを用いたPP、SRの(外挿機能の)適用限界を見極めることに利用できるかもしれません。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

XAI によるダウンスケーリング評価

XAI の発展により、経験的ダウンスケーリング アルゴリズムの外挿機能を評価するための新しいオフライン方法を提供し、図 6 に示すように、従来のダウンスケーリング評価手法と並行して統合できます。たとえば、定常性の仮定を評価するには、次のことが可能になる場合があります。 勾配ベースの XAI 技術を適用して、ML ベースの経験的ダウンスケーリング アルゴリズムによって学習された関係が時間の経過とともにどのように進化するかを評価します。 これにより、アルゴリズムの安定性の指標も得られ、アルゴリズムのドリフトやパフォーマンスの低下の検出が容易になります。

コメント:経験的ダウンスケーリング アルゴリズムの外挿機能は、学習データから大きく外れない近未来であれば、全球気候モデル(GCM)の気候変動に対応して適切に推定されると期待されます。しかし遠未来では、外挿機能が全球気候モデルから大きくズレる(ドリフト、パフォーマンス低下)が起こる可能性もあります。アルゴリズムの適用限界を見極める上でもドリフトやパフォーマンス低下の検出は重要になるでしょう。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

説明可能な人工知能 (XAI)

気候科学とダウンスケーリングにおける XAI の例
気候科学研究における深層学習アルゴリズムの継続的な成功にもかかわらず、これらのアルゴリズムによって学習された決定と関係は、そのブラックボックスの性質により不明瞭なままであることがよくあります。 XAI は、気候科学における ML アルゴリズムの透明性を高めるための強力なツールとして登場し、異常気象の側面への適用に成功しています。 経験的ダウンスケーリングにおける XAI の最近の応用は、ダウンスケールされた気温と降水量を予測する際に、最も関連性のある大規模な特徴 (粗い解像度) を特定する際の有効性を実証しました。いくつかの論文では、大気河川やサイクロンなどの複雑な気象現象をダウンスケーリング場合に、極端な降水現象の予測に影響を与える空間的位置を理解するために、勾配ベースの XAI 技術を使用しました。 ある研究事例では、XAI を使用して潜在的なバイアスを特定し、ML 気候ダウンスケーリング アルゴリズム内の偽の関係または非物理的な関係を検出しました。

コメント:上述されているように、アルゴリズムのブラックボックス性により結果を全て完璧に説明できる訳ではありません。しかし、アルゴリズムの判断の根拠を解釈し、説明できるようにする必要があります。たとえ結果の精度が極めて高い場合でもそれだけでは十分でなく、その背後にある根拠を理解する必要があります。機械学習の説明可能性とは、アルゴリズム(出力がどのように計算されたのか)を理解することであり、説明可能性が高いほど内部構造を理解し、十分な情報に基づいて適切なモデル選択が可能になります。解釈可能性は、アルゴリズムの内部構造だけでなく、なぜその出力が得られたか、理由を理解することを意味します。おそらく、全てを理解することは不可能でしょう。しかし、重みパラメータや特徴量から部分的に出力結果を解釈することは可能と思われます。解釈可能性が高くなれば、問題が起こった時の原因究明やモデルの改善がより簡単になるでしょう。もう一つの概念として理解可能性があり、誰がどのような説明を求めているのかに基づいて判断されます。データサイエンティストには理解できても、それ以外の人には全く理解できない場合があります。全ての人がアルゴリズムの詳細を理解する必要はなく、どのように利用できるか必要な機能を理解し価値を正しく判断することが重要になります(例えば、自動車を利用して目的地に行くのに、自動車の部品一つ一つの機能を知る必要はなく、実績があり信頼できる製品であることや操作方法などの最小限必要なことを十分に理解できれば良い)。何がどの程度必要かはユーザーの目的により異なるため、それぞれのニーズに合わせてユーザーの納得のいく説明できるかがキーポイントなります。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

将来気候の評価2

ML アルゴリズムが気候変動パターンを正確に再現できれば、その外挿能力の有望な兆候が得られるでしょう。 逆に、RCM/GCM からの気候変動シグナルの大幅な逸脱は矛盾を示唆することが多く、通常はさらなる調査が必要です。 RCM と GCM の比較を含む、すべての方法論にわたる完全な合意が常に期待されるわけではないことに注意することが重要です。 気候変動シグナルを評価する場合、気温などの変数は RCM、GCM、経験的アルゴリズムの間で一致を示すことが多いのに対し、降雨量についてはそうではありません。 将来の評価では、研究は世紀末 (2080 ~ 2100 年) に焦点を当てていますが、近い将来 (現在 2040 年) に評価を実行することも有益である可能性があり、これは 経験に基づいたダウンスケーリング アルゴリズム の外挿境界を特定するのに役立つ可能性があります。 気候変動シグナルを計算する方法は、ETCCDI 指数などの極端な指数を包含するように拡張できます (たとえば、年間で最も雨が降った日を RX1Day として定義します)。 極端なインデックスは、ML アルゴリズムのより広範な分布外評価を提供する可能性があります。 たとえば、ML アルゴリズムの出力が、クラウジウス・クラペイロン方程式から推定されるGCM および RCM シミュレーションにおける世紀末の RX1Day 傾向を再現できるかどうかを評価できます(一部の地域では温暖化 1 度あたり 7% を超える)。 ます。経験的ダウンスケーリング アルゴリズムのその他の重要な評価尺度には、イベントベースの評価 (過去および将来の気候に適用可能) が含まれます。 たとえば、GCM のさまざまな気象状況の関数として、アルゴリズムのダウンスケールされた出力としてスキルを評価できます (たとえば、地質ポテンシャルの高さによってクラスター化されています)。 これにより、モデルが物理的に妥当な結果や予測を生成しているかどうかに関する洞察が得られる可能性があります。 他の例には、サイクロンや大気圏の河川などの極端な現象中のパフォーマンスの評価が含まれる可能性があり、GCM または RCM 出力で大気現象ベースの追跡アルゴリズムを使用することが含まれる可能性があります。 さらに、RCM エミュレータが特定の湿度、風、平均海面気圧などの変数をエミュレートできる場合、その出力に追跡アルゴリズムを直接適用して、サイクロンや大気河川を評価できる可能性があります。 同様の分析が力学的ダウンスケーリングに関しても実行されました。

コメント:一般に全球気候モデル(GCM)や地域気候モデル(RCM)では、解像度の問題から強雨の量的評価が難しい(顕著な過小評価になる)場合があります。RCM で強雨を再現するには高解像度化(例えば解像度を1.5km以下に)する必要があることが指摘されています。それには膨大な計算機資源が必要であり、力学的ダウンスケーリングの問題点の一つになっています。経験的ダウンスケーリングで強雨を再現できれば、予測の不確実性を含めた地域の影響評価が可能になると期待されています。経験的ダウンスケーリングで推定される強雨については、全球において理論(クラウジウス・クラペイロン関係)と整合しているかが妥当性の検証方法として有効と考えられます(ただし、全球での評価がそのまま地域に当てはまる訳ではないので、検証方法として十分とはいえません)。経験的ダウンスケーリングでは理論的考察が難しい側面があり、推定結果に対する説明が十分でないことから、多くの研究者から厳しい批判を受けています。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

将来気候の評価

将来のデータが利用できないことを考えると、観測ダウンスケーリング アルゴリズムでは将来の気候における直接評価は不可能です。 一部の研究では、経験的モデルからの対象変数の気候変動シグナルを 全球気候モデル(GCM) または 地域気候モデル(RCM) のアンサンブルの気候変動シグナルと比較することにより、経験的アルゴリズムの将来の分布外パフォーマンスを評価しています。 この比較の基礎は、GCM とダウンスケールされた気候信号の両方がホスト GCM の広範な大気パターンに従い、したがってダウンスケーリングのわずかな偏差のみが予想されることを前提としています。 この仮定には物理原理における強力な基礎が欠けているため、この方法は低レベルの将来のパフォーマンス評価のみを提供する必要があります。 あるいは、セクション 6a で説明した「完全モデル」/「疑似現実」実験は、観測ダウンスケーリング アルゴリズムの将来の気候シナリオに対する正規の分布外テストの最良の代用として機能します。 一方で、RCM エミュレータの場合、将来の気候変動シグナルの直接評価が可能です。 ここでは、RCM エミュレーターからのダウンスケールされた出力を、トレーニングでは使用されなかったグラウンド トゥルース シミュレーションに対して評価できます。

コメント:全球気候モデルの気候変動シグナルは必ずしもダウンスケーリングした結果と対応するとは限りません。特に降水は局地地形の影響を強く受けるため、ダウンスケーリング時に気候変動シグナルが親モデルと大きく異なる場合があります。比較的気候変動パターンが反映されやすい気温も、極端現象(例えば、台風の通過に伴う局地的なフェーンの影響など)は評価が難しくなると想定されます。RCM エミュレーターでは経験的ダウンスケーリングのバイアス補正能力までは評価できないため、エミュレーターとしての能力評価に限定されます。そもそも経験的ダウンスケーリングでは数値モデルのように厳密に物理に従う手法ではないため、いくつかの前提に基づいて評価ぜざるを得ません。一方で、物理に厳密ではないからといって、経験的手法を全て否定することはできないと思います(実際に、既存の手法では得られない極めて高いパフォーマンスを示しています)。基本的に、ダウンスケーリングの全てを経験的手法で置き換えられる訳ではなく、何がどこまで適用可能か、能力を正確に見極める必要があります。

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする

過去気候における評価2 過去のGCMシミュレーションによる検証

クロスバリデーションの次に、ダウンスケーリングアルゴリズム (データ制約を最大化するために、ダウンスケーリングに使 用する前に、通常、全観測期間を使って再トレーニングされ る)を全球気候モデル(GCM)の過去の入力に適用し、アルゴリズムの出力を 評価します。セクション4dで議論したように、ダウンスケー ルされた出力は、内部変動は観測値と同期していないため、観測値と直接比較することはできず、検証のための指標(例えば、クライマトロジーやバイアス)の統計的特性について観測値との比較します。幾つかの研究では、RCM がホストGCMに与える付加価値を測定します。これには、様々な指標(例えば、ETCCDI 指数-気温、降水量、干ばつなど、気候の極端性の様々な側面を測定するために使用される27の指標のセット)にわたってバイアスの減少を測定し、ホストGCMまたは/およびRCMのアンサンブルと比較して、経験的ダウンスケーリングによってもたらされる改善、すなわち付加価値を比較することが含まれます。同様に、Isphordingら(2023)が提唱したベンチマーキングフレームワークは、付加価値を評価するための同等のアプローチを提供します。これらは、特に降雨において、ダウンスケーリング戦略を評価するための貴重な資料として機能します。RCM エミュレータの場合、グランドトゥルースのRCMシミュレーションが利用可能であれば、直接的な評価が可能です(8a;1節の評価指標を参照)。

ETCCDI 指標: https://docs.esmvaltool.org/en/latest/recipes/recipe_extreme_events.html,
https://cds.climate.copernicus.eu/cdsapp#!/dataset/sis-extreme-indices-cmip6?tab=overview

コメント:過去100~150年間の観測データを用いてGCMの過去気候の再現性を評価できます。20世紀解析データ(20CR)などの観測に基づく解析データが整備されつつあり、今後はGCMだけでなく経験的ダウンスケーリングの気候変動評価に必須になるでしょう。限られた観測期間では極端現象などを詳細に評価することは難しいかもしれませんが、いくつかの重要な気候的特性の評価は可能です。また、経験的ダウンスケーリングでは、20CRデータを用いて過去の気象イベントの再現精度の評価が可能です。既存の手法では再現が困難であった現象が新しい手法により再現できるのか、統計値だけでなく様々な気象イベントの再現性についての比較評価が求められます。

Rampal, Neelesh, et al. “Enhancing Regional Climate Downscaling Through Advances in Machine Learning.” Artificial Intelligence for the Earth Systems (2024).

カテゴリー: 機械学習, 気候変動, 高解像度 | コメントする