인공지능형 전지구 대기대순환 모형의 기술 개발 동향

2.1 FourCastNet version 1

FourCastNet은 "Fourier foreCasting Neural Network"의 약자로, version 1은 적응형 푸리에 신경 연산자(AFNO)와 함께 Vision Transformer (ViT; Dosovitskiy et al., 2020) 아키텍처를 사용하는 고해상도 전지구 기상 예측 모델이다(Pathak et al., 2022). 이 모델은 0.25도 공간 해상도로 단기 및 중기 예측을 정확하게 제공하는 것을 목표로 한다. FourCastNet의 개발 이유로 전통적인 수치 예보(NWP) 모델의 계산 복잡성과 내재적 편향을 극복하기 위해 고해상도의 데이터 기반 모델이 필요하다고 강조한다. 기존의 NWP와 달리, FourCastNet은 상당한 계산상의 이점을 제공하면서도 ECMWF의 통합 예보 시스템(IFS)과 같은 최첨단 모델에 필적하는 정확성을 유지한다(Pathak et al., 2022).

FourCastNet 모델의 전반적인 아키텍처와 학습 및 추정 과정은 Pathak et al. (2022)의 Fig. 2에서 시각적으로 설명하고 있다. 이 모델은 AFNO를 사용하여 입력 데이터를 작은 패치들로 나누고, 이 패치들을 고차원 공간에 매핑(mapping)하여 잠재 변수들을 통해 예측을 수행한다. Pathak et al. (2022)의 Fig. 2에는 여러 모드의 학습 및 추론 방식이 설명되어 있는데, 이 중 미세 조정 방식(Fig. 2b), 강수량 진단 모델을 포함한 기본 예측 모델(Fig. 2c), 그리고 자유 실행 자회귀 추정 모델(free-running autoregressive inference model; Fig. 2d)가 포함되어 있다. 자유 실행자회귀 추정은 추론 단계에서 실제 데이터(ground-truth)를 사용할 수 없으므로, 모델이 이전에 생성한 예측을 다음 예측의 조건으로 사용하는 방법을 말한다. 이러한 구조를 통해 FourCastNet 모델은 다양한 대기 변수를 효과적으로 예측하며, 특히 강수량 진단을 위한 별도 모델을 통합하여 전체 대기 상태 예측과 독립적으로 강수량을 모델링한다는 점이 강조된다.

Fig. 2.

Qualitative comparison of temperature predictions (t850) over Antarctica at 4380 h (730 autoregressive steps). The SFNO shows no visible artifacts even after six-month-long rollouts. Models which use FFT and do not incorporate spherical geometry are not stable for long rollouts compared to SFNO. The AFNO model breaks down early and shows large visible artifacts everywhere. In the non-linear FNO model, artifacts are less pronounced but increase in magnitude with time and towards the poles. Adapted from Fig. 1 in Bonev et al. (2023).

모델의 고해상도 입력을 다루기 위해 푸리에 변환 기반 접근법을 사용하여 AFNO를 활용하였다. AFNO는 입력 데이터를 주파수 공간으로 변환하여, 공간적인 상관관계를 효율적으로 모델링하고 복잡한 패턴을 학습할 수 있게 한다. 특히 AFNO는 전역적인 정보 처리를 위해 효율적인 주파수 도메인 필터링을 활용하여 모델이 고해상도 입력에서 발생하는 장거리 종속성을 잘 포착할 수 있도록 한다. 또한, AFNO의 푸리에 기반 토큰 혼합은 자원 효율성을 크게 향상시키면서도 높은 예측 성능을 유지할 수 있는 중요한 요소로 작용한다. 이 아키텍처는 ViT 백본과 푸리에 기반 토큰 혼합을 결합하여 장거리 종속성을 효율적으로 모델링할 수 있게 한다. ViT는 이미지 공간적인 특징을 포착하는데 유리하며, AFNO와 결합하여 모델이 전지구적 기상 데이터를 고해상도로 처리하는 데 필요한 복잡한 패턴 인식을 가능하게 한다. 이러한 조합은 전통적인 수치 모델의 정확도에 맞먹는 고해상도 전지구 예측을 가능하게 한다.

FourCastNet은 ECMWF에서 제공하는 5세대 대기 재분석 데이터셋인 ERA5를 사용하여 학습되었으며, 1979년 이후 다양한 대기 변수의 시간별 추정을 학습에 사용하였다. 모델은 풍속, 온도, 지위고도, 상대 습도 등의 주요 대기 변수의 변화를 예측하도록 학습되었으며, 여러 고도에서 이러한 변수들을 다루었다. 학습 절차는 사전 학습과 미세 조정 단계를 포함하며, 지표 근처의 풍속과 강수량뿐만 아니라 대규모 역학을 이해하는 데 중요한 중층 대기 변수들의 예측에도 중점을 두었다.

모델의 예측은 IFS 출력과 비교하여 평균제곱근오차(root mean square error; RMSE)와 이상 상관 계수(anomaly correlation coefficient; ACC) 지표를 중심으로 평가되었다. FourCastNet은 일관되게 높은 성능을 보여주었으며, 최대 1주일 선행 시간 동안 여러 주요 변수에서 IFS 모델과 경쟁력 있는 정확성을 나타냈다. 예를 들어, 500 hPa 지위고도(Z500)의 예측에서 IFS와 비교하여 선행 시간 3일 내에 ACC가 0.95 이상을 유지하였으며, 지표 근처 풍속(U10)의 경우 48시간 이내에 RMSE가 IFS 대비 약 10% 낮게 나타났다. 짧은 선행 시간(<= 48시간)의 경우, FourCastNet은 특히 고해상도 소규모 변수(예: 강수량 및 저층 풍속)에 대해 IFS를 능가하는 성능을 보였다. 반면, 더 긴 선행 시간에서는 일부 변수에 대해 IFS보다 약간 뒤쳐졌지만 여전히 경쟁력을 유지하였다[Pathak et al. (2022)의 Fig. 13 참조].

FourCastNet의 중요한 장점 중 하나는 그 놀라운 속도와 효율성이다. 이 모델은 IFS모델이 15일간의 예측을 생성하는 데 걸리는 시간 대비 약 45,000배 빠르게 예측을 생성할 수 있으며, 주간 예측은 2초 이내에 완료된다. 또한, IFS 모델의 경우 대규모 앙상블 예측 생성이 계산 비용이 매우 높지만, FourCastNet은 단일 GPU에서도 수천 개의 앙상블 멤버를 신속하게 생성할 수 있어 자원 효율성이 매우 높다. 이러한 엄청난 속도 향상은 실시간 예측을 보다 실현 가능하게 할 뿐만 아니라 수천 개의 멤버로 구성된 대규모 앙상블 예측을 생성할 수 있게 하여 확률적 기상 예측을 개선하는 데 중요한 역할을 한다. FourCastNet는 허리케인 마이클(Michael) 및 대기 강(atmospheric river)과 같은 극한 기상 현상에 대한 사례 연구를 통해 모델이 이러한 현상을 정확하게 포착할 수 있음을 입증하였다.

FourCastNet의 개발은 기상학의 미래에 큰 함의를 가진다. 전통적인 NWP 모델의 계산 비용을 일부만으로 고해상도 전지구 예측을 생성할 수 있는 능력은 고급 기상 예측을 더 넓은 커뮤니티에 제공할 수 있는 잠재력을 가지고 있다. 이는 특히 전통적인 기상 예측에 필요한 계산 인프라가 부족한 지역에 큰 영향을 미칠 수 있다. 모델의 신속한 앙상블 예측 생성은 확률적 예측 및 불확실성 정량화의 새로운 가능성을 열어주며, 이는 재난 대비 및 대응에서 중요한 의사 결정에 필수적이다.

이러한 강점에도 불구하고, FourCastNet의 한계를 인정하며, 특히 소규모 과정의 처리와 과거 관측 데이터에 의존하는 점에서 미래 기후 조건에 대한 일반화 능력이 제한될 수 있다고 지적한다. 더 높은 해상도의 데이터로 모델을 훈련하고 대류 및 복사 상호작용과 같은 대기 역학에 영향을 미치는 추가 물리적 과정을 통합함으로써 향후 개선이 가능할 것이라고 제안하였다.

2.2 FourCastNet version 2

Bonev et al. (2023)은 2.1절의 FourCastNet v1에서 발전된 FourCastNet v2 모델을 소개하였으며, 주요 차이점은 기존의 AFNO를 Spherical FNO (SFNO)로 확장하여, 구면 좌표계에서의 안정적인 예측을 가능하게 한 점이다. FNO는 이산 푸리에 변환(discrete fourier transform; DFT)에 의존하지만, DFT는 구면에서도 평면 기하학을 잘못 가정하기 때문에 구면좌표에서 연산자를 학습할 때 시각적 및 스펙트럼 잡음(artifact)이 발생할 뿐만 아니라 뚜렷한 소산을 일으킨다. 이러한 한계를 극복하기 위해 구면에 대한 FNO를 일반화하여 구면 기하학에서 연산자를 학습할 수 있는 SFNO를 도입하였다.

다시 말해서, SFNO는 기존의 AFNO와 다르게 구면 조화 변환(spherical harmonic transform; SHT)을 사용하여 지구 표면과 같은 구형 도메인에서의 장기적이고 안정적인 예측을 가능하게 한다. SFNO는 특정 구형 기하학적 대칭성을 유지하며, 이를 통해 회전 변환 후에도 일관된 결과를 보장할 수 있다. 이 모델은 구면 위에서의 물리적 현상을 더 잘 반영하는 특성을 가지고 있어, 장기 예측에서도 높은 신뢰성을 제공한다. 이전 버전인 FourCastNet은 fast fourier transform (FFT)을 기반으로 하여 구형 지리 정보 처리에 한계가 있었으며, 이로 인해 특히 극지방에서 비정상적인 주파수 인공잡음이 발생할 수 있었다. 반면에, 이번 SFNO 모델은 SHT를 적용하여 구형 기하학적 특성을 유지하며, 이러한 문제를 해결하였다. 특히, SFNO는 기존 FFT 기반의 FNO 모델보다 약 5,000배 빠른 속도로 1년간의 예측을 안정적으로 수행할 수 있었다는 점에서 큰 성과를 보였다. 이는 NVIDIA A6000 GPU를 사용하여 13분 만에 1년 예측을 완료한 결과로, 동일한 예측을 위해 1000 dual-socket CPU 노드에서 1시간이 소요(Bauer et al., 2020)되는 ECMWF의 IFS 모델과 비교할 때 상당한 속도 향상을 보여준다.

SFNO는 최대 1년의 자기회귀(autoregressive) 예측에서도 물리적으로 타당한 동역학을 유지할 수 있음을 입증하였다. 이는 기후 예측 및 subseasonal-to-seasonal 예측(S2S)에서의 활용 가능성을 제시하며, 미래 기후 변화를 모델링하는 데 큰 기여를 할 수 있다. 또한 SFNO는 극단적인 기후 현상을 더 잘 예측할 수 있으며, 이를 통해 기후 변화 대응을 위한 보다 신뢰할 수 있는 정보를 제공할 수 있다.

Figure 2에서는 기존 AFNO, FFT 기반 FNO, 그리고 이번 SFNO 모델의 남극 기온 예측 결과를 비교하고 있다. AFNO와 FFT 기반 FNO는 6개월 이상의 자기회귀 예측에서 큰 인공잡음을 보여주는 반면, SFNO는 눈에 띄는 인공잡음 없이 안정적인 예측을 보여준다.

2.3 Pangu-Weather

Bi et al. (2022, 2023)에서는 Pangu-Weather이라는 AI 기반의 고해상도 글로벌 기상 예측 시스템을 소개하였다. Pangu-Weather는 ECMWF의 ERA5에서 43년간의 시간당 글로벌 기상 데이터를 사용하여 훈련되었으며, 총 약 2억5천6백만 개의 파라미터를 가진 심층 신경망을 이용한다. 예측의 공간 해상도는 0.25° × 0.25°로, ERA5의 해상도와 동등하다. 중요한 점은 Pangu-Weather가 기압면의 높이 정보를 3차원 데이터로 처리하는 3DEST를 설계하고, 누적 예측 오차를 줄이기 위한 계층적 시간 집계 알고리즘(hierarchical temporal aggregation algorithm)을 적용하여 예측 정확도를 크게 향상시켰다는 것이다(Fig. 3).

Fig. 3.

Network training and inference strategies. (a) 3DEST architecture. Based on the standard encoder-decoder design of vision transformers, they adjusted the shifted-window mechanism19 and applied an Earth-specific positional bias. (b) Hierarchical temporal aggregation. Once given a lead time, they used a greedy algorithm to perform forecasting with as few steps as possible. They use FM1, FM3, FM6 and FM24 to indicate the forecast models with lead times being 1 h, 3 h, 6h or 24 h, respectively. A0 is the input weather state and A^t denotes the predicted weather state at time t (in hours). Adapted from Fig. 1 in Bi et al. (2023).

3DEST는 고도 정보를 압력면을 기준으로 삼아 3차원 입력 및 출력을 처리함으로써, 전통적인 2차원 모델보다 대기 각 층 간의 내재된 관계를 더 잘 파악할 수 있게 하였다. 이를 통해 예측의 정확도를 크게 높였으며, 특히 중기 예보(1시간에서 1주일 범위)에서 기존 수치 예보를 능가하는 성능을 보였다. 또한, 계층적 시간 집계 알고리즘을 사용하여 다양한 예측 선행 시간(1시간, 3시간, 6시간, 24시간)에 따라 모델을 학습시키고, 이를 통해 예측 시 필요한 반복 횟수를 줄여 중기 예측에서 발생하는 누적 오차를 줄이는 방식을 채택하였다. 이러한 접근은 FourCastNet 등 기존 AI 기반 방법들이 사용한 단순 반복 최적화보다 안정적이고 더 높은 예측 정확도를 달성할 수 있었다.

데이터는 신경망에 입력되며 패치 임베딩 과정을 통해 개별 격자 셀의 입력 데이터를 3D 큐브로 규모 축소한다. 이 큐브는 ViT 기반의 스윈 변환기(swin transformer)의 16개 블록을 통해 인코더-디코더로 처리된다. 스윈 변환기의 위치 편향은 2D 구 투영에서 위도에 따라 인접 점 사이의 거리가 동일하지 않다는 사실을 반영하기 위해 지구 특화 위치 편향으로 대체된다. 디코더는 인코더와 대칭 구조를 이룬다.

Pangu-Weather는 단일 GPU에서 1,400 밀리초(ms) 만에 예측을 수행할 수 있으며, 이는 ECMWF의 IFS 보다 10,000배 이상 빠르다. 이러한 빠른 추론 속도 덕분에 실시간으로 대규모 앙상블 예측을 수행할 수 있다.

Pangu-Weather는 모든 기상 요소(지위고도, 비습, 온도, 풍속 등)에 대해 ECMWF의 기존 IFS를 능가하는 예측 정확도를 달성했다. 예를 들어, 500 hPa 지위고도도(Z500)의 5일 예측에 대해 Pangu-Weather의 RMSE는 296.7로, IFS의 333.7보다 우수한 성과를 보였다. 또한, 예측 시간이 길어질수록 Pangu-Weather의 상대적 이점이 더욱 두드러졌다[(Bi et al. (2022)의 Fig. 1 참조].

2.4 GraphCast

GraphCast (Lam et al., 2022, 2023)는 ERA5를 학습하여, 전 세계의 중기 기상(10일 예측)을 0.25도의 고해상도로 예측하며, 이 과정은 Google Cloud TPU v4 장치에서 1분 이내에 이루어진다. 여기에서는 GraphCast가 기존의 최고 수준 결정론적 예측 시스템인 ECMWF의 High-Resolution Forecast (HRES) 보다 뛰어난 성능을 보이며, 특히 열대 저기압 경로, 대기 강수 현상, 극한 기온 등의 예측에서 유리하다는 것을 보여준다.

GraphCast는 과거의 기상 데이터를 활용하여 기상 현상에서 수식으로 나타내기 어려운 패턴들을 학습함으로써 더 높은 예측 성능을 달성한다. 특히 GraphCast는 약 3천 670만 개의 파라미터를 가진 GNN을 기반으로 한다. 모델은 37개의 압력 레벨에서 5개의 지표 변수와 6개의 대기 변수로 학습되며, 각 데이터 포인트 또는 격자 셀마다 227개의 변수를 갖는다.

GraphCast의 예측과정은 3단계로 나누어 구성되었다(Fig. 4). 첫 번째 단계에서는 인코더가 개별 격자 셀의 정보를 다중 망사(multi-mesh) 표현의 노드로 매핑한다. 다중 망사는 조밀한(12개 노드)부터 미세한(40,962개 노드) 해상도까지 증가하는 정이십면체 망사로 유도된다. 두 번째 단계에서는 16개의 GNN 계층이 망사 전달을 통해 다중 망사의 노드 간에 지역 및 장거리 정보를 전파하는 프로세서를 사용한다. 마지막으로, 디코더는 단일 GNN 계층을 사용하여 최종 프로세서 계층의 다중 망사 표현을 격자 셀로 다시 매핑한다. 따라서 GraphCast는 변환기와 높은 해상도에서의 확장 문제를 피할 수 있다. GNN은 특히 기상 예측에서 복잡한 상호작용을 효율적으로 모델링하는데 유리하다. 전지구적인 중기 기상 예측을 수행하며, 기존의 NWP와 달리 예측 시간을 대폭 단축시킨다. GraphCast는 입력 데이터로 최근의 두 개의 기상 상태(현재와 6시간 전의 상태)를 사용하여 6시간 후의 기상 상태를 예측한다. 이 과정은 GraphCast의 인코더, 프로세서, 디코더로 이루어진 GNN 기반의 아키텍처를 통해 이루어진다. 인코더는 격자 형태의 기상 변수를 그래프 노드 속성으로 변환하고, 프로세서는 메시지 전달(message-passing)을 통해 기상 정보를 학습하며, 디코더는 이를 다시 격자 형태의 기상 예측 값으로 변환한다. 이 모델은 자기회귀 방식을 채택하여, 예측 결과를 입력으로 사용해 임의의 시간대까지의 기상 상태를 예측할 수 있다.

Fig. 4.

Model schematic. (a) The input weather state(s) are defined on a 0.25o latitude-longitude grid comprising a total of 721 × 1440 = 1,038,240 points. Yellow layers in the close-up pop-out window represent the five surface variables, and blue layers represent the six atmospheric variables that are repeated at 37 pressure levels (5 + 6 × 37 = 227 variables per point in total), resulting in a state representation of 235,680,480 values. (b) GraphCast predicts the next state of the weather on the grid. (c) A forecast is made by iteratively applying GraphCast (GC) to each previous predicted state, to produce a sequence of states that represent the weather at successive lead times. (d) The encoder component of the GraphCast architecture maps local regions of the input (green boxes) into nodes of the multimesh graph representation (green, upward arrows that terminate in the green-blue node). (e) The processor component updates each multimesh node using learned message-passing (heavy blue arrows that terminate at a node). (f) The decoder component maps the processed multimesh features (purple nodes) back onto the grid representation (red, downward arrows that terminate at a red box). (g) The multimesh is derived from icosahedral meshes of increasing resolution, from the base mesh (M0, 12 nodes) to the finest resolution (M6, 40,962 nodes), which has uniform resolution across the globe. It contains the set of nodes from M6 and all the edges from M0 to M6. The learned message-passing over the different meshes’ edges happens simultaneously, so that each node is updated by all of its incoming edges. [The Earth texture in the figure is used under CC BY 4.0 from https://www.solarsystemscope.com/textures/]. Adapted from Fig. 1 in Lam et al. (2022).

GraphCast는 ECMWF의 HRES와 비교하여 성능을 검증하였으며, 10일 예측에서 총 1380개의 예측 변수와 고도 수준 중 90.3%에서 더 높은 예측 성능을 보였다. RMSE와 ACC를 사용한 검증 결과, GraphCast는 HRES 대비 평균 7%에서 14%의 예측 성능 향상을 보였다. 특히 대기 강수 현상과 열대 저기압 경로 추적, 극한 기온 예측 등 다양한 극한 기상 현상 예측에서도 HRES보다 우수한 성능을 나타내었다[Lma et al. (2023)의 Fig. 2 참조].

GraphCast의 주요 성과 중 하나는 열대 저기압 경로 추적에서 HRES보다 낮은 오류율을 기록한 것이다[Lam et al. (2023)의 Fig. 3a 참조]. 또한 대기 강수 현상에 대한 예측에서도, GraphCast는 HRES 대비 단기에서 25%, 장기에서 10%의 성능 향상을 보였다. 그러나 GraphCast는 단일 결정론적 모델로 불확실성 을 충분히 반영하지 못하는 한계를 지니며, 이를 보완하기 위해 앙상블 예측 기법 적용이 필요하다.

2.5 FengWu

FengWu (Chen et al., 2023a)는 기존의 데이터 기반 예보 방법과 차별화된 다중 모달 및 다중 작업 접근 방식을 사용한다. 이 시스템은 ERA5 재분석 데이터를 활용하여 39년간의 기상 데이터를 학습하며, 대기 와 지표 상태를 0.25^o 해상도로 예측한다. 2018년의 6 시간 간격의 날씨 역추정(hindcast) 결과에 따르면, FengWu는 880개의 예측변수(predictand) 중 80%에서 GraphCast보다 성능이 우수하며, 특히 10일 예측에서 z500의 평균 제곱근 오차(RMSE)를 733 m² s^⁻2에서 651 m² s^⁻2로 감소시켰다[Chen et al. (2023a)의 Abstract 참조]. 이로써 FengWu는 예측 기술의 리드 타임을 10.75일로 연장시켜, 인공지능을 활용한 글로벌 중기 예보의 가능성을 한 단계 끌어올렸다.

FengWu의 핵심 설계는 다음과 같다(Fig. 5). 첫째, 다중 모달 네트워크 구조와 다중 작업 최적화를 위한 불확실성 손실(uncertainty loss for multi-task optimization)을 통해 대기 상태의 다양한 변수를 모달리티로 인식하여, 각 변수를 별도로 처리하면서 변인 간의 상호 작용을 크로스 모달 Transformer를 통해 모델링 한다. 둘째, 다중 작업 학습 패러다임을 도입하여, 각 변인의 예측을 개별적인 작업으로 간주하고 최적의 가중치를 자동으로 학습한다. 이는 변수별 불확실성을 고려하여 가중치를 조정함으로써, 보다 효과적인 예보가 가능하도록 한다. 셋째, 리플레이 버퍼 메커니즘(replay buffer mechanism)을 도입하여 장기 예측 성능을 향상시키는데, 이 메커니즘은 강화 학습에서 영감을 받아, 이전 예측 결과를 버퍼에 저장하고 이를 현재 모델 학습에 활용함으로써 자기회귀 예측 과정에서의 누적 오류를 줄인다.

Fig. 5.

Overview of FengWu’s architecture. FengWu first treats the multiple weather factors as different modalities and extracts their feature embeddings independently. And then a transformer-based network is utilized to fuse and pass messages among different modalities. Finally, the high-level feature representation is used to get the predictors via the modal-customized decoder. Adapted from Fig. 2 in Chen et al. (2023a).

FengWu의 예측 성능은 GraphCast와 비교하여 상당한 개선을 보였다. 특히 리드 타임이 5일을 초과할 때부터 모든 변인에서 FengWu가 GraphCast보다 높은 예측 정확도를 나타냈다. z500과 t2m (2m temperature)의 예측 선행 시간은 각각 10.75일과 11.5일로, 이는 예보 정확도의 중요한 향상을 의미한다. 이와 더불어, z500과 t2m에 대한 ACC가 0.6을 초과하는 리드 타임을 기준으로 FengWu는 각각 10.75일과 11.5일 동안 예측성을 유지할 수 있다[Chen et al. (2023a)의 Fig. 1 참조]. 이는 기존 AI 기반 기상 예보 모델보다 장기적인 예측에 강점을 가지고 있음을 보여준다.

FengWu의 네트워크 아키텍처는 모달 맞춤형 인코더와 크로스 모달 Fusion Transformer, 그리고 모달 맞춤형 디코더로 구성된다(Fig. 5 참조). 각 대기 변수는 개별적인 모달리티로 인코딩되며, 이 인코딩된 특성들은 Transformer 기반 네트워크를 통해 융합된다. 그런 다음, 결합된 특성을 바탕으로 예측값을 디코딩한다. 이러한 구조는 기상 변인 간의 상호작용을 효과적으로 반영하며, 각 변인에 대한 예측을 보다 정확하게 만든다.

재생 버퍼 메커니즘(replay buffer mechanism)은 FengWu의 장기 예측 성능을 개선하는 중요한 요소이다. 이 메커니즘은 자기회귀 훈련 중 발생하는 중간 예측 값을 저장하고 재사용함으로써, 누적된 오차를 고려한 학습이 이루어지도록 한다. 이러한 방식은 GPU 메모리 사용량을 줄이는 동시에, 장기 예측을 더욱 효율적으로 수행할 수 있게 한다. 재생 버퍼 유무에 따른 RMSE 변화를 비교하여 재생 버퍼가 있을 때 장기 예측 성능이 현저히 향상되는 것을 확인할 수 있다[Chen et al. (2023a)의 Fig. 3 참조].

2.6 ClimaX

ClimaX (Nguyen et al., 2023)는 기후 및 기상 연구를 위한 범용 딥러닝 모델로, 다양한 이질적 데이터 세트에 대해 학습하고 이를 활용하여 여러 기상 및 기후 예측 작업에 일반적으로 적용될 수 있도록 설계되었다. 이 모델은 Coupled Model Intercomparison Project Phase 6 (CMIP6)에서 유래된 기후 데이터 세트를 기반으로 자가 지도 학습(Self-supervised learning)을 통해 사전 훈련되었으며, 이후 미세 조정(Fine-tuning)을 통해 대기 변수나 시공간적 규모와 같은 예측 작업에 적응할 수 있다. ClimaX는 특히 Transformer 아키텍처를 확장하여 새로운 인코딩 및 집계 블록을 도입함으로써 다양한 변수를 포함한 이질적 데이터에서 효율적으로 학습할 수 있도록 했다.

기존의 대부분의 기상 및 기후 모델은 수치 모델을 통해 대기의 비선형 동역학과 복잡한 상호작용을 모사하는 방식을 취하며, 이 과정에서 높은 해상도와 긴 시간의 모델링은 계산 비용이 크다는 단점이 존재한다. 데이터 기반 모델은 이러한 비용 문제를 극복하려는 접근법으로, 기계 학습을 통해 데이터에 기반한 함수적 관계를 학습하여 특정 예측 작업을 수행한다. ClimaX는 이와 같은 데이터 기반 모델들의 일반화 가능성을 확장하여 다양한 기후 및 기상 문제를 해결할 수 있는 기초 모델을 제안하였다.

ClimaX의 아키텍처는 ViT에 기초하여 설계되었으며, 주요 구성 요소로는 변수 토큰화(variable tokenization)와 변수 집계(variable aggregation)가 있다. 변수 토큰화는 각 기상 변수들을 독립적으로 토큰화하여 각 변수의 특성을 잘 반영할 수 있도록 하였으며, 변수 집계는 동일한 공간 위치에서 서로 다른 변수들을 통합하여 계산 복잡도를 줄이고 학습의 효율성을 높인다. 이를 통해 ClimaX는 다양한 변수를 포함한 데이터셋에서 효과적으로 학습할 수 있다. 사전 훈련된 ClimaX는 다양한 기상 및 기후 작업에 대해 미세 조정될 수 있으며, 특히 훈련 시 보지 못한 시공간적 규모에서도 높은 성능을 보였다.

ClimaX는 전 지구적 예측, 기후 모델 규모축소, 장기 기후 예측 등의 다양한 작업에 대해 성능을 평가받았다. 실험 결과, ClimaX는 WeatherBench (Rasp et al., 2020) 및 ClimateBench (Watson-Parris et al., 2022) 등의 기존 벤치마크에서 우수한 성능을 보였으며, 중기 예측, 기후 모델 규모축소 등의 작업에서 기존의 수치 모델들과 비슷하거나 더 나은 성능을 기록하였다. 특히, 다양한 변수 및 시공간적 해상도에서 ClimaX는 일반적으로 높은 성능을 유지하며, 이는 기초 모델로서의 가능성을 확인시켜준다. Figure 6은 ClimaX가 지원하는 다양한 예측 작업의 시공간적 규모를 시각적으로 보여준다.

Fig. 6.

ClimaX is built as a foundation model for any weather and climate modeling task. On the weather front, these tasks include standard forecasting tasks for various lead-time horizons at various resolutions, both globally or regionally. On the climate front, making long term projections and obtaining downscaling results from lower resolution model outputs are standard tasks. Adapted from Fig. 1 in Nguyen et al. (2023).

ClimaX는 기상 및 기후 연구를 위한 범용 딥러닝 모델로, 다양한 변수와 해상도를 다루는 작업에서 높은 성능을 보였다. 향후 연구에서는 더 큰 규모의 데이터셋과 모델을 사용하여 ClimaX의 성능을 확장하는 것이 가능할 것으로 보이며, 극한 기후 이벤트와 같은 특수한 상황에서의 예측 성능을 개선하기 위한 연구도 진행될 수 있다. 또한 ClimaX의 사전 훈련된 가중치를 활용하여 다양한 환경 및 기후 시스템 관련 문제를 해결하는 데 기여할 수 있을 것으로 기대된다.

2.7 FuXi

최근 몇 년 동안 기계학습(ML) 모델은 10일 전방 예측에서 ECMWF의 고해상도 예측(HRES)을 능가하는 성능을 보였으나, 15일 이상의 장기 예측에서 발생하는 예측 오차 누적 문제를 해결하는 데는 어려움을 겪고 있다. 이러한 문제를 해결하기 위해 FuXi라는 계단형 ML 기반 날씨 예측 시스템이 제안되었다(Chen et al., 2023b). FuXi는 39년간의 ECMWF ERA5 재분석 데이터를 사용하여 개발되었으며, 15일 미래 예측에서도 ECMWF의 앙상블 평균(ensemble mean; EM)과 유사한 성능을 보인다. 이 시스템은 6시간 간격의 시간 해상도와 0.25도의 공간 해상도를 가진 15일 글로벌 날씨 예측을 제공한다.

FuXi 모델은 세 개의 독립적인 예측 모듈을 계단형으로 연결한 구조로, 각각 0~5일, 5~10일, 10~15일의 예측 기간에 최적화되어 있다(Fig. 7). FuXi는 기상 변수를 효율적으로 학습하기 위해 U-Transformer라는 모델 구조를 사용한다. 이를 통해 대규모 고차원 기상 데이터로부터 복잡한 관계를 학습하고, 예측 정확도를 향상시킬 수 있었다.

Fig. 7.

Overall architecture of FuXi model. (a) The FuXi model consists of three components: cube embedding, U-Transformer, and fully connected (FC) layer; (b) FuXi-Short, FuXi-Medium, and FuXi-Long models cascade and produce 15-day forecasts, with each model generating 5 days forecasts. Adapted from Fig. 5 in Chen et al. (2023b).

앙상블 예측을 위해 초기 조건과 모델 파라미터에 대해 섭동을 가하여 불확실성을 반영하였으며, 이를 통해 ECMWF 앙상블과 비교 가능한 예측 결과를 도출하였다. FuXi는 특히 지표면 온도(T2M)와 500 hPa 지위고도(Z500)의 예측 리드 타임을 각각 14.5일과 10.5일로 연장하는 데 성공하였다.

FuXi 모델의 성능 평가는 2018년 데이터를 사용하여 이루어졌으며, 6시간 간격의 15일 예측을 생성하였다. 예측 성능은 ECMWF HRES, GraphCast, ECMWF EM 등과 비교되었으며, Z500 및 T2M과 같은 주요 변수를 대상으로 ACC와 RMSE를 평가하였다. FuXi는 ECMWF HRES와 GraphCast보다 예측 리드 타임이 길어질수록 우수한 성능을 보였으며, 특히 9일 이후의 예측에서 ECMWF HRES를 능가하였다[Chen et al. (2023b)의 Fig. 1 참조].

또한, FuXi 앙상블 예측은 ECMWF 앙상블과 유사한 수준의 불확실성을 제공하며, 지위고도(Z500), 850 hPa 온도(T850), 해수면 기압(MSL), 지표면 온도(T2M)와 같은 주요 기상 변수에 대해 9일 이상의 예측에서 Continuous Ranked Probability Score (CRPS) 점수 면에서 ECMWF 앙상블과 비교할 만한 성능을 보였다.

FuXi는 ML 기반 날씨 예측 모델로써, 기존의 ECMWF HRES를 대체할 수 있는 잠재력을 가지고 있다. 특히 15일 이상의 장기 예측에서 누적 오차를 줄이기 위해 각 예측 기간에 최적화된 계단형 모델 구조를 도입함으로써, 예측 성능을 향상시킬 수 있었다. 향후 연구에서는 FuXi의 예측 기간을 28일로 확장하여, 계절 내 변동성까지 예측할 수 있는 가능성을 탐색할 예정이다. 또한, ML 기반 시스템의 완전한 자동화와 초기에 의존하는 자료 동화 기법을 개선하는 연구가 필요하다고 전하였다.

2.8 AIFS

ECMWF는 새로운 인공지능 기반 예보 시스템인 AIFS를 개발하였다(Lang et al., 2024). AIFS는 기계 학습을 활용하여 중기 범위의 전지구적 기상 예측을 목적으로 하며, 기존의 NWP와 비교하여 시간적, 자원적 효율성을 제공한다. AIFS는 GNN 인코더-디코더와 슬라이딩 윈도우 트랜스포머 프로세서를 사용하여 높은 예측 정확성을 달성하였으며, ECMWF의 ERA5 재분석 데이터와 운영 분석 데이터를 학습하였다.

AIFS는 GraphCast와 유사하게 인코더-프로세서-디코더 구조로 구성되며, 기상 데이터를 그래프 구조로 처리하여 예보 정확도를 높이는 방식이다(Fig. 8). 인코더는 입력 데이터를 낮은 해상도의 프로세서 그리드로 집약하여 전달하고, 프로세서는 이를 기반으로 예측을 수행한 후 디코더가 원래의 입력 데이터 해상도로 결과를 복원한다. 이러한 과정에서 인코더와 디코더는 각각 542,080개 그리드 포인트와 1,038,240개 그리드 포인트를 사용하여 ERA5의 원래 해상도에서 데이터를 다루며, 프로세서는 16개의 층을 통해 정보를 점진적으로 갱신한다.

Fig. 8.

AIFS encoder/decoder and processor block schematics: GNN block (top, labeled “MapperBlock”), processor block (bottom, labeled “Transformer ProcessorBlock”). The GNN block uses a multi-head graph transformer convolution operation to update the nodes and the edges of the processor, whereas the pre-norm transformer block relies on multi-head self-attention. Adapted from Fig. 3 in Lang et al. (2024).

프로세서 블록은 프리-노름(pre-norm) Transformer 구조를 따르며, 전지구적으로 격자 이웃을 포함하는 Window Attention을 사용한다. AIFS는 모델 병렬성 최적화를 통해 학습 중 GPU 메모리 사용을 최소화하며, 고해상도 데이터를 학습할 수 있는 유연성을 제공한다. 이러한 병렬처리는 시퀀스(sequence) 병렬성과 텐서(tensor) 병렬성을 결합하여, 많은 양의 데이터와 여러 자기 회기 스텝에서 효율적인 학습을 가능하게 한다.

AIFS는 기존 IFS와 ERA5에 비교하여 500 hPa의 기압 고도 예측의 ACC에 있어서 전반적으로 더 높은 예측 정확도를 나타낸다. 특히 중기 예보(6일, 10일)에서는 AIFS의 예보 기술이 더 큰 개선을 보여준다[Lang et al. (2024)의 Fig. 4 참조].

AIFS는 ECMWF의 ERA5 및 IFS의 운영 분석 자료(operational real-time data)를 기반으로 훈련되었으며, 1979년부터 2020년까지의 ERA5 데이터로 사전 학습을 수행하였다. 초기에는 6시간 간격의 예보를 목표로 하여 모델을 학습한 후, 점진적으로 예보 기간을 72시간까지 확대하는 방식으로 자기회귀 훈련을 진행하였다. 이후 2019년과 2020년의 운영 분석 데이터를 활용하여 모델을 미세 조정하였다.

학습 과정에서 AIFS는 입력 및 출력 상태를 표준화하여 단위 분산과 평균을 0으로 조정하였다. 손실 함수는 타겟 상태와 예측 결과 사이의 면적 가중 평균 제곱 오차(mean square error; MSE)를 사용하며, 각 출력 변수에 대해 경험적으로 설정된 가중치가 적용되었다. 특히 상층 대기 변수에 대한 가중치는 줄어들어, 주요 예보 대상이 지표면과 중층 대기임을 나타낸다.

AIFS는 상층 대기 변수 및 지표면 날씨 변수에 대해 매우 높은 예측 성능을 보인다. 북반구 ACC 평가에서 AIFS는 기존의 IFS와 ERA5를 능가하는 예측 성능을 보였으며, 특히 중기 예보에서 12시간 이상의 예측 우위를 가진다. 열대성 저기압 경로 예측에서도 AIFS는 더 낮은 위치 오류와 더 나은 경로 예측을 보였으며, 특히 중심 기압과 최대 풍속 예측에서 보다 정확한 결과를 나타냈다. 그러나 초기 예보에서는 지표면 850 hPa 바람 속도 등 일부 변수가 IFS보다 낮은 예측 성능을 보이기도 했다.

AIFS는 전반적으로 매우 경쟁력 있는 예측 성능을 나타내며, 특히 상층 대기 및 지표면 변수에서 탁월한 성능을 보인다. 이는 기상 관측 데이터와 분석 데이터를 활용한 모델 훈련을 통해 가능했으며, 앞으로의 발전 방향으로는 관측 데이터를 직접 사용하는 방법이나, 확률적 예측 시스템으로의 확장이 제안된다. 또한 열대성 사이클론의 예측 성능 향상을 위해 고해상도 입력 데이터와 모델 구조의 개선이 필요할 것이다. ECMWF는 AIFS의 소스 코드와 모델 가중치를 공개할 계획이며, 이를 통해 더 많은 연구자들이 기여할 수 있는 생태계를 조성할 것으로 기대된다.