전지구예측모델 개발을 위한 검증분석 도구: Korean Integrated Model Analysis/Evaluation Tool (KAT)

1. 서 론

예보 검증(forecast verification)은 관측 또는 ‘참’이라고 믿을 수 있는 좋은 추정치와 비교함으로써, 예측이 얼마나 좋은지를 평가하는 것이다. 여기에서 예측의 ‘좋음’이라는 것은 예측의 질(quality), 가치(value), 일관성(consistency)의 서로 다른 측면에서 말할 수 있는데(Murphy, 1993), 현재까지의 예보 검증의 주류는 참값 또는 좋은 추정치와 비교하여 벗어난 정도를 평가하는 것, 즉 예측의 ‘질’에 집중하고 있다. 검증을 통해 예측의 질을 지속적으로 파악하고 주요 문제점과 관련된 원인을 추적함으로써 예측시스템의 개선 방향을 제시할 수 있기 때문에, 예보 검증은 기상 예측 연구에서 매우 필수적인 요소이다(Casati et al., 2008; Jolliffe and Stephenson, 2012; Ebert et al., 2013).

예보 검증은 상당히 광범위한 영역이며 예측시스템의 특성과 예보의 범위에 따라서 기본적인 설계가 상이할 뿐만 아니라, 검증산출물의 종류와 목적에 따라서 여러가지 방법론이 제시될 수 있다. 또한 최근에는 전통적인 검증 방법의 한계를 넘어서 새로운 방법을 제시하거나, 예측의 가치와 일관성과 같은 다양한 관점의 확장된 검증 연구들이 수행되고 있다. 그럼에도 불구하고, 예측산출물의 성능을 평가하는데 있어서 가장 기본적이며 핵심적인 요소로 여겨지는 ‘표준검증’의 항목들은 필수적으로 사용되고 있으며, 세계기상기구(World Meteorological Organization; WMO)에서는 이러한 검증 자료가 교환되고 동일한 기준으로 비교될 수 있도록 상세한 수준의 엄격한 지침을 정의하고 있다(WMO, 2023). 이러한 표준 검증은 각 예보기술 개발의 마지막 단계의 평가 또는 예측시스템 간 비교에 활용되는 핵심 지표이다(WMO Joint Working Group on Forecast Verification research; https://www.cawcr.gov.au/projects/verification/). 이는 예보시스템의 계층적 개발(hierarchical system development; HSD)의 상위에 위치하는 엄격한 평가 단계에 해당하며, 전세계 예보센터에서 발행하는 현업 중기예측에 대한 검증보고서의 핵심 내용은 이러한 표준 검증 결과를 필수적으로 포함한다(e.g., Haiden et al., 2018; KMA, 2024). WMO에서는 예측시스템별 선도 센터를 운영하여 검증을 관리하고 자료를 공유하고 있는데, 유럽중기예보센터(European Centre for Medium-Range Weather Forecasts; ECMWF)는 WMO 중기 단정예측 검증의 선도센터(WMO Lead Centre for Deterministic Forecast Verification; WMO-LCDNV)로서 각 현업예보센터의 검증 결과를 취합하여 비교 게시하고 있다(https://wmolcdnv.ecmwf.int/).

기후변화의 가속화와 국내 날씨 예측의 불확실성을 극복하기 위해 국내 독자적 수치모델 기술을 갖추려는 노력의 일환으로 한국형수치예보모델개발사업단(Korea Institute of Atmospheric Prediction Systems; KIAPS)이 설립되었으며, 2011년부터 2019년까지 9년간의 KIAPS 사업을 통해 한국형모델(Korean Integrated Model; KIM)이 개발되었다(Hong, 2018; KIAPS, 2020). 개발된 한국형모델 KIM은 현업화 과정을 통해 2020년부터 기상청 현업 중기예측에 적용되어 운영되고 있다(KMA, 2023; Jung et al., 2024; Lee et al., 2024b). 한편, KIM의 시공간 예측 범위를 확장하기 위한 KIAPS 2차 사업을 통해, 수 km 해상도의 고해상도 초단기 모델부터 결합모델 기반의 앙상블 연장중기 예측모델 기술이 개발되고 있다(Bae et al., 2024; Koo et al., 2024; Lee et al., 2024a). 이러한 일련의 수치모델 개발 과정에서 개발 요소의 평가를 위한 검증도구의 확보가 요구되었다. 이에 KIAPS에서는 1차 개발사업(2011~2019)의 초기 단계부터 중기예측 모델 개발을 위한 검증도구 개발에 착수하였으며 모델 평가에 필수적인 요소를 포함하고 모델의 개선을 위한 오차 추적을 고려한 검증체계인 KIM Analysis/Evaluation Tool(KAT)를 구축하였으며, 현재까지 지속적인 개선을 수행해오고 있다(Lee et al., 2021).

개발의 초기에는 목표 사양의 수치예보시스템을 평가할 수 있는 표준 검증 도구가 필수적으로 요구되었으며 이 때 WMO 및 현업기관의 통계검증 방법을 우선 도입하였다. 또한 수치모델 개별요소의 개발을 가속화하기 위해 효율적인 표준 테스트베드 구축 및 전지구 오차를 추적할 수 있는 진단 도구를 확보하였다. 이후에는 이러한 초기버전의 검증 도구를 기반으로 검증 자료와 요소를 점차 확장하는 방향으로 개선을 지속하였다. KIAPS 1차 사업의 완성과 함께 KIM 모델의 현업 활용을 위한 Research-to-Operation (R2O) 과정이 도래함에 따라 준실시간 성능 검증을 위한 사례 및 악기상 검증 도구들이 개선되었으며, 기상청 현업 운영과 R2O 과정을 고려하여 현재까지도 지속적으로 평가도구를 개선하고 있다. 최근 KIM4.0 업그레이드에서는 전지구 중기 예측의 수평 해상도가 8 km로 증가했으며(Lee et al., 2024a, 2024b), 고해상도 모델 산출물의 검증 수행을 위해서는 병렬화 및 최적화를 통한 도구의 계산 효율성 확보가 매우 중요한 이슈로 대두되고 있는 실정이다.

본 기술노트는 전지구 중기예측 모델 KIM의 개발에 활용되고 있는 검증체계인 KAT을 소개하고 고려하고 있는 주요 검증 요소 및 개선 과정에 대해서 기술하고 있다. 각 요소별 주요 방법론과 검증산출물과 함께, 예측 자료 생산에 필요한 테스트베드의 설계와 검증에 활용되는 규준 자료에 대한 내용도 포함하고 있다. 본 기술노트의 2장은 KAT의 소개 및 개발과정 전반에 대한 내용으로 검증에 요구되는 자료와 테스트베드를 포함하여 기술하였다. 이어 3~6장에서 검증 각 요소인 ‘표준 검증’, ‘오차 진단’, ‘사례 검증’, ‘계절 모의 분석’의 내용을 순차적으로 기술하고, 7장에 이를 요약한다.

2. KIM Analysis/Evaluation Tool (KAT)

2.1 KAT 개요 및 업데이트

KAT은 현업용 전지구 중기예측 모델인 한국형모델 KIM의 개발에 활용할 목적으로 구축된 검증시스템이다. 현재는 단정(deterministic) 예측 산출물 검증만을 그 대상으로 하고 있고, 확률(probabilistic) 예측 검증에 대해서는 확장을 준비하고 있다. Figure 1은 KAT의 주요 요소를 나타낸 것으로, 이는 중기 예측결과의 1) 표준 검증(STAT)과 2) 오차 진단(EVAL), 그리고 개별 악기상 사례 분석을 위한 3) 사례 검증(CASE&TYP), 장기 모의 안정성 분석을 위한 4) 계절 모의(SEAS)로 구분된다. 제시하지는 않았으나 수치예측 결과의 주요 일기도 산출물 생산의 기능도 포함하고 있다.

Fig. 1.

Main elements of KAT4.1 with applicable testbeds.

Table 1은 KAT의 주요 업데이트 내역을 나타낸 것이다. KAT의 버전명은 편의상 KIM 모델의 버전명을 따라가도록 관리하고 있다. 초기의 KAT 베타 버전에서는 일기도 산출과 표준 검증의 일부내용 그리고 악기상 사례 분석을 포함하여 구축되었다. 이러한 검증 요소들은 이후 업데이트를 통해 순차적으로 확장하였다. V2.5에서 코드 통합버전을 KAT의 이름으로 정식 배포하였다. 여기에는 표준 검증과 악기상 검증 외에 추가로 지상 검증과 분석 및 재분석을 활용한 오차 진단을 포함함으로써 개발의 활용을 확대하였다. V2.5~V3.3에서는 주로 코드 및 알고리즘의 최적화를 진행하였고, V3.6에서는 악기상 사례 확장과 태풍 검증이 추가되었다. V3.7의 주요 업데이트는 통계산출물을 한눈에 파악할 수 있는 스코어카드 산출이 있으며, 기능적으로는 슈퍼컴 5호기에 적용하기 위한 최적화를 진행하였다.

Table 1.

Major update history of KAT with evaluation elements and technical advancement.

가장 최근에 진행한 업데이트 중 검증 요소의 확장으로 V4.0에 추가된 집중호우 분석 도구가 있다. 기능적으로는 최근의 두 업데이트(V4.0~4.1)에서 주요 통계 검증 과정의 병렬화 및 최적화를 통해 계산시간을 크게 개선한 바 있다. 예측 모델의 해상도 증가와 예측 성능 검증을 위한 실험의 확대, 그리고 검증 신뢰도 확보를 위한 충분한 예측 샘플의 확보 등을 고려했을 때 검증 도구의 계산 효율성은 매우 중요한 부분이다. 특히 KIM 모델이 최근 12 km에서 8 km로 고해상도화에 성공하였고(Lee et al., 2024a), 이에 따라 분석에 소요되는 물리적 시간 증가에 따라 검증 도구의 효율성에 대한 이슈가 대두되었다. 이에 따라 계산 시간이 특히 많이 소요되는 과정인 통계적 검증과 오차진단에 대한 코드 병렬화를 수행하였다. 주요 개선은 단위 작업의 분산 수행이 가능하도록 설계한 것으로, Fig. 2에서는 KAT4.1의 통계 검증에 적용된 CPU 분할에 대한 모식도를 보여주고 있다. 이러한 개선을 통해 검증 분석에 소요되는 계산 효율 및 활용도를 크게 향상시켰다(Lee, 2023a, 2023b).

Fig. 2.

Diagram of CPU decomposition for background tasks of the optimized version of KAT4.1 for STAT and EVAL modules. Work flows in 5th supercomputer.

2.2 검증 자료

KAT의 검증에 활용되는 자료의 목록을 Table 2에 제시하였다. 전지구 성능 검증에 기본적으로 활용되는 자료는 KIM의 자체분석장이다. 이는 자료동화를 포함한 KIM의 순환(cycle) 실험에서 생산되는데, 각 개발 버전의 순환실험 테스트베드에서 생산되는 자료를 사용할 수 있고, 기상청 현업 분석장도 활용할 수 있다. KAT에서는 KIM의 분석장 이외에도 ECMWF의 Integrated Forecast System (IFS)의 고해상도 예측에서 생산되는 분석장을 성능 검증에 활용하기도 한다. 자체분석장에 포함되는 모델 자체의 편향 오차에 따라 예측 오차가 과소모의 될 수 있기 때문에 교차 검증이 필요하며, 현재 가장 우수한 성능을 보이고 있는 IFS 고해상도 분석을 활용하고자 하였다.

Table 2.

Reference data used for verification/evaluation with KAT.

재분석 자료 또한 검증에 활용되고 있는 주요 자료이다. 특히 여러 해에 대한 모의 특성을 분석하는 계절 모의에서는 재분석 자료의 활용은 필수적이다. ECMWF Reanalysis v5 (ERA5; Hersbach et al., 2020) 자료는 비교적 높은 해상도(0.25도, 1시간)의 전지구 재분석 자료를 제공하며, 수치모델 검증 연구에 활용되고 있다. 그 외 Modern-Era Retrospective analysis for Research and Application, Version 2 by NASA (MERRA2; Gelaro et al., 2017) 자료를 KAT에서 활용하고 있다.

직접 관측자료인 대기 라디오 존데, 지상 관측자료를 관측 검증에 사용하고 있으며 한반도 자동관측시스템의 강수 관측자료를 검증에 활용한다. 한편 전지구 모델의 강수 모의 특성 분석을 위해 Tropical Rainfall Measuring Mission (TRMM) Multi-satellite Precipitation Analysis (TMPA), Climate Prediction Center (CPC; Xie et al., 2007)의 우량계 기반 육상 전지구 일강수 분석 자료를 사용하고 있으며, 그리고 최근 Integrated Multi-satellitE Retrievals for GPM (IMERG; Huffman et al., 2015)의 동아시아 성능 우수성을 확인하고 활용을 확대하였다(Lee and Lee, 2018). 또한 장기모의에서 널리 활용되는 Global Precipitation Climatology Project (GPCP; Huffman et al., 2001) 등 전지구 영역을 포함할 수 있는 다양한 강수 분석 자료를 사용하고 있다.

모델의 물리적 특성을 분석하기 위해서 복사와 구름에 대한 정보가 요구된다. 분석 및 재분석에서 제공되는 이러한 정보들은 관측이 동화되었음에도 불구하고 모형의 특성에 의존하는 경향이 있어, 추가적인 정보가 요구되고 있다. 일반적으로 높은 신뢰도로 알려져 많은 연구에 활용되고 있는 자료를 활용하고자 하였는데, the Clouds and the Earth’s Radiant Energy System Flux Products (CERES)의 복사 자료, the International Satellite Cloud Climatology Project (ISCCP)의 구름 자료 등이 활용된다. 태풍 검증에는 Joint Typhoon Warning Center (JTWC)와 WMO Regional Specialized Meteorological Center (RSMC)의 최적 경로(best-track) 자료를 사용한다. RSMC의 경우 현업기관 태풍 검증의 표준 자료이며 JTWC의 경우 태풍에 대한 보다 상세한 정보를 추가로 제공하고 있어 목적에 맞도록 활용하고 있다(Shin et al., 2022).

각 검증자료의 활용에 있어서는 자료의 속성에 대한 이해가 필요하며, 이에 따라 검증을 위한 자료처리의 과정이 필요하다. 자료간 격자 차이나 균질/비균질 특성을 고려한 내삽 과정(Accadia et al., 2003; Kim et al., 2018), 변수의 정의와 특성에 필요한 보정과정, 자료의 품질 관리, 대응 변수의 시공간 해상도, 사례 기간 및 샘플 수, 통계 지수 등에 대한 상세한 고려가 필요하다.

3. 표준 검증

KAT 표준 검증은 중기단정예측 성능을 WMO 통합 예측 시스템 지침(Integrated Processing and Prediction System; WIPPS)의 기준으로 평가하는 과정이다(Lee et al., 2021; WMO, 2023). 여기에는 대기 검증, 지상 검증, 강수 검증의 세 가지 검증 과정이 포함된다. 수치예보 현업센터는 매 월단위로 표준 검증 결과를 교환하고 있으며, 이는 일별 성능과 월 평균의 자료가 해당된다. 이 때 검증 시각이 다른 예측 결과들은 대푯값 산출에 섞이지 않도록 한다. 즉 0000 UTC와 1200 UTC 예측을 분리해서 검증한다. 수집된 결과는 WMO-LCDNV의 사이트에 게시된다. KIM 개발을 위한 업데이트 절차에서도 동일한 표준 검증을 수행하고 있으며, 기상청 현업화 과정에서도 표준 검증의 결과가 주요 평가 요소이다.

3.1 대기 검증

표준 검증에서 대기 성능의 검증은 예측시스템의 분석장 대비 성능을 검증하는 1) 분석검증, 그리고 현장(in-situ) 관측인 존데 관측을 기준으로 검증하는 2) 관측 검증을 수행한다. 각 과정은 WMO 표준을 따른다. 여기에는 검증을 수행하는 대기 변수(해면기압, 지위고도, 기온, 풍속 및 상대습도 선택), 검증 고도(해면기압 외 850, 500, 250 hPa 및 700 hPa 선택), 분석 영역(남·북반구 중위도, 열대, 북미, 유럽/북아프리카, 아시아, 호주/뉴질랜드, 남·북극 지역), 예보 시각(0000, 1200 UTC), 예보 간격(+24, 48, 72, … 240 h 또는 12 h 간격 선택) 등 필수 요소 및 추가 확장에 대해 지정하고 있다.

표준 대기 검증을 위해 예측과 검증(분석 및 관측) 자료의 처리가 필요하다. 분석 검증의 경우 분석장(검증 기준) 및 예측장의 해상도를 균일 1.5도로 내삽하게 되어 있다. 이 때 스펙트럴 모델의 경우 T120의 truncation, 격자모델의 경우 영역가중치 방법을 사용하도록 한다. 검증해상도와 내삽 방법은 검증 결과와 개선 여부의 판단에 영향을 미칠 수 있어 표준화에 주의해야 한다. 관측 검증의 경우 해면기압을 제외한 대기 변수에 대해 수행하고, 사용하는 라디오 존데 자료의 목록과 관측 품질 관리는 각 예측시스템에 종속된다. KAT에서도 KIM 예측체계 순환 실험을 통해 품질정보가 포함된 관측자료를 검증에 사용한다(Lee et al., 2017). 관측 검증은 관측 공간에서 수행하며, 관측 지점의 근거리 격자(nearest grid) 예측 자료를 사용한다.

표준 대기 검증에서 생산하는 검증 지수로는 평균 오차(mean error; ME), 평균제곱근오차(root mean square error; RMSE), 이상상관계수(anomaly correlation; AC)가 있으며 해면 기압의 분석 검증에서는 S1 지수를 포함한다. 관측 검증에서는 ME와 RMSE만을 평가한다. 이 중 ME와 RMSE는 예보와 관측의 차이, AC는 예보와 관측의 상관정도 즉 위상, S1는 예보 공간 기울기의 척도이다. 관측 O에 대한 예측 F에 대해 각각의 일반적 정의는 다음과 같이 표현된다.

$\[ \begin{array}{l}\mathrm{M}\mathrm{E}=\frac{1}{N}\sum _{i=1}^N\left(F_i-O_i\right)\\ \mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt{\frac{1}{N}\sum _{i=1}^N{\left(F_i-O_i\right)}^2}\\ \mathrm{A}\mathrm{C}=\frac{\sum \left(F-C\right)\left(O-C\right)}{\sqrt{\sum (F-O{)}^2}\sqrt{\sum (O-C{)}^2}},\mathrm{C}: \mathrm{c}\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{y} \\ \mathrm{S}1=\frac{\sum _{adjacent pairs }\left|\mathrm{\Delta }F-\mathrm{\Delta }O\right|}{\sum _{adjacent pairs }\mathrm{m}\mathrm{a}\mathrm{x}\left(\left|\mathrm{\Delta }F\right|\cdot \left|\mathrm{\Delta }O\right|\right)}\times 100\end{array} \]$

주의할 것은 이상상관계수와 같이 기후값을 사용하는 검증 지수의 경우, 모든 기관은 WMO 선도연구센터에서 제공하는 값을 사용하도록 하고 있다는 점이다. 또한 전지구 혹은 지역 평균에서는 위도 가중치를 고려하도록 하며 이는 KIAPS 기술노트(Lee et al., 2021)에 상세히 기술되어 있다.

표준 대기 검증의 산출물은 다양한 방법으로 가시화된다. 지역별 변수별 예측시간에 따른 검증 지수의 변화를 각각 산출하는 한편, 변수별 지역/고도/예측시간별 성능을 한눈에 파악하기 위해 성능 비교 스코어카드를 생산한다. 스코어카드는 두 예측시스템의 성능을 비교하여 요약된 정보를 제공하는 하나의 종합표로 상대적 성능 비교를 통해 예측 성능 개선 및 저하를 한 눈에 파악하기 용이하다. Figure 3은 KIAPS 내부에서 준 실시간 운영된 10일 예측 결과를 표준 분석 검증을 수행한 결과로 12 km 해상도와 8 km 해상도 예측의 2022년 12월 월평균 성능을 RMSE와 이상상관계수로 비교한 스코어카드이다. 그림에서 초록은 성능 개선을 빨강은 성능 저하를 의미하는데, 모델의 수평 해상도가 증가함에 따라 북반구, 적도, 아시아 전반의 예측 성능에서 개선이 있음을 확인할 수 있다. 한편 이 결과에서 적도 상층 및 예측 후반의 남반구 성능 저하가 확인되는데, 이는 적운대류 물리과정에서 고려하는 아격자 수상량 계산과 관련된 것으로 이후 최적화를 통해 개선되었다(Lee et al., 2024a)

Fig. 3.

A scorecard summarizing large-scale atmospheric accuracy shown in RMSE and AC (Anomaly Correlation, also denoted as CCAF following KMA’s scorecard convention ‘Correlation coefficient of anomaly forecast’). Results compare medium-range global skills of KIAPS KIM4.0 from 8 km to 12 km resolution for December 2022 verified against analysis.

3.2 지상 검증

수치모델에서 지상 변수의 예측 성능은 예보 활용과 개발 검증 측면에 모두 중요하다. 전통적으로 전지구모델의 성능을 대표하는데 주로 대기 중층의 성능(예, 500 hPa 지위고도 성능)이 사용되어 왔으나, 지상의 물리과정이 전지구 예측 성능에 크게 영향을 미치기 때문에 지상 검증은 매우 중요한 요소이다. KAT의 지상 검증은 전지구 종관관측(synoptic observation; SYNOP)의 지상관측자료를 검증자료로 활용하도록 구축되었다(Lee et al., 2017). 검증 변수는 지상 기압, 기온, 비습, 풍속, 그리고 전운량이다. WMO에서 제시하는 지상 검증 변수는 2 m 기온, 10 m 풍속과 풍향, 24시간 누적 강수(일강수)를 필수로 하고 총운량, 6시간 누적 강수, 2 m 상대습도와 이슬점 등은 선택사항으로 명시하고 있다. KAT에서는 일강수의 검증은 강수 검증에서 따로 처리하고 있다.

지상 검증에 사용되는 관측자료는 대기 검증과 마찬가지로 예측시스템 구동을 통해 자료동화 전처리에서 품질관리되는 SYNOP 자료를 활용하고 있다. 또한 통상 관측 검증과 동일하게 검증은 관측지점에서 이루어지며 공간내삽 및 연직고도 보정 과정을 포함하고 있다. 지상 기온의 경우 모델과 관측의 고도차를 고려하여 보정과정을 수행하며 바람 정보는 고도 보정을 수행하지 않는다. 검증 정보로는 ME, 평균 절대 편차(mean absolute error; MAE), RMSE 등을 제공하며, 표준 대기 검증과 동일한 영역 구분을 사용한다. 이때 모델의 마스크 정보를 이용하여 육지/해양을 구분한 검증 정보를 생산하도록 하고 있다. Figure 4는 KIM3.6 버전의 해상도별 지상모의 성능을 KAT으로 검증한 결과로 2017년 7월에 대한 지상기온의 편차와 오차의 시계열을 나타낸 것이다. 모델의 수평 해상도를 약 100 km (NE045)에서 50 km (NE090)으로 두 배 증가했을 때, 아시아 지역 지상기온 편차와 오차가 예측시간에 따라 감소하는 것을 보여주고 있다. 그러나 지상바람의 경우 수평 해상도 차이에 크게 민감하지 않다. 최근 Koo and Hong (2025)은 KIM 물리과정 내 아격자 산악 및 지면 항력을 수정하여 육지 지역 지상바람 모의 성능을 크게 향상한 바 있으며, 이러한 개선은 지상 검증에서 뚜렷하게 나타났다.

Fig. 4.

Time series of forecast Bias and RMSE of surface temperature (2 m temperature, T2M) and wind speed (10 m wind, WS10M) from KIAPS KIM3.6 at different horizontal resolutions of NE045 (~100 km) and NE090 (~50 km) verified against SYNOP observation for the Asian region. 10-day forecast experiments are conducted with ERA5 initials for July 2017.

3.3 강수 검증

KAT의 강수 검증은 현업 전지구 모델의 필수 검증 요소인 24시간 누적강수에 대한 표준 통계 검증으로, 한반도 지역과 전지구 강수 성능 검증을 각각 포함하고 있다. 이 중 한반도 영역의 강수 검증이 WMO 표준에 해당한다. 한반도 영역 검증에는 전국 우량계 강수자료를 사용하고 있으며 종관기상관측장비(automated synoptic observing system; ASOS) 지점의 자료와 자동기상관측장비(automatic weather system; AWS) 지점을 포함하여 총 620개소의 자료를 활용하고 있고, 이 자료는 기상청 기상자료개방포털을 통해 확보하고 있다. 지점 강수 관측자료와 모델 격자 자료와의 비교를 위한 표준 지침은 내삽을 하지 않은 모델의 원시 해상도 결과를 사용하도록 하고 관측지점의 최단거리 격자(nearest grid point)의 값을 선택하여 검증한다.

KAT의 전지구 강수 검증은 육지/해양 영역을 포함하고자 하였으며, 통상 격자 자료로 제공되는 전지구 강수분석자료를 주로 활용하고 있다. 사용되는 자료는 육상의 우량계 기반 강수 분석인 CPC 자료, 마이크로파 위성관측을 기반으로 고위도를 제외한 전지구 분석자료인 TMPA 및 IMERG-final 등의 자료를 이용한다. 각 자료의 원시해상도로부터 0.5도 일강수로 변환하여 검증에 사용하고 있다.

강수 검증은 연속(continuous) 변수로써 제시되는 일반적 기상변수에 대한 검증과 달리, 강수 현상을 강도별로 구분하여 현상의 유무 또는 ‘예/아니오’로 정의하는 양분 예보(dichotomous forecast)에 대한 범주별 통계(categorical statistics)를 생산한다. 양분 예보를 위한 임계값의 선택은 WMO에서 정하는 기준을 고려하여 일강수 0.5, 1, 5, 10, 15, 20, 25 mm day^-1 총 7개 구간을 고려하고 있다. 각 강수 임계값에 대하여 관측과 예측의 ‘예/아니오’를 비교하여 맞힘(hit), 놓침(miss), 거짓 예보(false alarm), 무강수 맞힘(correct negative)의 빈도를 비교하게 되며, 이 정보를 조합하여 강수 통계 검증 지수를 산출하게 된다. frequency bias index (FBI), equitable threat score (ETS), probability of detection (POD), false alarm ratio (FAR), critical success index (CSI) 또는 threat score (TS)는 일반적으로 사용되는 검증 지수로 KAT에서도 이러한 검증 지수를 사용하고 있다. Figure 5는 양분예보 표로부터 산출되는 강수 검증 지수의 정의와 이를 적용한 검증 결과의 예이다. 제시된 검증 결과는 Lee et al. (2024b)의 결과로서 KIM의 적운대류 물리과정에서 대류 발생 조건을 강화한(대류 발생을 억제한) 민감도 실험(MOD)의 결과가 한반도 강수 성능에서 기존 방안(CTL)에 비해 개선됨을 보여주고 있다. 각 임계 강수 구간의 FBI 비교에서는 MOD의 결과에서 약한 강수의 과대모의를 개선하고, 강한 강수가 강화됨을 보여주고 있고, ETS 강수 성능의 개선이 뚜렷함을 보여준다. 이 결과는 전지구 물리모수를 동일하게 조절한 민감도 실험으로, 이러한 내용을 바탕으로 최근 Han (2025)에서는 대류 물리의 격자적응 모수를 개선하여 저위도 강수 성능을 저하하지 않으면서도 동아시아에서 개선된 모의성능을 보일 수 있는 방안을 제시하였다.

Fig. 5.

(a) Quantitative statistical verification for precipitation using various scores based on the 2 × 2 contingency table, (b) verification examples given as prediction scores (+2D-+3D forecast average) for provided precipitation thresholds in South Korea, Asia, and the global domain with given reference data (Fig. 5b from Lee et al., 2024b).

4. 사례 분석

사례 분석 도구는 특정 현상에 대한 모의 특성을 파악하기 위해 사용된다. 단일 예측 샘플의 가시화 또는 일기도 산출 부분과 한반도 주요 악기상 즉 강우/강설, 폭염/한파, 태풍 사례들에 대한 분석을 수행한다. 일기도의 경우 기상청에서 사용하는 주요 일기도를 참고하여 동아시아 영역의 일기도를 산출하고 있고 이때 기상청 예측에 참고하는 타 모델, 즉 UM, IFS의 분석 및 예측일기도 산출이 가능하다. 또한 IFS 분석, 지상관측자료와 같은 자료를 규준(reference)으로 활용하여 한반도 예측 오차를 표출하는 가시화 도구를 포함하고 있다. KAT 사례 분석에는 이처럼 모델의 예측 변수를 표출하는 가시화 이외에 집중호우와 관련된 분석을 위한 ‘집중호우 분석도구’와, 태풍의 경로를 추적하고 오차를 산출하는 ‘태풍검증’ 도구를 포함하고 있다. 아래에 이 두 가지 도구에 대해서 기술하였다.

4.1 집중호우 분석도구

한반도 강수 사례는 종관 패턴에 의해 영향을 크게 받으며 각 패턴과 관련된 주요 강수 메커니즘에 대한 연구가 활발히 이루어져 왔다(Hong, 2004; Park et al., 2021). 따라서 모델 예측 결과의 검증에 있어 강수 사례의 메커니즘에 대한 모의 특성을 파악할 수 있는 분석이 필요하다. 이를 반영하여 한반도에 집중호우를 유발하는 종관 구조와 연관된 변수를 조사하였으며 모델 예측과 관측 자료로부터 주요 변수를 산출 및 표출하는 프로그램을 개발하였다(Cho et al., 2023). 이 때 환경 인자를 비교하기 위해서 IFS 분석 자료를 사용하였으며, 육지-해상의 연속적인 강수 분포의 확인을 위해 IMERG 강수 자료를 사용하고 있다. 대기 환경 인자의 경우 한반도 강수 발생과 밀접한 인자를 고려하였는데, 종관기압계 대한 파악이 가능한 지위고도 및 기온, 풍속 등의 기본 변수 가시화와 함께, 강수 발생과 관련 주요 인자를 고려한다. 특히 여름철 한반도 주변의 북태평양 고기압 확장에 따른 빈번한 강수를 고려하여(KMA, 2022), 늘림 변형장, 수증기 수송을 확인할 수 있는 연직 적분 수증기 수송량, 수평 온도이류 등을 분석한다. 이는 모델의 주요 개발 요소에 대한 대기 환경 변화를 분석하고 모델 개선 방향을 파악하는데 유용한 정보를 제공하고 있다. 모델 예측 강수의 경우 아격자 강수와 격자 강수를 구분하여 표출함으로써 물리과정과의 관련성을 파악할 수 있다.

Figure 6은 집중호우 분석도구를 이용하여 여름철 집중호우에 대한 모의 특성을 검증한 예이다(Lee et al., 2024b). 해당 사례는 2022년 8월 8일 중부지방에 극심한 피해를 야기한 여름철 집중호우 사례로, 중부지방을 가로질러 형성된 정체전선 조건 하에 한반도로 지속적인 수증기 유입이 형성되며 기록적인 호우가 나타났다. 8 km 수평 해상도 모델의 +1일 및 +3일 예측을 이용하여 8월 8~9일간의 일누적 강수를 AWS 관측과 비교하였으며 8월 8일 1200 UTC의 종관 특성을 IFS 분석과 비교하였다. 이를 통해 KIM 단기 예측에서 종관기압계 및 정체전선의 모의와 이와 수반된 수증기 수렴은 실제와 유사한 수준이나, 강수의 위치 및 강도 모의에는 약점이 있음이 파악된다. 특히 예측 시간 +3일에서 심화되는 강수 코어의 약화 및 서쪽으로 지우치는 편향에 대해, Lee et al. (2024b)에서는 KIM 대류 물리과정이 가지는 문제점을 다음과 같이 설명하였다. 서해상의 과도한 대류 강수 모의 오차와 이에 수반되는 풍하 측 대기의 안정한 특성으로 인해, 육상의 격자 규모 강수 발생이 억제되는 문제가 있으며 이는 모델의 대류 발생 임계 조건에 매우 민감하다. 이러한 문제점을 극복하기 위해 Han (2025)은 수평 해상도에 대한 대류 격자 적응 모수를 개선하였으며, 기상청 현업에서는 이와 함께 대류 발생 임계 조건의 최적화를 적용하고 있다.

Fig. 6.

Evaluation of precipitation and synoptic features for the heavy rain case on 8 August 2022. 8 km resolution cycle experiment with KIAPS KIM4.0. +1D (middle) and +3D (right) predictions are compared to references (AWS/ASOS precipitation, IFS synoptic features; Figures from Lee et al., 2024b are modified).

4.2 태풍 검증

태풍 검증 도구는 태풍 사례에 대한 예측 특성을 파악하고, 관측을 활용하여 예측 오차를 검증하는 도구이다. 태풍 검증에서는 모델로부터 태풍 정보를 추출하고 이를 관측과 비교함으로써 태풍 진로 및 강도 예측오차를 산출한다. 이러한 제반 과정에는 관측자료의 수집과 처리, 모델 예측자료에서 태풍 정보의 추출, 오차 계산, 통계값 산출, 결과의 가시화 과정이 포함된다. 해당 과정은 태풍 사례를 검증할 수 있는 사례 분석과 여러 사례의 태풍 예측 결과로부터 검증 대푯값을 산출하는 통계 검증으로 구분된다. 분석 영역은 한반도에 영향을 주는 태풍 영역인 북서태평양 지역을 고려하며, 관측자료로는 WMO의 RSMC와 미국 JTWC의 최적진로 자료를 사용할 수 있다. 태풍 탐지 트래커로는 한국 기상청에서 개발한 트래커와 미국 해양기상청의 Geophysical Fluid Dynamics Laboratory (GFDL)에서 개발한 트래커를 각각 사용할 수 있다. 검증은 진로와 강도에 대해 이루어지며, 진로 검증은 예측과 관측 태풍 위치 사이의 대원거리로 정의되는 단순거리 오차이며, 진행방향 및 수직방향 편차를 구분할 수 있다. 강도 검증은 최소 해면기압과 중심 최대 풍속을 고려한다(Shin et al., 2022). Figure 7은 KIM3.6 버전을 이용한 다양한 해상도에서 모의된 태풍 경로와 강도를 비교한 예로 2018년 태풍 사례 모의 검증 결과이다. 태풍 콩레이(Kong-Rey) 사례에 대한 모델의 수평 해상도에 따른 예측 결과를 비교할 때, 중심기압과 최대 풍속에서 보여지는 태풍의 강도가 수평 해상도가 증가할수록(100 → 25 km) 강해지는 것을 확인할 수 있으며, 태풍의 경로에 있어서도 낮은 수평 해상도(NE045, 약 100 km)에 비해서 개선됨을 알 수 있다.

Fig. 7.

Typhoon Track (left) and TC intensity evaluation from KIAPS KIM3.6 simulations with various horizontal resolutions (NE45, NE90, NE180) verified against best-track data for the typhoon KONG-REY case. 10 day predictions are initialized at 2018093012 with ERA5.

5. 오차 진단

전지구 중기예측 결과의 통계검증과는 별도로, 모델의 지속적 개발과 예측 성능의 향상을 위해 예측의 시공간 오차 특성을 파악하고 오차의 원인을 추적할 수 있는 진단 도구가 요구된다. 특히 주요 변수의 오차 특성 뿐만 아니라 성능에 영향을 미칠 수 있는 주요 물리값들의 모의 특성에 대한 진단이 필요하며, 이를 통해 궁극적으로 모델 오차의 원인이 무엇에 기인하는지를 추적하고 진단할 수 있다. KAT의 오차 진단은 이러한 목적으로 개발되었으며, 오차 진단의 결과는 표준 검증에서 산출되는 통계 검증 결과에 대한 해석을 가능하게 한다. 오차 진단에서는 대기 및 지상 주요 변수에 대한 전지구 예측 편차(bias)와 오차(RMSE), 그리고 두 실험 간의 차이 및 규준대비 오차의 차이를 분석한다. 이러한 결과로부터 개발 요소에 따른 차이와 오차의 특성을 전지구 및 지역규모에서 수평, 연직 다양한 구조로 파악할 수 있다. 이러한 분석에서 규준 또는 검증 자료는 주로 전지구 재분석 또는 분석자료를 사용하고 있다. Figure 8은 수평 해상도 12 km, 및 8 km로 KIM 모델을 수행한 결과에 대한 오차 진단 결과로 주요 변수인 기온, 동-서 바람, 비습에 대한 수평 해상도 간 차이 및 IFS 분석 대비 오차의 차이를 나타낸 것이다. 결과로부터 수평 해상도의 증가에 따라 북반구 기온 및 바람 오차 감소와 적도 습기의 연직 확산 강화를 통한 성능 개선이 있음을 보여준다. 물리과정 개발에서는 이러한 오차 진단이 가장 활발히 활용된다. 특히 동서 평균 연직 구조에 대한 진단은 주요 물리과정의 반응을 빠르게 파악할 수 있다. 예를 들어 Lee et al. (2018)는 대기경계층 상부에 층적운이 있을 경우에 층적운 상부의 복사냉각에 따른 난류 확산이 강화됨을 모수화했는데, 전지구 예측의 적도 부근 연직구조는 경계층 확산 강화에 따른 약 1~2 km 고도의 기온과 비습 확산의 양상을 뚜렷하게 보여줬다.

Fig. 8.

Vertical structures of global zonal-mean difference and RMSD of temperature (left), u-wind (middle), specific humidity (right) between 12 km and 8 km KIAPS KIM4.0 for +5D forecasts. RMSD is verified against IFS analysis (July 2017).

오차 진단에서는 주요 예측 변수 이외에도 모델의 물리적 반응을 해석할 수 있도록 구름, 복사, 강수 등에 대해서 분석한다. 강수 성능 진단에는 관측 기반 전지구 강수 분석자료인 CPC, TMPA, IMERG를 사용하고 있다. 복사 모의 특성에 대한 진단을 위해서는 CERES 자료를 사용하고 있으며 지상 및 대기상한의 상/하향 단/장파 복사를 비교한다. 전지구 구름 비교를 위해서는 ISCCP와 재분석 자료를 참고하고 있다.

Figure 9는 2017년 7월 한달 기간 평균한 KIM의 전지구 강수 예측 편차를 나타낸 것으로 CPC와의 차이이다. 이를 통해 KIM3.6과 KIM3.7 버전 각각에서 육지 지역의 전반적 건조한 계통 오차가 있음을 확인할 수 있는데, 적도 및 아열대 일부 지역을 제외하고는 육상의 강수를 과소 모의하고 있다. Figure 10은 Hong et al. (2018)에서 제시한 전지구 구름과 복사 진단의 예로 KIM3.1의 결과이다. 이 결과에서 상/중/하층운의 모의 결과는 ERA-Interim과 비교하였으며, CERES 대비 하향 단파복사 편차를 제시하였다. 검증 결과 해양지역에서의 하향 단파 복사를 과소 모의, 육지 지역에서는 과대 모의하는 특징이 나타나는데. 이는 저위도 해상에서의 구름 과대 모의 그리고 육상에서의 구름 과소 모의와 관련이 있는 것으로 해석된다. KIM 개발과정에서는 이와 같은 계통 오차를 개선하기 위해 다양한 많은 노력을 해왔다. 그 예로 새로운 구름양 예단 방안의 개발(Park et al., 2016), 대류 물리과정에서 산출하는 아격자 수상들의 복사효과를 일관성 있게 고려하고자 했던 Bae and Park (2019)의 연구, 구름 중첩(cloud overlap) 방안 적용(Kim, 2024) 등이 있으며 각각을 활용한 KIM의 업데이트에서 KAT이 활용되어 왔다.

Fig. 9.

Spatial distributions of monthly mean bias of +3D precipitation prediction (mm day-1) simulated by KIAPS KIM3.6 (left) and KIM3.7 (right) verified against CPC for July 2017. Predictions are performed from initialization with ERA5.

Fig. 10.

Spatial distributions of the differences in (a) high clouds, (b) medium clouds, and (c) low clouds at day 3, from KIM over ERA Interim for July 2016. (d) Mean bias of surface downward solar radiation of three day forecasts of KIM from CERES for the same period (Figures from Hong et al., 2018).

6. 계절 모의 분석

중기예측성능 이외에도 모델의 안정성 확인 및 장기모의를 통한 모델의 계통오차 및 기후모의 특성 파악은 모델 오차 진단에 중요한 요소이다. KAT 계절 모의 분석 도구는 모델의 계절규모 장기적분 결과를 검증자료와 비교하여 모델의 단일해 또는 다년간의 평균 오차 구조를 파악하고 모델 실험간 비교를 통해 개선 정도를 확인할 수 있도록 구축되었다(Park et al., 2022). 주요 기능은 월 평균 및 계절 평균한 모델 자료를 재분석자료 혹은 분석자료와 비교하여 모델의 모의 특성을 파악하고 계통 오차를 산출하는 것이다. 이를 통해 개발 버전의 모의성능 개선 여부를 확인할 수 있다. 이러한 장기간의 계절 모의는 긴 적분시간 통해 증폭된 모델의 평균적 오차 특성을 파악하기 용이하며 특히 전지구 기후 모의 특성을 이해하는데 활용할 수 있다. 모델 개발에서는 주로 저해상도 모의를 통해서 장기간의 기후 모의를 수행한다. 이러한 분석을 확장하여 경년변동성 및 원격상관 모의 성능에 대한 진단이 가능하다.

KAT 계절검증에서 사용하는 검증자료는 대기 변수에 대해 IFS 분석, ERA5 재분석 자료를, 그리고 강수 분석을 위해TMPA, GPCP 자료를 사용하고 있다 (Table 2). 검증 및 모델 자료의 전처리, 기후평균장 및 검증, 가시화 단계를 순차적으로 수행하며, 주요 변수에 대해 관측 및 모델의 평균장, 평균장의 편차, 관측대비 오차의 평균장을 생산하고 전지구 특성을 가시화 한다. Figure 11은 최근 20년간(2001~2020년)의 여름과 겨울에 대한 KIM3.7 계절 모의 실험 결과에 대한 분석결과의 예로 기온, 상대습도, 동서 및 남북 바람에 대한 관측 대비 전지구 평균 편차를 나타낸 것이다. 각 변수별로 오차의 특징을 살펴보면, 중위도 이상 지역에서 전반적인 냉각 편차가 확인되며, 특히 겨울 반구에서는 대류권부터 성층권까지 연결된 한랭 오차가 확인된다. 상대습도에서는 저위도의 건조오차를 제외하면 전반적인 중-고위도의 습윤 오차가 확인되는데, 이는 한랭 오차와도 관련이 있다. 동-서 바람 구조에서는 극야제트(polar night jet) 및 대류권 제트가 과대 모의되는 양상을 보여주고 있으며, 남북 바람장에서는 적도 대류권계면 부근에서 순환의 중심이 상승해서 더 강하게 나타남을 알 수 있고, 열대 하층에서는 여름반구로의 치우침이 확인된다.

Fig. 11.

Evaluation of global zonal-mean bias (shade) of temperature, relative humidity, u-wind, and v-wind climatology from seasonal simulations of KIAPS KIM3.7 against ERA5 shown together with reference climatology (solid line). Seasonal means (JJA, DJF) are obtained from 5 members of time lagged simulations for 4 months with 1-month spin-up initialized on 1 May and November for 20 years (2001-2020). Model resolution is NE45 (100 km).

계절 모의에서 나타나는 편차 특성은 중기 예측 실험에서 나타나는 계통 오차와 대체로 일치하므로 상호 보완하여 사용할 수 있으며, 장기간 실험으로부터 기후특성에 대한 보다 일반화할 수 있는 결론을 내릴 수 있다. 또한 장기간 적분을 통해 모형의 안정성을 확인하는 것은 전지구 모델 개발에 필수적인 요소이다.

7. 요 약

KIAPS의 전지구예측모델 개발에 활용하기 위해 필수적인 평가 및 진단 요소들을 고려하여 검증도구 KAT을 구축하여 활용하고 있다. 개발 요소를 동일한 기준으로 평가하고, 모형의 오차 원인을 분석하기 위한 진단 도구를 확보하는 것은 개발에 매우 중요한 요소이다. KAT의 주요 검증 요소는 전지구 중기예측 성능을 WMO 표준에 의해 평가하는 표준 검증과 전지구 오차 특성을 파악할 수 있는 오차 진단, 한반도 악기상 사례를 분석하는 사례 검증, 그리고 계절 모의 특성을 분석하는 계절 모의 분석이다. 도구의 효과적인 활용을 위해서는 검증 방법의 확장과 함께 도구의 병렬화 및 최적화와 같은 기능적인 개선을 통한 활용 확대가 중요하다. 검증 자료의 확보와 데이터베이스의 관리, 그리고 검증 테스트베드의 관리 또한 일관된 평가와 효율적 개발에 필수적인 요소이다.

현재 KAT은 개발의 상위 단계에 활용되는 성능 평가를 주된 목적으로 하고 있다. 그러나 개발 과정에서는 각 요소에 따라 다양한 방법의 분석이 이루어져야 할 것이다. 개발의 각 단계에서는 오프라인 모델이나 단독 구동시스템(Kim and Koo, 2024), 단일기둥모델(Cho and Koo, 2023), 이상실험(Choi and Klemp, 2021) 등 다양한 도구들이 개발되어 활용하고 있다. 이러한 과정을 통해 모형의 설계를 완료한 경우, 예측 실험을 수행하게 되며 KAT을 통해 성능을 평가함으로써 단계적 개발 검증(HSD)이 가능하다.

모델의 성능 평가 뿐만 아니라, 다양한 요소들에 대한 진단은 모델 개발에 매우 중요한 요소이다. 미국 국립해양대기청(National Oceanic and Atmospheric Administration; NOAA) 산하 지구물리유체역학연구소(Geophysical Fluid Dynamics Laboratory; GFDL)에서 개발한 Model Diagnostics Task Force (MDTF) 패키지는 이러한 목적으로 개발되어, 기상 기후 모델의 단계적 진단에 유용하게 활용되고 있는 진보된 검증 패키지이다. 미국 국립대기과학연구소(National Center for Atmospheric Research)의 Model Evaluation Toolkit, METPlus 또한 광범위한 검증 및 진단 기능을 포함하여 범용 목적으로 확대하고 있으며, 새로운 검증 기법을 주도적으로 도입하고 있다. 이러한 복합 검증 패키지들을 수치모델 개발의 초기 단계의 검증부터, 다양한 예측시스템 평가 목적에 맞는 HSD가 가능하도록 구성되어 있다. 현재 KIAPS에서는 차세대모델의 전주기(초단기~연장중기) 검증을 개발 중이며, 여기에는 결합모델 기반 앙상블 연장중기 예측 검증을 포함한다. 또한 자료동화 과정과 분석장 진단 도구들을 확보해 나가고 있다. 이는 향후 KAT의 새로운 기능으로 포함될 예정이며, 타 기관의 진보된 검증 도구들을 다양한 요소를 활용할 수 있도록 지속적으로 보완해 나갈 계획이다.

Acknowledgments

본 연구는 기상청 출연사업인 (재)차세대수치예보모델개발사업단의 가변격자체계 기반 통합형수치예보모델 개발(KMA2020-02212)의 지원을 받아 수행되었습니다.

REFERENCES

• Accadia, C., S. Mariani, M. Casaioli, A. Lavagnini, and A. Speranza, 2003: Sensitivity of precipitation forecast skill scores to bilinear interpolation and a simple nearest-neighbor average method on high-resolution verification grids. Wea. Forecasting, 18, 918-932. [https://doi.org/10.1175/1520-0434(2003)018<0918:SOPFSS>2.0.CO;2]
• Bae, S. Y., and R.-S. Park, 2019: Consistency between the cloud and radiation processes in a numerical forecasting model. Meteor. Atmos. Phys., 131, 1429-1436. [https://doi.org/10.1007/s00703-018-0647-9]
• Bae, S. Y., R.-S. Park, E.-H. Lee, S. Baek, J.-Y. Han, S.-Y. Kim, and M.-S. Koo, 2024: Improving scale-awareness of the physics package in Korean Integrated Model. KIM, WGNE Blue Book 2024, 2 pp [Available online at https://wgne.net/bluebook/uploads/2024/docs/04_Bae_Soo_Ya_Scale_aware_physics.pdf, ].
• Casati, B., L. J. Wilson, D. B. Stephenson, P. Nurmi, A. Ghelli, M. Pocernich, U. Damarth, E. E. Ebert, B. G. Brown, and S. Mason, 2008: Forecast verification: current status and future directions. Meteor. Appl., 15, 3-18. [https://doi.org/10.1002/met.52]
• Cho, M.-H., and M.-S. Koo, 2023: KIM-Single Column Model (SCM). KIAPS Technical Note, 2023-3, 19 pp.
• Cho, S., K.-H. Cho, and E.-H. Lee, 2023: An evaluation tool for heavy rainfall simulations based on their mechanisms over the Korean peninsula. KIAPS Technical Note, 2023-14, 21 pp.
• Choi, S.-J., and J. B. Klemp, 2021: A new hybrid sigma-pressure vertical coordinate with smoothed coordinate surfaces. Mon. Wea. Rev., 149, 4077-4089. [https://doi.org/10.1175/MWR-D-21-0086.1]
• Ebert, E., L. Wilson, A. Weigel, M. Mittermaier, P. Nurmi, P. Gill, M. Göber, S. Joslyn, B. Brown, T. Fowler, and A. Watkins, 2013: Progress and challenges in forecast verification. Meteor. Appl., 20, 130-139. [https://doi.org/10.1002/met.1392]
• Gelaro, R., and Coauthors, 2017: The modern-era retrospective analysis for research and applications, version 2 (MERRA-2). J. Climate, 30, 5419-5454. [https://doi.org/10.1175/JCLI-D-16-0758.1]
• Haiden, T., M. Janousek, J. Bidlot, R. Buizza, L. Ferranti, F. Prates, and F. Vitart, 2018: Evaluation of ECMWF forecasts, including the 2018 upgrade. ECMWF Technical Memorandum No. 831, European Centre for Medium-Range Weather Forecasts, 52 pp.
• Han, J.-Y., 2025: Impact of different scale-aware cumulus parameterizations on precipitation forecasts over Korea. Atmos. Res., 317, 107990. [https://doi.org/10.1016/j.atmosres.2025.107990]
• Hersbach, H., and Coauthors, 2020: The ERA5 global reanalysis. Quart. J. Roy. Meteor. Soc., 146, 1999-2049. [https://doi.org/10.1002/qj.3803]
• Hong, S.-Y., 2004: Comparison of heavy rainfall mechanism in Korea and the central US. J. Meteor. Soc. Japan, 82, 1469-1479. [https://doi.org/10.2151/jmsj.2004.1469]
• Hong, S.-Y., and Coauthors, 2018: The Korean Integrated Model (KIM) system for global weather forecasting. Asia-Pac. J. Atmos. Sci., 54, 267-292. [https://doi.org/10.1007/s13143-018-0028-9]
• Huffman, G. J., R. F. Adler, M. Morrissey, D. T. Bolvin, S. Curtis, R. Joyce, B McGavock, and J. Susskind, 2001: Global precipitation at one-degree daily resolution from multi-satellite observations. J. Hydrometeor., 2, 36-50. [https://doi.org/10.1175/1525-7541(2001)002<0036:GPAODD>2.0.CO;2]
• Huffman, G. J., and Coauthors, 2015: NASA global precipitation measurement (GPM) integrated multi-satellite retrievals for GPM (IMERG) Version 4. NASA Algorithm Theoretical Basis Doc. 30 pp.
• Jolliffe, I. T., and D. B. Stephenson, 2012: Forecast verification: a practitioner’s guide in atmospheric science. John Wiley & Sons. 240 pp. [https://doi.org/10.1002/9781119960003]
• Jun, S., J.-H. Park, K.-O. Boo, and H.-S. Kang, 2020: Analyzing off-line Noah land surface model spin-up behavior for initialization of global numerical weather prediction model. J. Korea Water Resour. Assoc., 53, 181-191. [https://doi.org/10.3741/JKWRA.2020.53.3.181]
• Jung, J., M. Chang, E.-H. Lee, and M.-K. Sung, 2024: Verification of tropical cyclogenesis forecasts of the Korean Integrated Model for 2020~2021. Wea. Forecasting, 39, 1247-1259. [https://doi.org/10.1175/WAF-D-23-0175.1]
• KIAPS, 2020: Korea’s next-generation numerical weather prediction, Korean Integrated Model: white paper on Korean Integrated Model. Korea Institute of Atmospheric Prediction Systems, 259 pp.
• Kim, H.-J., and M.-S. Koo, 2024: The offline land surface model in KIM. KIAPS Technical Note 2024-09, 19 pp.
• Kim, K.-H., E.-H. Lee, and S.-Y. Hong, 2018: Potential of Voronoi diagram for the conserved remapping of precipitation. Mon. Wea. Rev., 146, 2237-2246. [https://doi.org/10.1175/MWR-D-17-0350.1]
• Kim, S.-Y., 2024: Impact of cloud vertical overlap on cloud radiative effect in the Korean Integrated Model (KIM) seasonal simulations during boreal summer and winter. Asia-Pac. J. Atmos. Sci., 60, 759-772. [https://doi.org/10.1007/s13143-024-00382-4]
• KMA, 2022: Changma White Book. Korea Meteorological Administration, 396 pp (in Korean), 2023: Verification report of numerical prediction systems 2022. Korea Meteorological Administration, 310 pp (in Korean).
• KMA, 2024: Verification report of numerical prediction systems 2023. Korea Meteorological Administration, 260 pp (in Korean).
• Koo, M.-S., and Coauthors, 2024: New coupled modeling system based on the Korean Integrated Model (KIM). WGNE Blue Book 2024, 2 pp [Available online at https://wgne.net/bluebook/uploads/2024/docs/01_Koo_Myung_Seo_KIM_Coupled_Modeling.pdf, ].
• Koo, M.-S., and S.-Y. Hong, 2025: Refinement of mesoscale and turbulent-scale surface stresses in the Korean Integrated Model (KIM) for global weather forecasting. Wea. Forecasting. [https://doi.org/10.1175/WAF-D-24-0220.1]
• Lee, E.-H., E. Lee, R. Park, Y. C. Kwon, and S.-Y. Hong, 2018: Impact of turbulent mixing in the stratocumulus-topped boundary layer on numerical weather prediction. Asia-Pac. J. Atmos. Sci., 54, 371-384. [https://doi.org/10.1007/s13143-018-0024-0]
• Lee, E.-H., H.-J. Park, H.-J. Shin, E. Lee, J. Jung, K.-H. Cho, S. Cho, and R.-S. Park, 2021: KIM Medium-range forecast verification. KIAPS Technical Note, 2021-01, 52 pp.
• Lee, E.-H, I.-J. Choi, K.-B. Kim, J.-H. Kang, J. Lee, E. Lee, and K.-H. Seol, 2017: Verification of the global numerical weather prediction using SYNOP surface observation data. Atmosphere, 27, 235-249. [https://doi.org/10.14191/ATMOS.2017.27.2.235]
• Lee, E.-H, R.-S. Park, S. Bae, J.-Y. Han, M.-S. Koo, H. Nam, and T.-J. Oh, 2024a: Resolution update in the KIM model: advancing from 12 to 8 km with associated refinements in the physics and dynamics. WGNE Blue Book 2024, 2 pp [Available online at https://wgne.net/bluebook/uploads/2024/docs/03_Lee_Eun_Hee_Resolution_Update.pdf, ].
• Lee, E.-H, S. Cho, K.-H. Cho, J.-Y. Han, Y. Lee, and J. Kim, 2024b: Forecast accuracy and physics sensitivity in high-resolution simulations of precipitation events in summer 2022 by the Korean Integrated Model. Asia-Pac. J. Atmos. Sci., 60, 1-20. [https://doi.org/10.1007/s13143-024-00358-4]
• Lee, G., 2023a: Structural improvement and parallel programming of KIM medium-range forecast analysis verification. 2023-06, 41 pp.
• Lee, G., 2023b: Structural improvement and parallel programming of KIM medium-range forecast atmospheric error evaluation. KIAPS Technical Note, 2023-17, 21 pp.
• Lee, J., and E.-H. Lee, 2018: Evaluation of daily precipitation estimate from integrated multisatellite retrievals for GPM (IMERG) data over South Korea and East Asia. Atmosphere, 28, 273-289. [https://doi.org/10.14191/ATMOS.2018.28.3.273]
• Murphy, A. H., 1993: What is a good forecast? An essay on the nature of goodness in weather forecasting. Wea. Forecasting, 8, 281-293. [https://doi.org/10.1175/1520-0434(1993)008<0281:WIAGFA>2.0.CO;2]
• Park, C., S.-W. Son, J. Kim, E.-C. Chang, J.-H. Kim, E. Jo, D.-H. Cha, and S. Jeong, 2021: Diverse synoptic weather patterns of warm-season heavy rainfall events in South Korea. Mon. Wea. Rev., 149, 3875-3893. [https://doi.org/10.1175/MWR-D-20-0388.1]
• Park, H.-J., E. Lee, and E.-H. Lee, 2022: Analysis tool for KIM seasonal simulation. KIAPS Technical Note, 2022-11, 21 pp.
• Park, R.-S., J.-H. Chae, and S.-Y. Hong, 2016: A revised prognostic cloud fraction scheme in a global forecasting system. Mon. Wea. Rev., 144, 1219-1229. [https://doi.org/10.1175/MWR-D-15-0273.1]
• Shin, H.-J., J. Jung, and E.-H. Lee, 2022: Typhoon verification tool for KIM forecast. KIAPS Technical Note, 2022-01, 58 pp.
• WMO, 2023: Manual on the global data-processing and forecasting system: annex IV to the WMO technical regulation. World Meteorological Organization, WMO-No. 485, 2023 edition, 196 pp [Available online at https://library.wmo.int/idurl/4/35703, ].
• Xie, P., A. Yatagai, M. Chen, T. Hayasaka, Y. Fukushima, C. Liu, and S. Yang, 2007: A gauge-based analysis of daily precipitation over East Asia. J. Hydrometeorol., 8, 607-626. [https://doi.org/10.1175/JHM583.1]