연속 순위 확률 점수를 활용한 통합 앙상블 모델에 대한 기온 및 습도 후처리 모델 개발

1. 서론

전 지구적인 기온 상승으로 인하여 기후변화가 가속화됨에 따라 폭염과 같은 극한 기상 현상이 빈번해질것으로 예상된다(Frich et al., 2002; Meehl and Tebaldi, 2004). 이러한 이유로 극한 기상 현상에 따른 피해를 최소화하기 위하여 농업, 전력 수요 예측 등 다양한 분야에서 5일 이상의 날씨 정보를 제공하는 중기 수치예보에 대한 수요가 점점 증가하고 있다(Freebairn and Zillman, 2002; Hong et al., 2013). 또한 극한 기상 현상에 관한 정보는 사회적‧경제적 비용과 직결되므로 조기에 탐지하여 정확히 예보하는 것이 중요하다(Yang et al., 2004; Lazo et al., 2009; Kim et al., 2012). 하지만, 대기의 비선형적인 특징과 카오스적 성질에 따라 수치 모델의 예측 기간이 길어질수록 모델의 오차는 커진다(Lorenz, 1969). 모델이 가지는 한계로 인해 단기 수치예보에 비하여 예측 기간이 긴 중기 수치예보의 정확도가 크게 낮다(Mailier, 2010).

수치 모델이 가지는 계통 오차를 최소화하고, 예보의 정확도를 향상시키기 위한 후처리(post-processing)기법에 대한 연구가 활발히 진행되어 왔다. 예를 들어, 기상 관측 자료와 예보 요소 간 관계식을 산출하여 수치예보 자료에 관계식을 적용하는 완전 예단법(Perfect Prognostic Method, PPM; Klein et al., 1967), 수치예보 모델의 계통 오차를 설명하고 특정 지점에 대한 예보 요소를 생산하는 모델 출력 통계법(Model Output Statistics, MOS; Dallavalle, 1996) 등 단일 모델에 가능한 다양한 후처리 기법들이 과거부터 개발되었다. 또한, 앙상블 모델의 오차를 제거하고 보다 신뢰할 수 있는 중기 예보자료를 얻기 위하여 Ensemble Model Output Statistics (EMOS; Gneiting et al., 2005; Buizza and Richardson, 2017; Schultz et al., 2021)와 Bayesian Model Averaging (BMA; Raftery et al., 2005)등의 후처리 기법을 적용한 앙상블 예보의 품질을 개선하는 시도들이 있어 왔다(Zhang et al., 2019).

최근 들어 통계 기법인 연속 순위 확률 점수(Continuous Ranked Probability Score, CRPS)를 적용하여 앙상블 모델의 계통 오차를 줄이려는 많은 선행 연구가 진행되었다(Ashkboos et al., 2022). CRPS는 일반적으로 확률 예측 모델의 성능을 평가하는 통계지표 중 하나로써, 모델 예측 값의 누적 분포와 관측의 누적 분포차이를 계산하고 그 차이의 크기에 따라 예측 성능을 평가하는 방법이다(Rasp and Lerch, 2018; Grönquist et al., 2021; Haiden et al., 2021; Ashkboos et al., 2022). 일반적으로 CRPS는 모델의 예측 성능을 평가하는 지표로 사용되지만, 회귀모델로 이루어진 EMOS 등의 앙상블 모델 후처리 기법에 적용하여 모델의 편향된 값을 보정하는 것에도 활용된다(Gneiting and Raftery, 2007; Jang and Kim, 2017; Hwang and Kim, 2018). Gneiting et al. (2005)는 EMOS에서 사용하는 회귀계수에 CRPS가 최소가 되는 지점을 이용하여 평균 제곱근 오차(Root Mean Square Error, RMSE)와 절대 평균 오차(Mean Absolute Error, MAE)를 각각 9%, 7% 향상시키는 결과를 보였다. 또한 Rasp and Lerch (2018)에서도 후처리 기법으로 신경망 모델을 적용한 후, 신경망 모델의 매개변수를 추정할 때 CRPS가 최소가 되는 지점을 이용하여 예측 성능을 개선함으로써 앙상블 모델의 최소 CRPS 적용 가능성을 제시하였다.

앞서 언급한바와 같이 앙상블 후처리 기법에는 대표적으로 EMOS 방법이 쓰여지고 있다. EMOS는 비동질성 회귀 모형으로 확률론적 앙상블 모델의 예측편향과 과소산포를 해결하는 것에 특화된 기술이다(Gneiting et al., 2005). 회귀 모델로 이루어진 EMOS의 분산 계수와 회귀 계수를 찾을 때 CRPS가 최소가 되는 지점을 찾아 최적화하는 방법들이 사용되어 왔다(Gneiting et al., 2005; Seong et al., 2015; Han et al., 2016; Hwang and Kim, 2018). 본 연구는 기상청현업 모델인 통합 앙상블 모델(United Model Ensemble Prediction System of Global, UM EPSG)을 기반으로 한 EMOS에 통계적 기법인 최소 CRPS를 적용하여 중기 수치예보 가이던스를 개선 하고자 한다. 현재 중기 가이던스는 예측 시간 12일까지 3시간 간격의 지점 예측자료를 생산하여 예보관에게 제공하고 있다. 하지만 수치 모델의 계통 오차를 최소화하는 후처리 기법이 적용되지 않고 있기 때문에, 정확한 자료를 요구하는 수요를 충족시키지 못하고 있다. 이에 기온과 습도에 대하여 더 정확한 중기 수치예보 가이던스를 개발하였다. 개선된 중기예보 가이던스의 평균적인 성능을 평가하기 위해 계절별 검증 기간을 가졌고, 더 나아가 여름철과 겨울철 극한 기상에 대해서도 평가해 보았다. 2장에서는 사용된 자료와 CRPS를 적용한 방법론을 기술하였다. 3장에서는 모델의 성능을 계절별로 분석하였고, 중기예보 가이던스의 중요한 성능지표인 여름철 최고 온도와 겨울철 최저 온도를 평가하여 극한 기상 현상인 폭염과 한파의 예측 가능성을 살펴보았다. 마지막으로 4장에서는 이 연구의 결과에 대해 논의하였다.

2. 자료 및 연구방법

2.2 연속 순위 확률 점수(CRPS)

Gneiting et al. (2005)이 제시한 것처럼 비 동질성 회귀 모델인 EMOS를 예측치들이 갖는 분산의 선형결합으로 나타내면 식(1)과 같은 정규 분포로 표현할 수 있다.

$\[ N\left(a+b_1{X}_1+b_2{X}_2+\dots +b_m{X}_m,c+d{S}^2\right) \]$

(1)

본 연구에서는 식(1)의 회귀계수 추정방법으로 CRPS를 최소로 만드는 방법을 사용하였다. Gneiting et al.(2005)에 따르면 최소 CRPS 추정법을 이용한 계수 최적화는 최대 우도추정법에 비해 과대 분산 추정을 방지하는 장점이 있다. 이에 연구에서 사용된 CRPS 정의는 식(2)와 같다.

$\[ \mathit{CRPS}\left(F,y\right)={\int }_{-\infty }^{\infty }{\left[F\left(x\right)-1_{x\ge y}\right]}^{2}dx \]$

(2)

식(2)는 F(x)와 관측 값 y가 주어질 때의 정의이며, F(x)는 누적 분포 함수로써 예측된 확률 분포에서 값 x 보다 작거나 같은 확률을 나타낸다. 여기서 1(x ≥ y)은 지시 함수로써, 특정 값이 집합에 속한다면 1을 의미하고 속하지 않는다면 0을 의미한다. F(x)와 관측 누적 분포 y 사이의 차이를 F(x) - 1로 표현하며, 이 차이가 0보다 작으면 모델이 관측 값보다 과소 모의한 것이며, 0보다 크면 모델이 관측 값에 비해 과대 모의한 것으로 해석한다. 또한, F(x)와 y의 차이를 제곱하여 예측의 오차를 양수로 만들어 계산하는데, 이는 값이 작을수록 모델 예측이 관측 값과 부합하여 예측 성능이 뛰어남을 의미한다.

본 연구에서는 CRPS 값이 작을수록 모델 예측 성능이 뛰어난 것으로 해석 할 수 있는 정의를 이용하여, Fig. 1과 같이 CRPS가 최소값이 될 때의 y 값을 모델의 값으로 추정하여 보정하였다. 특정 시각 관측과 예측 간의 차에 대하여 +6시간부터 +288시간까지 3시간 간격으로 기온과 습도에 대하여 적용하였다.

Fig. 1.

Schematic diagram of CRPS. CRPS is calculated as the sum of the red area. ya represents the point where the sum is at their minimum values.

3. 결 과

평균 제곱 오차(Mean Square Error, MSE)를 최소화하는 것은 정규 분포를 따르는 모델의 성능을 극대화하는데 필수 과제이다(Murphy, 2012). 이에 따라, 본 연구의 주요 목표 중 하나는 MSE를 개선하여 중기 수치예보 가이던스 성능을 향상시키는 것이다. 검증기간 동안 기온과 습도의 MSE는 Table 1과 Table 2에 각각 정리하였다. 기온과 습도는 평균 35% 이상 MSE 개선을 보인다. 2022년 0000 UTC 기준 평균 기온 MSE 개선율은 계절별로 봄 4 6.1%, 여름 32.6%, 가을 38.9%, 겨울 38.4%이며, 습도는 봄 45%, 여름 20%, 가을 36.9%, 겨울 38.5% 개선되었다. 상세한 분석 결과는 다음 절에서 기술하였다.

Table 1.

Bias squared, variance, and mean square error of surface air temperature for both 0000 and 1200 UTC forecasts from UM EPSG and CRPS.

Table 2.

Same as Table 1 but for relative humidity.

3.2 계절별 예측 성능 평가

본 장에서는 계절별 평균적인 예측 성능을 평가하고자 한다. Figure 2는 전체 검증기간 2년 동안 계절별 온도와 습도에 대한 편차와 RMSE의 box plot을 보여준다. 계절별로 보았을 때, 여름철의 RMSE 값이 낮은 것을 확인 할 수 있다. 2022년 0000UTC UM EPSG의 계절별 기온 RMSE는 봄 3.5^oC, 여름 2.2^oC, 가을 3.1^oC, 겨울 3.7^oC로 여름철 RMSE 크기가 다른 계절에 비해 작다. 본 연구에서는RMSE를 기반으로한 여름철 기온의 계절 예측 신뢰도가 다른 계절에 비해 높은 것을 보인 Hyun et al. (2020)과 비슷한 결과임을 확인하였다.

Fig. 2.

Box plot of bias (left) and RMSE (right) for surface air temperature (top) and relative humidity (bottom) for UM EPSG (black) and CRPS (red) from both 0000 UTC initial forecasts.

UM EPSG 기온은 관측에 비해 대부분의 계절에서 과소 모의하는 경향을 보인다(Fig. 2a). CRPS 후처리 기법을 적용하였을 때 과소 모의하던 평균값이 개선되고, 평균값의 범위 역시 모든 계절에서 감소한 것을 확인하였다. 습도의 경우 관측에 비해 과대 모의하던 경향이 개선되고, 기온과 마찬가지로 값의 분포도 모든 계절에서 줄어들었다(Fig. 2c). 온도의 계절별 RMSE 평균 개선율이 2 3.5%, 17.5%, 20%, 21.5%로 크게 개선되었으며, 습도 또한 23%, 12%, 17.5%, 23% 개선되었다. 2년 중 같은 계절 동안 RMSE의 변동폭은 비슷한 양상을 보인다. 예를 들어, 기온의 경우 2021과 2022년 봄은 각각 3.3^oC (UM EPSG)와 2.6^oC(CRPS)에서 3.5^oC와 2.6^oC로 그 크기 변화에 차이가 없었으며, 습도의 경우도 20.5%와 16.4%에서 21.0%와 15.6%로 변하였다.

CRPS를 활용한 기온 보정은 관측 지점별로 이루어졌으며, 이는 기온 보정이 지역적 특성에 따라 다를 수 있다는 점을 감안하였다. 예를 들어, 산악 지형이나 해안과 내륙 간의 비열 차이와 같은 지역적 변동요소는 보정 효과에 영향을 미칠 수 있기 때문에, 가정을 검증하기 위해 다양한 지역에서 기온 보정을 시도하였다(Fig. 3). 실험 결과 대부분의 검증 지역에서 기온 보정의 정도에 지역적 차이가 있음을 관찰하였다. 예를 들어, 제주도와 강원도 해안 및 소백산맥 등에서 계절에 상관없이 높은 개선율을 보여준다. 일반적으로 수치예보모델은 실제 지형고도보다 낮게 표현하기 때문에, 고도가 높은 지역에서 더 큰 오차를 보이는 경향이 있다(Yun et al., 2021). 이러한 오차 개선은 주로 경험적인 방법인 PPM 등의 고도보정을 통해 이루어진다. 본 연구에서도 CRPS를 적용하여 이에 대한 개선을 확인할 수 있었다. 반대로, 상대적으로 지형이 낮은 우리나라 서부 지역은 개선율이 낮다.

Fig. 3.

Improvement rate of RMSE for surface air temperature (top) and relative humidity (bottom) from 0000 UTC initial forecasts in 2022. The rate is computed by the following equation: (1 – RMSECRPS/RMSEUM EPSG).

검증 지점별 기온 RMSE 개선율을 분석한 결과, 모든 계절에서 개선이 나타났다(Fig. 3). 계절별 편차가 가장 컸던 봄에서 RMSE 개선율의 향상이 크게 일어났으며, 여름철 몇 지점들을 제외하고는 대부분의 지점에서 RMSE가 10% 이상 감소하였다. 여기서 흥미로운 점은 여름철에 대한 RMSE 개선율이 다른 계절에 비해 상대적으로 낮고 봄철에 대한 개선율은 높다는 것이다.

$\[ \mathrm{I}\mathrm{m}\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{m}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{ }\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{ }\mathrm{o}\mathrm{f}\mathrm{ }RMSE=1-\frac{RMS{E}_{CRPS}}{RMS{E}_{UM EPSG}} \]$

(7)

식(7)과 같이 CRPS RMSE와 UM EPSG RMSE 크기 비율이 작을 때 개선율은 증가한다. 하지만 여름 개선율은 봄에 비해 2배 이상 낮다. 식(7)에서 설명하는 CRPS와 UM EPSG 사이의 RMSE 비율이 크기 때문에, 개선율이 크지 않은 것으로 보인다. RMSE 지표로 평가하였을 때, 여름철 UM EPSG 모델은 상대적으로 정확하게 예측하고 있으며, 이는 후처리 기법인 CRPS를 통해서 개선의 여지가 낮음을 의미한다. 따라서 앞으로의 연구에서는 UM EPSG의 기온 예측이 상대적으로 어려운 봄철과 겨울철에 대한 보정 모델 개발에 더 많은 노력이 필요할 것으로 보이며, 지역적 특성을 고려한 보정 모델 설계와 적용을 통해 보다 정확한 결과를 얻을 수 있을 것으로 판단된다.

기온과 습도에 대한 지표 간의 정량적 평가를 위해 테일러 도표(Taylor diagram) 분석을 수행하였다(Taylor, 2001). 테일러 도표는 모델 데이터가 관측과 얼마나 근접하게 일치하는가에 대하여 표준 편차와 중앙 RMSE (Centered Root Mean Square Error) 그리고 관측과의 상관 관계에 대하여 나타내는 평가 방법 중 하나이다. 테일러 도표에서 상관관계가 1이고, 중앙 RMSE가 0 일 때 모델이 관측과 일치함을 의미한다(Fig. 4). 즉, 모델 예측 데이터가 관측에 유사하고 상관 관계가 높을 수록 모델의 모의성능이 우수하다.

Fig. 4.

Taylor diagram of (left) surface air temperature and (right) relative humidity by season. Symbols represent the forecasts at 1, 3, 5, 7, and 10 days. The red, blue, green, and cyan colors indicate spring, summer, autumn, and winter, respectively.

Figure 4는 UM EPSG와 CRPS의 기온과 습도에 대한 계절별 1, 3, 5, 7, 10일 전 예측 성능을 보여준다. 기온에 대한 UM EPSG의 10일 동안 예측은 관측과의 상관계수가 0.3~0.7 정도였으나 CRPS는 0.6~0.9로 높은 상관계수를 보였다. 또한, 표준 편차도 UM EPSG에 비하여 1에 가까워지며 관측값과 유사하게 모의하였다. UM EPSG에 비해 CRPS 적용 시 관측과의 상관계수가 1에 가까워지며, 표준 편차 비율 또한 관측에 가까워진다. 하지만 중기 수치예보 가이던스에서 중요한 5일 이후의 예측은 여전히 기온은 0.6 이하, 습도는 0.4 이하의 상대적으로 낮은 상관계수를 보이므로 중기 수치예보 가이던스에 대한 추가적인 개선이 필요한 것으로 보인다.

테일러 도표에서 확인할 수 있는 흥미로운 점은 여름과 겨울철의 성능에 대한 해석이 평가 지표별로 다르다는 점이다. 여름철의 예측 성능은 RMSE를 기반으로 보면 좋으며, 겨울철은 상대적으로 낮다(Figs. 2b, d). 하지만, 테일러 도표에서 확인할 수 있는 상관계수와 중앙 RMSE는 여름철의 성능이 겨울철에 비해서 낮게 나타난다. 예를 들어 기온의 경우 여름철 상관계수는 0.6~0.8이며, 겨울철은 0.8~0.9로 나타난다. 앞서 언급했듯이 중앙 RMSE는 관측과 모델 사이 편차를 제거하고 개선의 유사정도를 보는 지표이다. 그래서 RMSE와 달리 중앙 RMSE는 여름철이 겨울철에 비해 그 거리가 길게 나타나며, 여름철의 예측성능이 떨어지는 것을 확인할 수 있다.

3.3 극한 기온 예측 성능 평가

본 장에서는 CRPS 후처리 기법을 적용한 중기 수치예보 가이던스의 여름철 일최고 기온 및 겨울철 일 최저 기온, 즉 여름철 폭염과 겨울철 한파에 관한 예측 성능 평가에 대한 결과를 분석하였다.

앞 절과 마찬가지로 MSE를 편차 제곱항과 분산항으로 분해하여 여름철 일 최고 기온과 겨울철 최저기온에 적용하였다(Table 3). 평균 기온과 마찬가지로, UM EPSG에 비하여 CRPS를 적용하였을 경우 평균적으로 MSE가 37.7% 감소하여 절대적인 크기를 차지하는 분산항의 크기가 줄어들고, MSE 중 편차 제곱항의 비율이 약 31% 줄어들었다. 다만, 2022년 겨울철 최저 기온의 경우 CRPS 후처리 기법을 적용하였을 때 분산의 크기가 줄어듦에 따라 MSE 크기는 감소하였지만, 편차 제곱항이 UM EPSG보다 증가하는 특이한 경향을 보인다. MSE 중 편차 제곱항의 비율은 몇 1.38%에서 7.04%로 증가하였지만, 값은 0.22^oC에서 0.7^oC로 분산항의 크기에 비해 그 값이 크지 않아 무시할 수 있을 것으로 사료된다.

Table 3.

Same as Table 1, but for daily maximum temperature in summer and minimum temperature in winter.

Figure 5는 예측 시간에 대하여 2021년과 2022년의 여름철 최고 기온과 겨울철 최저 기온의 편차와 RMSE를 보여준다. 2021년과 2022년 모두 CRPS 후처리를 적용하였을 때 여름철 최고 기온의 편차는 모든 예측시간에 대하여 거의 0에 수렴하였고, RMSE 또한 모든 예측 시간에 대하여 감소하여 개선되었다. 다만, Table 3의 편차 제곱항과 마찬가지로 2022년 겨울철 최저 기온은 CRPS 적용시 UM EPSG에 비하여 편차가 증가하는 것을 확인할 수 있는데, 이는 2021년과 달리 2022년 겨울에만 나타나는 특징으로 보인다. 즉, 건조하고 기온이 높았던 2022년 겨울이 다른 평년에 비해 특징이 달라서 학습을 통한 그 편차 제거에 어려움이 있었다(KMA, 2022). 향후 10년 이상 긴 기간의 자료를 확보하여 학습을 진행한다면 그 편차를 해소할 수 있을 것으로 추정된다.

Fig. 5.

Time series of (top) bias and (bottom) RMSE from (left) daily maximum air temperature in summer and (right) minimum air temperature in winter. Solid and Dashed lines denote 2021 and 2022, respectively.

현재 기상청에서 사용하는 폭염주의보 정의는 일 최고기온 33도 이상이 2일 이상 지속될 때이다. 또한, 한파주의보는 10월과 4월 중 아침 최저기온이 전날보다 10도 이상 하강하여 3도 이하이고 평년값 보다 3도가 낮을 것으로 예상될 때 혹은 아침 최저기온이 -12도 이하로 2일 이상 지속될 것으로 예상될 때로 정의한다. 폭염 사례에 대해서는 2022년의 여름철 중 폭염이 있던 사례 중 지속기간이 3일 이상이고, 가장 많은 지역에서 폭염 주의보가 발생한 7월 2일로 선정하였고, 한파의 경우 지속기간이 2일 이상이고 한파주의보가 가장 많은 지역에서 발생한 12월 20일로 선정하였다. 7월 2일 한반도는 강한 고기압의 영향과 남부지방의 강한 지면가열 영향으로 폭염이 지속되었고, 12월 20일은 북쪽 찬 공기의 남하로 인하여 한파가 지속되었다.

폭염 지속 기간이었던 7월 2일과 한파가 발생한 12월 20일의 중기 수치예보 예측 성능에 대하여 테일러 도표를 통해 평가하였다. Figure 6의 각 지점은 폭염일과 한파일을 기준으로 1일부터 10일 전의 예측일을 의미한다. 폭염 기간동안 UM EPSG는 관측과의 상관계수가 0.03~0.3이었으나, CRPS를 적용하였을 때 크게 개선되어 0.7~0.85를 보였다. 한파의 경우도 0.65~0.75의 상관계수가 0.9~0.95로 향상됨을 확인할 수 있었다. 특히, UM EPSG의 5일 이상 예보의 경우 폭염 기간에 관측과의 상관계수가 0.1이하로 다소 낮은 예측 성능을 보여주었는데, 후처리 결과 적용 후 상관관계 및 RMSE 모두 개선되어 CRPS 적용시 폭염과 한파와 같은 극한 기상 사례에 대해서도 개선된 중기 수치예보 가이던스의 성능을 보였다.

Fig. 6.

Taylor diagram of (left) daily maximum air temperature during heat wave period and (right) minimum air temperature during cold wave period. Symbols represent every 1 day forecast. The blue and red colors indicate UM EPSG and CRPS, respectively.

4. 요약 및 결론

본 연구에서는 앙상블 모델을 활용할 때 유용한 통계 기법인 EMOS의 계수 최적화를 위하여 최소 CRPS가 적용된 기온과 습도의 후처리 기법을 개발하여 중기 수치예보 가이던스 예측 성능을 향상시키고자 하였다. 총 3년 3개월의 자료를 계절별로 학습하고, 2년의 검증 기간을 바탕으로 계절별 예측 성능을 평가하였다. 또한, 극한 기상 현상 예측에 대한 중기 수치예보 가이던스 성능을 확인하기 위하여 여름철 최고 온도와 겨울철 최저 온도를 분석하였다.

CRPS는 모델 예측값과 관측값의 누적분포 함수 유사도를 최소로 만드는 기법으로 그 정확도를 MSE로 평가해 보았다. MSE는 편차 제곱항과 분산항으로 분해할 수 있다. CRPS 적용시 기온과 습도 모두 MSE를 구성하는 성분 중 분산항의 절대적인 크기가 감소하였고, MSE를 구성하는 편차 제곱항의 비율이 크게 개선됨을 보였다. 또한 RMSE도 계절별로 온도는 23.5%, 17.5%, 20%, 21.5%와 습도는 2 3%, 12%, 17.5%, 23% 개선되었다. 즉, CRPS 적용 시 UM EPSG가 가지고 있던 관측과의 변동성을 보정하고, 관측의 평균 특성을 재현하는 것을 알 수 있었다.

또한 여름철 최고 온도와 겨울철 최저 온도의 예측성능에 대해서도 MSE는 각각 4 0%, 35% 개선되었다. 마찬가지로 MSE 성분을 분해하여 오차의 성분을 분석하였을 때, 2021년 여름철 최고 온도와 겨울철 최저 온도 모두 편차 제곱항과 분산항이 개선되는 것을 보였다. 하지만 2022년 겨울철 최저 온도의 MSE는 개선되었지만 편차 제곱항은 오히려 커짐으로써 모든 사례에서 편차 제곱항이 개선되는 것은 아님을 알 수 있었다.

최근 활발히 진행되는 기계학습 연구에 의하면, MSE가 작은 모델을 만들기 위하여 편차와 분산의 크기를 줄이려고 노력하고 있다. 식(6)과 같이 편차와 분산항은 한 항이 커지면 다른 항이 작아지는 트레이드오프(trade-off) 관계를 가지고 있어 두 항 모두 최소 지점을 찾는 것이 가장 이상적이다(Neal et al., 2018). 하지만 본 연구에서 사용한 최소 CRPS는 편차를 줄이는 것에 특화되어 있으므로, 관측과 모델의 변동성을 의미하는 분산항 개선에는 한계가 있었다. 향후 후처리 기법을 적용한 중기 수치예보 가이던스 연구는 편차와 분산항이 최소가 되는 지점을 찾는 민감도 실험 등을 통하여 편차와 분산항 모두 최소가 되는 지점을 찾는 방법을 적용하는 추가적인 연구가 필요할 것이다.

Acknowledgments

본 논문을 심사해주신 두 분 심사위원님들께 깊은 감사드립니다. 이 연구는 기상청 수치모델링센터 『수치예보 및 자료응용 기술개발(KMA2018-00721)』 과제의 일환으로 수행되었습니다.

REFERENCES

• Ashkboos, S., L. Huang, N. Dryden, T. Ben-Nun, P. Dueben, L. Gianinazzi, L. Kummer, and T. Hoefler, 2022: ENS-10: A Dataset For Post-Processing Ensemble Weather Forecasts. Adv. Neural Inf. Processing Syst., 35, 21974-21987. [https://doi.org/10.48550/arXiv.2206.14786]
• Buizza, R., and D. Richardson, 2017: years of ensemble forecasting at ECMWF. ECMWF Newsletter, 153, 20-31.
• Dallavalle, J. P., 1996: A perspective on the use of model output statistics in objective weather forecasting. Conference on Weather Analysis and Forecasting, Amer. Meteor. Society, 15, 479-482.
• Freebairn, J. W., and J. W. Zillman, 2002: Economic benefits of meteorological services. Meteor. Appl., 9, 33-44. [https://doi.org/10.1017/S1350482702001044]
• Frich, P., L. V. Alexander, P. Della-Marta, B. Gleason, M. Haylock, A. K. Tank, and T. Peterson, 2002: Observed coherent changes in climatic extremes during the second half of the twentieth century. Climate Res., 19, 193-212. [https://doi.org/10.3354/cr019193]
• Geman, S., E. Bienenstock, and R. Doursat, 1992: Neural networks and the bias/variance dilemma. Neural Comput., 4, 1-58. [https://doi.org/10.1162/neco.1992.4.1.1]
• Gneiting, T., A. E. Raftery, A. H. Westveld, and T. Goldman, 2005: Calibrated probabilistic forecasting using ensemble model output statistics and minimum CRPS estimation. Mon. Wea. Rev., 133, 1098-1118. [https://doi.org/10.1175/MWR2904.1]
• Gneiting, T., A. E. Raftery, 2007: Strictly proper scoring rules, prediction, and estimation. J. Amer. Stat. Assoc., 102, 359-378. [https://doi.org/10.1198/016214506000001437]
• Grönquist, P., C. Yao, T. Ben-Nun, N. Dryden, P. Dueben, S. Li, and T. Hoefler, 2021: Deep learning for post-processing ensemble weather forecasts. Philos. Trans. Roy. Soc. A, 379, 20200092. [https://doi.org/10.1098/rsta.2020.0092]
• Haiden, T., M. Janousek, F. Vitart, Z. Ben-Bouallegue, L. Ferranti, and F. Prates, 2021: Evaluation of ECMWF forecasts, including the 2021 upgrade, ECMWF technical memoranda 884. European Centre for Medium Range Weather Forecasts, 56 pp.
• Han, C.-H., J.-W. Lee, and K.-K. Lee, 2009: Analyzing information value of temperature forecast for the electricity demand forecasts. Korean Manage. Sci. Rev., 26, 77-91.
• Han, K., C. Kim, and C. Kim, 2016: Probabilistic forecast of temperature in Pyeongchang using homogeneous and nonhomogeneous regression models. J. Climate Res., 11, 87-103. [https://doi.org/10.14383/cri.2016.11.1.87]
• Hong, H., W. Kim, J. Kim, and B.-J. Kim, 2013: Analysis of demand characteristics for long-term forecasts. J. Climate Res., 8, 117-126. [https://doi.org/10.14383/cri.2013.8.2.117]
• Hwang, Y., and C. Kim, 2018: A combination and calibration of multi-model ensemble of PyeongChang area using ensemble model output statistics. Atmosphere, 28, 247-261. [https://doi.org/10.14191/Atmos.2018.28.3.247]
• Hyun, Y.-K., J. Park, J. Lee, S. Lim, S.-I. Heo, H. Ham, S.-M. Lee, H.-S. Ji, and Y. Kim, 2020: Reliability assessment of temperature and precipitation seasonal probability in current climate prediction systems. Atmosphere, 30, 141-154. [https://doi.org/10.14191/Atmos.2020.30.2.141]
• Jang, D. H., and C. Kim, 2017: Probabilistic forecast of temperature using station-specific nonhomogeneous regression model. J. Climate Res., 12, 277-287. [https://doi.org/10.14383/CRI.2017.12.3.277]
• Kang, S.-C., M.-S. Won, and S.-H. Yoon, 2016: Large fire forecasting depending on the changing wind speed and effective humidity in Korean red pine forests through a case study. J. Korean Assoc. Geographic Inf. Stud., 19, 146-156. [https://doi.org/10.11108/kagis.2016.19.4.146]
• Kim, K., J. Shin, and S.-I. Lee, 2012: An overview of methodologies for socio-economic value evaluation of long-range weather forecasts in energy industry. J. Climate Res., 7, 98-118.
• Kioutsioukis, I., and S. Galmarini, 2014: De praeceptis ferendis: good practice in multi-model ensembles. Atmos. Chem. Phys., 14, 11791-11815. [https://doi.org/10.5194/acp-14-11791-2014]
• Klein, W. H., F. Lewis, and G. P. Casely, 1967: Automated nationwide forecasts of maximum and minimum temperature. J. Appl. Meteor. Climatol., 6, 216-228. [https://doi.org/10.1175/1520-0450(1967)006<0216:ANFOMA>2.0.CO;2]
• KMA, 2022: Weather yearbook, Korea Meteorological Administration, 416 pp (in Korean).
• Lazo, J. K., R. E. Morss, and J. L. Demuth, 2009: 300 billion served: Sources, perceptions, uses, and values of weather forecasts. Bull. Amer. Meteor. Soc., 90, 785-798. [https://doi.org/10.1175/2008BAMS2604.1]
• Lorenz, E. N., 1969: Atmospheric predictability as revealed by naturally occurring analogues. J. Atmos. Sci., 26, 636-646. [https://doi.org/10.1175/1520-0469(1969)26<636:APARBN>2.0.CO;2]
• Lyu, Y., X. Zhi, H. Wu, H. Zhou, D. Kong, S. Zhu, Y. Zhang, and C. Hao, 2022: Analyses on the multimodel wind forecasts and error decompositions over North China. Atmosphere, 13, 1652. [https://doi.org/10.3390/atmos13101652]
• Mailier, P. J., 2010: Can we trust long-range weather forecasts? Manage. Wea. Climate Risk in the Energy Industry, 227-239. [https://doi.org/10.1007/978-90-481-3692-6_15]
• Mazrooei, A., T. Sinha, A. Sankarasubramanian, S. Kumar, and C. D. Peters-Lidard, 2015: Decomposition of sources of errors in seasonal streamflow forecasting over the US Sunbelt. J. Geophys. Res. Atmos., 120, 11809-11825. [https://doi.org/10.1002/2015JD023687]
• Meehl, G. A., and C. Tebaldi, 2004: More intense, more frequent, and longer lasting heat waves in the 21st century. Science, 305, 994-997. [https://doi.org/10.1126/science.1098704]
• Murphy, K. P., 2012: Machine learning: a probabilistic perspective. MIT press, 1067 pp.
• Neal, B., S. Mittal, A. Baratin, V. Tantia, M. Scicluna, S. Lacoste-Julien, and I. Mitliagkas, 2018: A modern take on the bias-variance tradeoff in neural networks. arXiv preprint arXiv:1810.08591, . [https://doi.org/10.48550/arXiv.1810.08591]
• Raftery, A. E., T. Gneiting, F. Balabdaoui, and M. Polakowski, 2005: Using Bayesian model averaging to calibrate forecast ensembles. Mon. Wea. Rev., 133, 1155-1174. [https://doi.org/10.1175/MWR2906.1]
• Rasp, S., and S. Lerch, 2018: Neural networks for postprocessing ensemble weather forecasts. Mon. Wea. Rev., 146, 3885-3900. [https://doi.org/10.1175/MWR-D-18-0187.1]
• Schultz, M. G., C. Betancourt, B. Gong, F. Kleinert, M. Langguth, L. H. Leufen, A. Mozaffari, and S. Stadtler, 2021: Can deep learning beat numerical weather prediction? Philos. Trans. Roy. Soc. A, 379, 20200097. [https://doi.org/10.1098/rsta.2020.0097]
• Seong, M.-G., C. Kim, and M.-S. Suh, 2015: Inter-comparison of prediction skills of multiple linear regression methods using monthly temperature simulated by multi-regional climate models. Atmosphere, 25, 669-683. [https://doi.org/10.14191/Atmos.2015.25.4.669]
• Sinha, T., A. Sankarasubramanian, and A. Mazrooei, 2014: Decomposition of sources of errors in monthly to seasonal streamflow forecasts in a rainfall-runoff regime. J. Hydrometeor., 15, 2470-2483. [https://doi.org/10.1175/JHM-D-13-0155.1]
• Taylor, K. E., 2001: Summarizing multiple aspects of model performance in a single diagram. J. Geophys. Res. Atmos., 106, 7183-7192. [https://doi.org/10.1029/2000JD900719]
• Teisberg, T. J., R. F. Weiher, and A. Khotanzad, 2005: The economic value of temperature forecasts in electricity generation. Bull. Amer. Meteor. Soc., 86, 1765-1772. [https://doi.org/10.1175/BAMS-86-12-1765]
• Yang, Y., I. Kang, J. Yoo, and K. An, 2004: Analysis of economical & social impact of meteorological information. J. Korean Meteor. Soc., 40, 159-175.
• Yun, J., Y.-H. Kim, and H.-W. Choi, 2021: Analyses of the meteorological characteristics over South Korea for wind power applications using KMAPP. Atmosphere, 30, 1-15. [https://doi.org/10.14191/Atmos.2021.31.1.001]
• Zhang, H., M. Chen, and S. Fan, 2019: Study on the construction of initial condition perturbations for the regional ensemble prediction system of North China. Atmosphere, 10, 87. [https://doi.org/10.3390/atmos10020087]