[ Article ]

Atmosphere - Vol. 28, No. 3, pp.247-261

ISSN: 1598-3560 (Print) 2288-3266 (Online)

Print publication date 30 Sep 2018

Received 20 Mar 2018 Revised 12 Jun 2018 Accepted 26 Jun 2018

DOI: https://doi.org/10.14191/Atmos.2018.28.3.247

Ensemble Model Output Statistics를 이용한 평창지역 다중 모델 앙상블 결합 및 보정

황유선 ; 김찬수^*

공주대학교 응용수학과

A Combination and Calibration of Multi-Model Ensemble of PyeongChang Area Using Ensemble Model Output Statistics

Yuseon Hwang ; Chansoo Kim^*

Department of Applied Mathematics, Kongju National University, Gongju, Korea

Correspondence to: ^* Chansoo Kim, Department of Applied Mathematics, Kongju National University, 56 Gongjudaehak-ro, Gongju 32588, Korea. Phone: +82-41-850-8565, Fax: +82-41-850-8560 E-mail: chanskim@kongju.ac.kr

Abstract

The objective of this paper is to compare probabilistic temperature forecasts from different regional and global ensemble prediction systems over PyeongChang area. A statistical post-processing method is used to take into account combination and calibration of forecasts from different numerical prediction systems, laying greater weight on ensemble model that exhibits the best performance. Observations for temperature were obtained from the 30 stations in PyeongChang and three different ensemble forecasts derived from the European Centre for Medium-Range Weather Forecasts, Ensemble Prediction System for Global and Limited Area Ensemble Prediction System that were obtained between 1 May 2014 and 18 March 2017. Prior to applying to the post-processing methods, reliability analysis was conducted to identify the statistical consistency of ensemble forecasts and corresponding observations. Then, ensemble model output statistics and bias-corrected methods were applied to each raw ensemble model and then proposed weighted combination of ensembles. The results showed that the proposed methods provide improved performances than raw ensemble mean. In particular, multi-model forecast based on ensemble model output statistics was superior to the bias-corrected forecast in terms of deterministic prediction.

Keywords:

Calibration, combination, ensemble model output statistics, multi-model ensemble, statistical post-processing method

1. 서 론

앙상블 예측의 목적 중 하나는 초기 조건들에 기인하는 오차와 수치적 날씨 예측 모델의 부 적절성으로 인해 기인되는 예측의 불확실성을 양적화 하는 것이다(Leutbecher and Palmer, 2008). 앙상블 예측 시스템은 이러한 불확실성에 대한 동적 기반 추정치를 제공하고 있으며 지난 수 십 년 간 서로 다른 전구 및 지역 앙상블 예측 시스템들이 초기 조건과 모델의 불확실성을 모의하기 위해 다른 시간과 공간 해상도와 더불어 다양한 전략을 통해 개발되어 왔다.

NCEP (National Centers for Environmental Prediction, Toth and Kalnay, 1993; Wei et al., 2008)과 ECMWF (European Centre for Medium-Range Weather Forecasts; Palmer, 1993; Buizza and Palmer, 1995; Molteni et al., 1996; Buizza et al., 1999; Leutbecher and Palmer, 2008)와 같은 센터들은 전구 앙상블 예측 시스템들을 운영하고 있다. 여러 검증 연구들에서 ECMWF 앙상블 예측 시스템이 다른 전구 앙상블 예측 시스템들에 비해 전반적으로 좋은 예측 성능을 보여 주고 있음을 보였다(Park et al., 2008; Hagedorn et al., 2012). 전구 앙상블 예측 시스템 이외에도 최근에 많은 지역 앙상블 예측 시스템들이 개발되었다. 지역 앙상블 예측 시스템은 한정된 지리적 특성을 갖는 지역에 대해 전구 앙상블 예측 시스템들 보다 높은 시 공간적 해상도에서 확률론적 예측을 제공하기 위해 고안되었다.

앙상블 예측 시스템들에 내재된 계통적 오차를 제거하고 신뢰성을 높이기 위해 다양한 통계적 후 처리 방법들이 적용 되어 왔다. 특히, BMA (Bayesian Model Averaging, Raftery et al., 2005)는 앙상블 예측치들에 대한 모수적 확률밀도함수의 혼합분포들의 가중합을 이용하여 확률론적 예측치를 생성하는 반면에 EMOS (Ensemble Model Output Statistics, Gneiting et al., 2005) 모델은 하나의 모수적 확률분포를 적용하는 모델로서 기후 변수들에 대해 완전한 예측확률밀도함수의 예측을 통해 앙상블들에 대한 확률론적 예측치를 제공할 수 있어 다양한 기후 변수들에 대해 연구가 이루어졌다(Sloughter et al., 2010; Seong et al., 2015; Han et al., 2016a, b; Seong et al., 2017).

앙상블 예측 시스템으로부터 생성된 예측치들의 예측 오차를 줄이고 신뢰성 있는 기상 정보를 제공하기 위한 또 다른 방법 중 하나는 다중 모델(multi-model) 앙상블 방법을 적용하는 것이다. 여기서 다중 모델 앙상블은 다른 모델들로부터 얻은 결정론적 예측치들을 결합한 즉, 다시 말해 서로 다른 앙상블 예측 시스템들의 결합으로 정의할 수 있다(Hagedorn et al., 2005). 여러 연구들에서 단일 모델(single-model) 혹은 다중 모델 앙상블 보정이 단기 또는 중기의 전구 앙상블 예측 시스템에 잘 적용되는지 연구하였고, 이러한 결과로부터 특정한 조건들 하에서 전구 다중 모델 앙상블이 가장 잘 보정된 단일 모델 앙상블 보다 좋은 성능을 보여 줄 수 있다는 것을 보였다(Johnson and Swinbank, 2009; Fraley et al., 2010).

이 연구의 목적 중 하나는 전구 및 지역 예측 모델들로부터 생성된 앙상블 예측치들을 하나의 예측치로 결합하는 것이다. 이를 위해 편이 보정(bias-correction) 방법과 EMOS 모델을 적용하였다. 이를 통해 얻은 다중 모델 앙상블들과 보정된 단일 모델 앙상블들과의 비교 및 다중 모델 앙상블의 예측 성능을 평가하고 분석하였다. 분석에 사용된 지역은 평창 지역으로, 산악 지역 특성을 가지고 있으며 2018년 동계 올림픽 개최지이다. 경기력 향상과 원활한 경기 운영 등을 위해 경기장 별 상세한 기상 정보를 제공하기 위한 방법으로 전구와 지역 앙상블 예측 시스템으로부터 생성된 온도 예측치를 통해 다중 모델 앙상블 기법을 적용하여 예측의 정도를 비교 분석하였다. 연구에 사용된 지역과 전구 앙상블 예측 시스템은 LENS (Limited Area Ensemble Prediction System)와 EPSG (Ensemble Prediction System for Global)와 ECMWF 앙상블 모델을 사용하였다. LENS의 경계 값은 ECMWF에서 제공된 값을 이용하였다.

분석에 사용된 서로 다른 앙상블 예측 시스템들과 관측 지점들에 대한 정보와 더불어 보정(calibration) 방법들과 서로 다른 앙상블 예측 시스템으로부터 생성된 온도 예측치들을 다중 모델 앙상블로 결합하기 위한 방법들이 2장에 주어져 있다. 보정되지 않은 단일 모델 앙상블 예측치들과 보정된 단일 모델 앙상블 및 다중 모델 앙상블 예측치들의 성능에 대한 비교 평가가 3장에 주어져 있다. 이 연구의 결과에 대한 논의는 4장에서 언급하였다.

2. 연구 방법

2.1 자료

분석에 사용된 지역은 평창 지역으로 2018년 평창 동계 올림픽의 개최지이다. 동계 스포츠의 특성상 대부분의 경기가 실외에서 이루어지므로 경기력 향상과 원활한 경기 운영을 위하여 평창의 전반적인 날씨 정보뿐만 아니라 경기장 별로 상세한 기상 정보가 필요하다. 경기장 별 관측 지점의 기상 정보를 제공하기 위해 서로 다른 세 가지 앙상블 예측 모델들을 사용하였다. 분석에 사용된 평창 지역 경기장 별 관측 지점에 대한 정보는 Table 1에 주어져 있고 지점 별로 다양한 지리적 특성을 가지고 있다.

Table 1.

Geographical information of the stations.

연구에 사용된 자료는 현재 기상청에서 운영되고 있는 앙상블 예측 시스템들 중에서 ECMWF, EPSG와 LENS에서 모의된 온도 예측치들과 그에 해당하는 관측치를 사용하였다. 각 앙상블 예측 모델의 멤버 수, 모의 기간 등 자세한 정보는 Table 2에 주어져 있다. 분석에 사용된 예측 모델은 ECMWF, EPSG N400과 LENS N768 앙상블 모델을 이용하였다. Table 2에서 세 앙상블 예측 시스템들의 모의 기간과 예측시간들이 서로 다르기 때문에 예측과 분석을 위해 공통의 모의 기간을 사용하였다. 즉, 2016년 12월 1일부터 2017년 2월 28일까지 모의된 일 온도 자료를 사용하였고 예측 시간은 0000 UTC 기준으로 ECMWF와 EPSG는 예측 시간 3 h부터 매 3시간 간격으로 240 h까지 예측되어진 반면에 LENS는 예측 시간 4 h부터 매 한 시간 간격으로 72 h까지 예측 시간을 가지고 있어, 6 h부터 매 3시간 간격으로 72 h까지의 동일한 예측 시간에 대해 분석을 하였다. 동일한 기간과 예측시간에서 얻은 앙상블 예측치들과 그에 해당하는 관측치들 중에서 어느 하나라도 결측이 발생하면 그에 해당하는 관측치와 예측치는 제거한 후 분석에 사용하였다.

Table 2.

Ensemble prediction systems used in this study.

모수의 추정을 위해 전체 자료들 중에서 2016년 12월 1일부터 2017년 1월 31일까지는 훈련 자료로 사용하였고 예측의 정도를 살펴보기 위해 2017년 2월 자료는 검증 자료로 사용하였다. 각 관측 지점에서 각각의 예측시간 별로 분석을 수행하였고 예측 시간 별 결과를 토대로 관측 지점 별로 정리 및 분석하였다.

서로 다른 앙상블 예측 모델들로부터 생성된 앙상블 예측치들을 결합하고 보정하기 위해 결정론적과 확률론적 방법을 적용하였다.

2.2 Weighted Multi-Model Ensemble Model(WME)

서로 다른 앙상블 예측 시스템으로부터 생성된 앙상블 예측치들을 결합하기 위한 가장 좋은 방법 중 하나는 각 예측 모델이 가지고 있는 예측 오차에 근거하여 가중치를 계산하고 이를 이용하여 가중 결합하는 방법이다. 즉, 각 앙상블 모델이 가지고 있는 예측 오차에 반비례하는 즉, 다시 말해 보다 큰 예측 오차를 갖는 모델에 보다 적은 가중치를 줌으로써 각 모델의 가중화된 예측치를 생성하는 것이다.

먼저, 주어진 훈련기간에서 $f ¯ 1 s, t, f ¯ 2 s, t, …, f ¯ M s, t$ 을 M개의 앙상블 예측 모델들부터 관측 지점 s와 예측 시간 t에서 계산된 각각의 앙상블 평균이라고 하자. 주어진 훈련 자료에 대해, 각 앙상블 모델이 갖는 예측의 정도를 비교하기 위해 관측치와 각 앙상블 예측 모델에서 계산된 앙상블 평균과의 차이를 주어진 훈련기간에서 다음과 같이 계산하였다.

b m, i s, t = y i s, t - f ¯ m, i s, t, m = 1, 2, …, M, i = 1, 2, …, n .

(1)

여기서 y_i(s, t)는 관측 지점 s와 예측 시간 t에서의 관측치들이고 n은 훈련 기간에서의 자료의 수이다. 식 (1)에서 관측치와 예측치들과의 차이는 기상 예측치들이 과대 혹은 과소하게 모의 되었는지를 볼 수 있는 경향성을 보여 준다. 훈련기간에서 발생하는 이와 같은 편이는 관측 값과 모델에서 모의된 예측 값들의 차이가 크면 클수록 크게 영향을 받는다. 따라서 이와 같이 극단적인 편이들이 가중치에 영향을 줄 수 있기 때문에 식 (1)을 이용한 가중치 계산에서 편이들이 갖는 평균 편이를 보정해 줌으로써 극단적인 가중치의 결과를 보완할 수 있다. 따라서 사분위 평균을 이용하여 다음과 같이 각 앙상블 모델에 덜 민감한 평균절대오차인 MAE (Mean Absolute Error)를 사용하였다.

M A E m s, t = 1 n ∑ i = 1 n b m, i s, t - q m s, t, m = 1,2, …, M

(2)

여기서 $q m s, t = Q 1 + 2 Q 2 + Q 3 4$ 이고 Q₁, Q₂와 Q₃은 주어진 훈련 기간에서 관측 지점 s와 예측 시간 t에서 얻은 식 (1)의 사분위수이다.

M개의 서로 다른 앙상블 예측 모델들로부터 하나의 다중 모델 앙상블 예측치를 생성하기 위해 식 (2)에서 각 앙상블 모델로부터 편이를 제거한 평균절대 오차의 역수를 이용함으로써 평균절대오차가 가장 작은 앙상블 예측 모델에 가장 큰 가중치를 주는 방법을 통해 다음과 같이 WME를 정의하였다.

W M E k s, t = ∑ m = 1 M f ¯ m, k s, t - q m s, t M A E m s, t ∑ m = 1 M 1 M A E m s, t k = 1,2, …, K .

(3)

여기서 K는 검증기간에서의 자료의 수이다.

2.3 Weighted Ensemble Model Output Statistics(WEMOS)

EMOS 모델은 비 동질성 회귀 모형으로 연속인 기상 변수들의 확률론적 예측치를 제공하기 위해 Gneiting et al. (2005)에 의해 회귀 모형을 일반화한 모형으로, 주어진 기간에 동일한 분산을 가정하는 것이 아니라 각 앙상블 예측치들이 갖는 분산의 선형 결합을 통해 다음과 같이 이 분산성을 가정한 모형이다.

p y i f ¯ m, i, S m, i 2 = N a + b f ¯ m, i, c + d S m, i 2, i = 1, …, n, m = 1, …, M .

(4)

여기서 $S m, i 2$ 은 m번째 앙상블 예측 모델로부터 생성된 앙상블 예측치들의 분산, a, b는 실수 값을 갖는 회귀계수들, c, d는 양의 실수 값을 갖는 분산 계수들이고 N(μ, σ²)은 평균 μ이고 분산 σ²인 정규분포를 나타낸다. 회귀 계수들과 분산 계수들에 대한 추정은 주어진 훈련 기간에서 CRPS (Continuous Ranked Probability Score, Gneiting et al., 2005, 2007)을 최소로 하는 방법을 통해 추정되어 진다. CRPS는 예측치의 누적분포함수와 관측치의 누적분포함수 간의 차이를 나타내며 다음과 같이 $c r p s F, y = ∫ - ∞ ∞ F x - I x ≥ y 2 d x$ 로 정의된다. 여기서, y는 관측치이고 F는 예측치의 누적확률분포함수이고 I(•)은 지시함수이다.

먼저, 각각의 앙상블 예측 모델(ECMWF, EPSG N400, LENS N768)들에 대해 식 (4)를 이용하여 단일 EMOS 앙상블 모델 (ECMWF EMOS, EPSG EMOS, LENS EMOS)을 적용하였다. 또한 서로 다른 M개의 앙상블 예측 모델들을 하나의 예측 모델로 결합하기 위한 또 다른 방법 중 하나는 EMOS 모델을 이용하여 다중 모델 앙상블을 생성하는 것이다. Hagedorn et al. (2008)은 ECMWF와 GFS 예측 자료를 이용하여 보정된(calibrated) 다중 모델 앙상블 예측치를 제공하기 위해 수정된 EMOS 모델을 적용하였다.

먼저, 주어진 관측 지점 s와 예측 시간 t의 훈련 기간에서 각 m번째 앙상블 모델에서 계산된 앙상블 평균 $f ¯ m s, t$ 과 관측치를 이용하여 단순 회귀 모형을 적용한다. 이 결과를 이용하여 보정된 앙상블 평균 예측치를 $f ¯ m * s, t$ 라고 하자. 각 앙상블 예측 모델들에 대해 다음과 같이 회귀 방법을 통해 보정된 앙상블 평균과 관측치들 간의 차이인 평균 자승 오차를 다음과 같이 계산된다.

D m s, t = 1 n ∑ i = 1 n f ¯ m, i * - y i s, t 2 .

(5)

각 앙상블 예측 모델들이 갖는 앙상블 평균과 분산의 다중 모델 가중치를 결정하기 위해 보다 작은 평균 자승 오차를 갖는 예측치들에 큰 가중치를 부여하는 방법을 적용하였다. m번째 앙상블 예측 모델의 가중치는 다음과 같이 정의하였다.

w m s, t = D m s, t - 1 ∑ m = 1 N 1 D m s, t .

(6)

다중 모델 앙상블의 가중치를 이용하여 다중 모델 앙상블의 평균과 분산은 다음과 같이 계산된다.

f M M s, t = ∑ m = 1 M w m s, t f ¯ m *, S M M 2 * = ∑ m = 1 M w m s, t S m 2 .

(7)

식 (7)의 다중 모델 평균과 분산들을 이용하여 식 (4)의 EMOS 모델에 적용하여 회귀 계수들과 분산 계수들은 CRPS를 최소로 하는 방법을 통해 추정된다. 검증 기간에서 주어진 예측 기간에 대해 훈련 자료에서 적용한 식 (5)부터 식 (7) 과정을 이용하여 다중 모델 앙상블 예측치를 생성하였다.

2.4 Combined Ensemble Model Output Statistics(CEMOS)

통계적 후 처리 방법을 통해 앙상블 예측 모델들에 종속되는 가중치들을 최적화하는 것은 다중 모델 앙상블을 구성하기 위한 또 다른 방법 중 하나이다. 각 앙상블 모델이 갖는 회귀 계수들은 각 앙상블 모델의 가중치로서 그 의미를 부여 받을 수 있다. 따라서 모델에 종속되는 가중치의 최적화는 각 앙상블 모델의 가중치로서의 특성을 갖기 위해 다음과 같이 제약을 둔 EMOS 모델을 적용하였다.

p y i f ¯ 1, i, …, f ¯ M, i, S 12 …, S M 2 = N a + b 1 f ¯ 1, i, …, b M f ¯ M, i, c + d 1 S 12 + d M S M 2 with 0 ≤ b 1, …, b M < ∞

(8)

여기서, c, d₁, …… d_M은 양의 실수를 갖는 분산 계수들이다. 식 (8)에서 훈련 기간에서 추정된 회귀 계수들은 각 앙상블 예측 모델들의 가중치로 해석할 수 있다. 즉 다른 앙상블 예측 모델들에 대한 앙상블 예측 모델의 전반적인 예측 성능을 반영한다고 할 수 있다. 따라서 회귀 계수들을 음이 아닌 실수 값을 갖는 EMOS 모델을 적용하였다.

3. 연구 결과

EPSG N400, LENS N768와 ECMWF 앙상블로부터 생성된 온도 예측치들과 그에 해당하는 관측치들 간의 신뢰성 분석을 통해 각 관측 지점 별로 어떠한 특성을 가지고 있는지 분석하였다. 이를 기반으로 각 앙상블로부터 생성된 온도 예측치들을 단일 EMOS 앙상블 예측 모델(ECMWF EMOS, EPSG EMOS, LENS EMOS)과 다중 모델 앙상블 예측 모델(WME, WEMOS, CEMOS)에 적용한 후 분석하였다.

3.1 신뢰성 분석

먼저, 각 앙상블 예측 시스템으로부터 모의된 온도 예측치들과 그에 해당하는 관측치들 간의 통계적 일치성을 비교하기 위해 순위 히스토그램(Hamil, 2001; Marzban et al., 2011)과 신뢰성 지수(Delle Monache et al., 2006)를 사용하여 예측치들이 관측치들과 동일한 확률분포의 특성을 가지고 있는지 분석하였다.

전체 기간에 대한 세 앙상블 예측 모델들의 순위 히스토그램이 Fig. 1에 주어져 있다. 순위 히스토그램을 통해 각 앙상블 모델 예측치들이 그에 해당하는 관측치들에 비해 어떤 경향성과 변동성이 있는지를 파악할 수 있다. Figure 1로부터 ECMWF는 한쪽으로 치우치는 경향성 보다는 U-형태의 패턴을 보이고 있어 앙상블 평균들이 관측치들에 비해 변동성이 작은 과소 변동성(under-dispersion)을 가지고 있음을 볼 수 있다. 반면에 EPSG의 경우 앙상블 예측치들이 관측치들에 비해 평균적으로 크게 예측되는 경향성을 보이고 있어 양의 편이가 있음을 볼 수 있다. LENS의 경우, 앙상블 예측치들이 관측치들에 비해 평균적으로 작게 예측되는 경향을 보이고 있어 음의 편이가 있음을 볼 수 있다. 두 앙상블 모델 모두 U-형태의 패턴을 가지고 있어 과소 변동성을 가지고 있다는 것을 알 수 있다. 특히, ECMWF와 LENS는 EPSG에 비해 강한 과소 변동성을 가지고 있다는 것을 볼 수 있다.

Fig. 1.

Verification rank histogram of ECMWF, EPSG and LENS.

이러한 특성은 신뢰성 지수를 통해서도 알 수 있다. 신뢰성 지수는 Fig. 1에서 각 순위의 막대 그래프들이 갖는 상대 도수와 이론적인 균등성과의 절대 값의 차이로 표현되며 각 모델의 앙상블 예측치들이 관측치들과 동일한 분포적 특성을 갖는다면 신뢰성 지수는 0의 값을 갖는다. Table 3에 세 앙상블 모델들에 대한 신뢰성 지수가 주어져 있다. 신뢰성 지수로부터 세 모델 모두 0보다 큰 값을 가지고 있어 각 앙상블 모델과 그에 해당하는 관측치들이 균등성으로부터 벗어나 있음을 알 수 있고 적절한 보정(calibration)이 필요하다는 것을 보여 주고 있다.

Table 3.

Reliability index of ECMWF, EPSG and LENS.

각 관측 지점 별 앙상블 모델들에 대한 신뢰성 분석의 요약된 결과가 Table 4에 주어져 있다. 이때 Δ는 신뢰성 지수를 나타낸다. 경향성의 경우 붉은 색 계열은 양의 편이를, 푸른 색 계열은 음의 편이를 나타내며 색이 진할수록 강한 편이를 나타낸다. 변동성의 경우, 색이 진할수록 과소 변동성이 강하다는 것을 의미한다.

Table 4.

Summary of reliability analysis for all stations.

Table 4로부터 앙상블 모델과 관측 지점에 따라 상이한 결과를 보여 주고 있지만 전반적으로 EPSG는 양의 편이가 대부분의 관측 지점들에서 나타나는 반면에 ECMWF와 LENS는 음과 양의 편이가 대부분의 관측 지점들에서 거의 비슷하거나 음의 편이가 조금 더 크게 나타나는 경향성을 보이고 있다. 이것은 Fig. 1의 각 순위 히스토그램과 같이 ECMWF는 거의 경향성이 없는 패턴을 보여 주지만 EPSG와 LENS는 다소 양의 편이와 음의 편이를 갖는 패턴을 보여주는 것과 일관된 결과이다. 이때 각 앙상블 모델들에서 강한 경향성(진한 붉은색, 진한 청색)을 보이는 관측 지점들의 신뢰성 지수를 살펴보면 다른 관측 지점에 비해 상대적으로 큰 신뢰성 지수를 가지고 있음을 알 수 있다. 이를 통해 순위 히스토그램에서 한쪽으로 편중 되는 경우가 과소 변동성이 있는 경우보다 큰 신뢰성 지수를 가지고 있음을 볼 수 있다. 변동성의 경우, 관측 지점에 따라 차이가 있지만 대부분의 관측 지점에서 과소 변동성이 있다는 것을 알 수 있다. 모델을 비교해 보면 ECMWF와 LENS가 전반적으로 과소 변동성이 강하다는 것을 보여 주고 있으며 EPSG가 비교적 약한 과소 변동성을 보여 주고 있다.

3.2 다중 모델 앙상블 예측 비교

EPSG, LENS와 ECMWF 앙상블로부터 생성된 온도 예측치들에 단일 EMOS 앙상블 예측 모델과 다중 모델 앙상블 예측 모델을 적용하였다. 분석 기간은 2016년 12월 1일부터 2017년 2월 28일을 사용하였으며 이들 중 훈련 기간은 2016년 12월부터 2017년 1월 온도 자료를 사용하였으며 예측의 정도를 살펴보기 위해 2017년 2월 자료는 검증 자료로 사용하였다. 모든 관측 지점들에 대해 예측 시간 별로 분석을 하였고 그 결과를 토대로 관측 지점 별로 분석하였다.

3.2.1 앙상블 평균 예측 성능 비교

먼저, 각 앙상블 예측 시스템으로부터 얻은 예측치들이 관측치들에 얼마나 정확하게 모의 되는지를 살펴보기 위해 세 앙상블 모델들이 갖는 각 앙상블 평균에 대한 예측 성능을 MAE의 관점에서 비교한 결과가 Fig. 2과 Table 5에 주어져 있다.

Fig. 2.

Comparison of MAE in temperature of the raw ensemble and EMOS model ensemble forecasts for ECMWF, EPSG and LENS.

Table 5.

Averaged MAE of ECMWF, EPSG and LENS for all stations.

Figure 2에서 관측 지점에 따라 다소 차이는 있지만 대체적으로 LENS 앙상블 평균이 다른 두 모델의 앙상블 평균 보다 대부분의 관측 지점들에서 좋은 예측 성능을 보여 주고 있다. 이러한 현상은 모델의 특성(지역 앙상블이고 높은 해상도)에 기인한다고 할 수 있다. ECMWF 앙상블 평균과 EPSG 앙상블 평균의 예측 성능 역시 관측 지점에 따라 차이는 있지만 대체적으로 ECMWF 앙상블 평균이 더 좋은 예측 성능을 보여 주고 있다는 것을 알 수 있다. 이와 같은 결과는 모든 관측 지점들에 대한 MAE의 평균을 보여주는 Table 5에서도 확인할 수 있다. Figure 2와 마찬가지로 LENS의 MAE 평균이 가장 작은 예측 오차를 보여 주고 있고 ECMWF와 EPSG 순으로 좋은 예측성능을 보여 주고 있다. Figure 2에서 관측 지점 2552, 2560, 2578, 2579 등과 같은 지점에서의 MAE는 다른 관측 지점들에 비해 상당히 큰 값을 가지고 있음 볼 수 있으며 이 관측 지점들은 신뢰성 분석에서 강한 양의 편이를 가지고 있어 관측 지점에 따라 예측의 정도가 다르다는 것을 알 수 있다.

3.2.2 앙상블 평균과 단일 EMOS 앙상블 모델 비교

원 앙상블 예측치들에 존재하는 편이와 변동성을 보정(calibration)하기 위해 통계적 모형에 근거한 후 처리 방법인 EMOS 모델을 ECMWF, EPSG와 LENS 각 앙상블 모델들에 적용하였다. 식 (4)로 부터 EMOS 모델의 회귀 계수 a, b와 분산 계수 c, d들은 CRPS를 최소로 하는 방법을 통해 추정하였다(Gneiting et al., 2005).

세 앙상블 예측 시스템들로부터 생성된 각 앙상블 평균들과 각 앙상블 예측 모델에 EMOS 모델을 적용한 단일 EMOS 앙상블 모델들(ECMWF EMOS, EPSG EMOS, LENS EMOS)에 대한 예측 성능을 MAE의 관점에서 비교한 결과가 Fig. 2에 주어져 있다. 각 앙상블 평균들에 비해 EMOS 모델을 적용한 ECMWF EMOS, EPSG EMOS와 LENS EMOS 모델 예측치들 이 대부분의 관측 지점에서 개선된 예측 성능을 보여주고 있다. 관측 지점에 따라 다소 차이는 있지만, ECMWF EMOS와 LENS EMOS 모델 예측치들이 다른 앙상블 예측치들 보다 좋은 예측 성능을 보여 주고 있고 두 예측 방법들 간에는 거의 유사한 예측 성능을 보여 주고 있다.

각 단일 EMOS 앙상블 모델의 예측 성능을 보다 상세하게 비교한 그림이 Fig. 3에 주어져 있다. ECMWF EMOS와 EPSG EMOS와 LENS EMOS와 EPSG EMOS 모델 예측치들 간의 CRPS를 비교해 보면 관측 지점 한 곳을 제외하고 모든 관측 지점에서 ECMWF EMOS와 LENS EMOS 모델들이 EPSG EMOS 모델보다 작은 예측 오차를 가지고 있다는 것을 알 수 있고 이것은 ECMWF EMOS와 LENS EMOS 모델이 EPSG EMOS 모델 보다 좋은 예측 성능을 보여 주고 있다는 것을 의미한다. ECMWF EMOS 모델과 LENS의 EMOS 모델의 비교를 보면 관측 지점에 따라 상이하나 대체적으로 ECMWF EMOS 모델 예측치들이 LENS EMOS 예측치들에 비해 다소 좋은 예측 성능을 보여 주고 있다. 따라서 원 앙상블(raw ensemble) 예측치들에 비해 각 앙상블 예측치들에 EMOS 모델을 적용한 통계적 후처리 방법이 더 좋은 예측 결과를 보여 주고 있음을 볼 수 있고 단일 EMOS 앙상블 모델들 중에서는 ECMWF와 LENS EMOS 예측치들이 좋은 예측 성능을 보여 주고 있지만 ECMWF EMOS 모델이 가장 좋은 예측 정도를 보여 주고 있다. 이것은 전구 앙상블 모형의 후 처리를 통해 지역 앙상블 모델의 성능을 향상할 수 있는 하나의 예로 볼 수 있다.

Fig. 3.

Comparison of the station-specific mean CRPS between single EMOS ensemble models.

3.2.3 단일 EMOS 앙상블 예측 모델과 다중 모델 앙상블 예측 모델 비교

다중 모델 앙상블 예측은 연구 방법에서 언급했듯이 세 가지 다중 모델 앙상블 예측 모델을 적용하였다. 각 앙상블 예측 모델에 EMOS 모델을 적용한 단일 EMOS 앙상블 예측치들과 다중 모델 앙상블 예측치들에 대해 MAE의 관점에서 예측 성능을 비교한 결과가 Fig. 4에 주어져 있다.

Fig. 4.

Comparison of prediction skills of the single EMOS ensemble models and multi-model ensemble models.

Figure 4에서 각 앙상블 예측 모델에 EMOS 모델을 적용한 단일 EMOS 앙상블 예측 모델들, ECMWF EMOS, EPSG EMOS, LENS EMOS과 다중 모델 앙상블 예측 모델인 WME, WEMOS, CEMOS의 예측성능을 비교해 보면 관측 지점 별로 차이는 있지만 대체적으로 다중 모델 앙상블 예측 모델이 단일 EMOS 앙상블 예측 모델보다 더 좋은 예측 성능을 보여 주고 있다. 다중 모델 앙상블 예측 모델간의 예측 성능은 관측 지점 별로 다소 차이는 있지만 전반적으로 CEMOS, WEMOS와 WME 순으로 예측 성능을 보여주고 있다. 이러한 특성은 RMSE (Root Mean Square Error)에서도 유사한 결과를 보여 주고 있어서 제시하지는 않았다.

이와 같은 결과는 상자 그림에서도 살펴볼 수 있는데 단일 EMOS 앙상블 예측치들이 다중 모델 앙상블 예측치들에 비해 평균적으로 작은 MAE를 가지고 있으며, 오차들의 변동성이 개선되었다는 것을 알 수 있다. 또한 CEMOS 모델이 다른 예측 모델들 보다는 좋은 예측 성능을 보여 주고 있다는 것을 볼 수 있다.

단일 EMOS 앙상블 예측 모델과 다중 모델 앙상블 예측 모델의 성능을 상세하게 비교한 결과가 Fig. 5에 주어져 있다. 각 모델들 간 예측 성능에 대한 다중 비교로부터 CEMOS 모델이 단일 EMOS 앙상블 모델과 WME, WEMOS 모델보다 대부분의 관측 지점들에서 좋은 예측 성능을 보여 주고 있다. CEMOS 모델은 ECMWF EMOS와 LENS EMOS와의 비교에서도 일부의 관측 지점을 제외한 모든 관측 지점들에서 좋은 예측 성능을 보여 주고 있다. 특히, 다중 모델 앙상블 모델들 간 비교에서 EMOS 모델을 이용한 확률론적 앙상블 예측 방법이 결정론적 예측 방법인 WME 보다 대부분의 관측 지점에서 좋은 예측 결과를 보여 주고 있다.

Fig. 5.

Comparison of the station-specific mean MAEs between single EMOS ensemble models and multi-model ensemble models.

확률론적 예측치들의 예측 성능을 평가하기 위한 방법 중 하나는 예측확률밀도함수로부터 생성된 예측 구간을 이용하여 예측의 정도를 비교하는 것이다. 단일 EMOS 앙상블 예측 모델들 ECMWF EMOS, EPSG EMOS, LENS EMOS과 다중 모델 앙상블 예측 모델인 WEMOS와 CEMOS의 90% 신뢰 구간을 이용하여 예측의 정도를 비교한 그래프가 Fig. 6와 Fig. 7에 각각 주어져 있다. Figure 6은 모든 관측지점, 예측시간과 예측날짜에 대해 추정된 예측확률밀도함수들 중에서 station 2560과 2017년 2월 27일 예측 시간 6 h에서 추정된 각 EMOS 모델의 예측확률밀도함수로부터 계산된 90% 예측 구간을 하나의 예로 나타낸 그래프이다.

Fig. 6.

The predictive density functions and 90% prediction intervals for single EMOS ensemble models and multi-model ensemble models at station 2560 (Feb. 27, 2017) and projection time 6 h.

Fig. 7.

Average width of 90% prediction intervals of single EMOS ensemble models and multi-model ensemble models for the selected stations (2560, 2571 and 2581).

그림으로부터 검은 수직선은 관측 값이고 별표, 동그라미와 삼각 수직선은 각각 LENS, ECMWF와 EPSG의 앙상블 평균을 보여 주고 있다. 각 앙상블 모델의 앙상블 평균은 관측치와 상당히 벗어나 있어 예측의 정도가 좋지 않다는 것을 알 수 있다. 반면에 EMOS 모델을 적용한 단일 EMOS 앙상블 예측 모델들과 다중 모델 앙상블 예측 모델들의 예측확률밀도함수로부터 추정된 90% 예측 구간이 관측치를 포함하고 있어 예측의 정도가 앙상블 평균에 비해 개선되었다는 것을 볼 수 있다. 각 앙상블 모델의 예측의 정도를 비교하기 위해 예측 구간의 폭을 계산하였고 예측 구간의 폭은 화살표를 통해 그 정도를 비교하였다. 그림에서 보듯이 CEMOS의 예측 구간의 폭이 다른 앙상블 예측 모델들에 비해 작다는 것을 볼 수 있고 이것은 다른 앙상블 예측 모델들에 비해 예측확률밀도함수의 변동성이 더 작다는 것을 보여 주므로 예측의 정도가 좋다는 것을 의미한다.

관측 지점 별로 예측 성능을 비교한 결과가 Fig. 7에 주어져 있다. Figure 7에 주어진 관측 지점들은 전체 관측 지점들 중에서 관측 지점 2560은 강한 양의 편이, 관측 지점 2571은 강한 음의 편이와 관측 지점 2581은 대체적으로 강한 과소 변동성을 가지고 있어 관측 지점 별로 서로 다른 특성을 갖는 경우에 예측의 정도를 비교하기 위해 이 관측 지점들을 선택하였다. 각 관측 지점에서 모든 예측 시간과 기간에 대해 90% 예측 구간의 평균을 나타내는 그래프이다. 앞에서 언급한 것처럼 대체적으로 단일 EMOS 앙상블 예측 모델들 보다는 다중 모델 앙상블 예측 모델의 예측 구간의 폭이 대체적으로 더 작다는 것을 볼 수 있고 이것은 다중 모델 앙상블 예측 모델이 단일 EMOS 앙상블 예측 모델들 보다 좋은 예측 결과를 보여 준다는 것을 의미한다. 특히, 이들 예측 모델들 중에서 CEMOS 예측 모델이 다른 모델 예측들 보다는 가장 좋은 예측 성능을 보여 주고 있다.

선택된 관측 지점(2560, 2571과 2581)의 예측 시간 6 h에서 각 앙상블 모델의 평균, 단일 EMOS 앙상블 예측 모델과 다중 모델 앙상블 예측 모델에서 생성된 예측치들의 예측 정도를 비교하기 위해 관측치들과 예측치들에 대한 그래프가 Fig. 8에 주어져 있다. 검은 선은 관측치이고 나머지는 단일 EMOS 앙상블 예측 모델과 다중 모델 앙상블 예측 모델로부터 예측된 예측치들이다. 전체적으로 앙상블 평균보다 앙상블 예측치들이 관측치의 패턴을 비교적 잘 따르고 있음을 알 수 있다.

Fig. 8.

Time series of observation, raw ensemble mean, single EMOS ensemble models and multi-model ensemble models for the selected stations (2560, 2571 and 2581) and the projection time 6 h.

강한 양의 편이를 가지고 있는 관측 지점 2560의 경우, 앙상블 평균들이 관측치 보다 크게 예측되고 있음을 볼 수 있다. 앙상블 예측치들은 앙상블 평균에 비해 관측치와 유사하게 패턴을 따라가고 있음을 볼 수 있다. 강한 음의 편이를 가지고 있는 관측 지점 2571을 보면 앙상블 평균이 관측치 보다 작게 예측하고 있음을 알 수 있다. 반면 앙상블 예측치들은 앙상블 평균에 비해 관측치와 유사한 패턴을 보여 주고 있음을 볼 수 있다. 강한 과소 변동성을 가지고 있는 관측 지점 2581의 경우, 다른 특성을 가진 관측지점 보다 앙상블 평균들은 관측치들에 가깝게 예측되고 있음을 알 수 있다. 하지만 그에 비해 앙상블 예측은 다른 관측지점들 보다는 상대적으로 앙상블 평균에 비해 많은 개선을 이루지 못한 것으로 보인다. 이와 같이 강한 편이를 보이고 있는 관측 지점 보다 강한 과소 변동성을 가지고 있는 관측 지점에서 모의된 앙상블 예측치들이 예측 오차를 크게 개선하지 못하고 있음을 볼 수 있다. 따라서 편이(음의 편이 혹은 양의 편이)가 강한 경우 보다 과소 변동성이 강한 경우의 예측 오차를 다루기 위해서는 보다 많은 노력이 필요하다는 것을 보여 주고 있다.

4. 결 론

평창 동계 올림픽이 열리는 경기장 별 상세 기상정보를 제공하기 위해 운영 중인 서로 다른 앙상블 수치 모델로부터 생성된 온도 자료를 이용하여 예측모델들에 존재하는 경향성과 변동성을 보정하기 위한 방법으로 통계적 후 처리 기법을 적용하였다. 분석에 사용된 앙상블 수치 모델은 ECMWF, EPSG와 LENS 모델을 사용하였다. 각 예측 모델로부터 모의된 예측치들이 가지고 있는 편이를 보정하고 보다 좋은 예측 성능을 보여 주는 앙상블 모델에 큰 가중치를 부여하기 위한 방법으로 결정론적 방법과 확률론적 방법을 적용하였다.

먼저 각 앙상블 수치 모델로부터 모의된 온도 예측치들이 그에 해당하는 관측치들과의 분포적 특성을 살펴보기 위해 신뢰성 분석을 하였다. 세 예측 모델들에서 정도의 차이는 있지만 과소 변동성을 보여 주었고 예측 모델의 특성에 따라 양 혹은 음의 편이를 보여 주었다. 이러한 속성들을 보정하기 위해 각 앙상블 예측 모델에 EMOS 방법을 적용한 단일 EMOS 앙상블 모델들이 각 앙상블 평균 보다는 예측 성능을 개선하는데 효과적인 방법을 제공하였다. 또한 서로 다른 앙상블 예측치 모델을 하나의 앙상블 예측 모델로 결합하고 보정하기 위한 방법으로 각 앙상블 예측 모델의 예측 성능에 근거하여 그들이 갖는 가중치를 고려한 다중 모델 앙상블 예측 방법을 고려하였다. 확률론적 관점에서 예측의 정확성을 평가하기 위해 CRPS와 예측확률밀도함수로부터 추정된 예측 구간을 통해 예측의 정도를 살펴보았다. 관측 지점에 따라 다소 차이는 있지만 단일 EMOS 앙상블 예측 결과 보다는 다중 모델 앙상블 기법들이 좋은 예측 성능을 보여 주었고, 그 중에서 CEMOS 모델이 주어진 기간에서 가장 좋은 예측 성능을 보여 주었다. 제시된 방법들은 원 앙상블 예측치들이 어떤 경향성과 변동성을 보이는가에 따라 관측 지점에서 서로 다른 예측 성능을 보여 주었다. 경향성이 강한 관측 지점들에 대해서는 대체적으로 다중 모델 앙상블 예측치들이 좋은 예측 성능을 보여 주었지만 과소 변동성이 강한 관측 지점들에 대해서는 예측 성능이 크게 개선되지는 않았다. 따라서 관측 지점 별 특성을 반영한 예측 모델을 고려한다면 좋은 결과를 보여 줄 것으로 여겨 진다. 주어진 각 앙상블 예측 모델로부터 하나의 다중 모델 앙상블로 결합하기 위해 가중 결합을 이용하였다. 가중 결합하기 위한 방법의 선택 역시 예측의 성능을 결정하는데 있어 중요한 요인 중 하나이다. 따라서 가중 결합을 위한 선택 방법들에 대한 다양성 연구와 비교가 이루어진다면 예측 성능을 개선하는데 유용할 것으로 여겨진다.

Acknowledgments

본 연구는 기상청 기상국립과학원 주요사업 ‘2018 평창 동계올림픽 기상지원’의 일환으로 수행되었습니다.

References

Buizza, R., and T. N. Palmer, (1995), The singular-vector structure of the atmospheric global circulation, J. Atmos. Sci, 52, p1434-1456. [https://doi.org/10.1175/1520-0469(1995)052<1434:tsvsot>2.0.co;2]
Buizza, R., M. Milleer, and T. N. Palmer, (1999), Stochastic representation of model uncertainties in the ECMWF ensemble prediction system, Quart. J. Roy. Meteor. Soc, 125, p2887-2908. [https://doi.org/10.1256/smsqj.56005]
Delle Monache, L., J. P. Hacker, Y. Zhou, X. Deng, and R. B. Stull, (2006), Probabilistic aspects of meteorological and ozone regional ensemble forecasts, J. Geophy. Res, 111, D24307. [https://doi.org/10.1029/2005JD006917]
Fraley, C., A. E. Raftery, and T. Gneiting, (2010), Calibrating multimodel forecast ensembles with exchangeable and missing members using Bayesian model averaging, Mon. Wea. Rev, 138, p190-202. [https://doi.org/10.1175/2009MWR3046.1]
Gneiting, T., and A. E. Raftery, (2007), Strictly proper scoring rules, prediction, and estimation, J. Amer. Stat. Assoc, 102, p359-378. [https://doi.org/10.1198/016214506000001437]
Gneiting, T., A. E. Raftery, A. H. Westveld, and T. Goldman, (2005), Calibrated probabilistic forecasting using ensemble model output statistics and minimum CRPS estimation, Mon. Wea. Rev, 133, p1098-1118. [https://doi.org/10.1175/mwr2904.1]
Hagedorn, R., F. Doblas-Reyes, and T. N. Palmer, (2005), The rationale behind the success of multi-model ensembles in seasonal forecasting—I, Basic concept. Tellus A, 57, p219-233.
Hagedorn, R., T. M. Hamil, and J. S. Whitaker, (2008), Probabilistic forecast calibration using ECMWF and GFS ensemble reforecasts, Part I: Two-meter temperatures. Mon. Wea. Rev, 136, p2608-2619.
Hagedorn, R., R. Buizza, T. M. Hamil, M. Leutbecher, and T. N. Palmer, (2012), Comparing TIGGE multimodel forecasts with reforecast-calibrated ECMWF ensemble forecasts, Quart. J. Roy. Meteor. Soc, 138, p1814-1827. [https://doi.org/10.1002/qj.1895]
Hamil, T. M., (2001), Interpretation of rank histograms for verifying ensemble forecasts, Mon. Wea. Rev, 129, p550-560.
Han, K., J. Choi, and C. Kim, (2016a), Calibration of probabilistic forecast of temperature in PyeongChang area using Bayesian model averaging, J. Clim. Res, 11, p49-67. [https://doi.org/10.14383/cri.2016.11.1.49]
Han, K., J. Choi, and C. Kim, (2016b), Comparison of prediction performance using statistical postprocessing methods, Asia-Pac. J. Atmos. Sci, 52, p495-507. [https://doi.org/10.1007/s13143-016-0034-8]
Johnson, C., and R. Swinbank, (2009), Medium-range multimodel ensemble combination and calibration, Quart. J. Roy. Meteor. Soc, 135, p777-794. [https://doi.org/10.1002/qj.383]
Leutbecher, M., and T. N. Palmer, (2008), Ensemble forecasting, J. Comput. Phys, 227, p3515-3539.
Marzban, C., R. Wang, F. Kong, and S. Leyton, (2011), On the effect of correlations on rank histograms: Reliability of temperature and wind speed forecasts from finescale ensemble reforecasts, Mon. Wea. Rev, 139, p295-310. [https://doi.org/10.1175/2010MWR3129.1]
Molteni, F., R. Buizza, T. N. Palmer, and T. Petroliagis, (1996), The ECMWF Ensemble Prediction System: Methodology and validation, Quart. J. Roy. Meteor. Soc, 122, p73-119. [https://doi.org/10.1256/smsqj.52904]
Palmer, T. N., (1993), Extended-range atmospheric prediction and the Lorenz model, Bull. Amer. Meteor. Soc, 74, p49-66. [https://doi.org/10.1175/1520-0477(1993)074<0049:erapat>2.0.co;2]
Park, Y.-Y., R. Buizza, and M. Leutbecher, (2008), TIGGE: Preliminary results on comparing and combining ensembles, Quart. J. Roy. Meteor. Soc, 134, p2029-2050. [https://doi.org/10.1002/qj.334]
Raftery, A. E., T. Gneiting, F. Balabdaoui, and M. Polakowski, (2005), Using Bayesian model averaging to calibrate forecast ensembles, Mon. Wea. Rev, 133, p1155-1174. [https://doi.org/10.1175/mwr2906.1]
Seong, M.-G., C. Kim, and M.-S. Suh, (2015), Inter-comparison of prediction skills of multiple linear regression methods using monthly temperature simulated by multi-regional climate models, Atmosphere, 25, p669-683, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2015.25.4.669]
Seong, M.-G., M.-S. Suh, and C. Kim, (2017), Intercomparison of prediction of ensemble methods using monthly mean temperature simulated by CMIP5 models, Asia-Pac. J. Atmos. Sci, 53, p339-351. [https://doi.org/10.1007/s13143-017-0039-y]
Sloughter, J. M., T. Gneiting, and A. E. Raftery, (2010), Probabilistic wind speed forecasting using ensembles and Bayesian model averaging, J. Amer. Stat. Assoc, 105, p25-35. [https://doi.org/10.1198/jasa.2009.ap08615]
Toth, Z., and E. Kalnay, (1993), Ensemble forecasting at NMC: The generation of perturbations, Bull. Amer. Meteor. Soc, 74, p2317-2330. [https://doi.org/10.1175/1520-0477(1993)074<2317:efantg>2.0.co;2]
Wei, M., Z. Toth, R. Wobus, and Y. Zhu, (2008), Initial perturbations based on the ensemble transform (ET) technique in the NCEP global operational forecast system, Tellus A, 60, p62-79. [https://doi.org/10.1111/j.1600-0870.2007.00273.x]

ID	Station name	Latitude	Longitude	Elevation
2552	Balwangsan Mt	37.61103	128.6714	1441
2553	Sliding Start	37.65047	128.6726	959
2554	Sliding Finish	37.65435	128.682	813
2555	Ski Jumping K125 Jump	37.66167	128.6794	845
2557	Biathlon Start	37.66375	128.6873	757
2558	Biathlon Middle	37.66598	128.6851	775
2559	Cross-country Middle	37.66006	128.6888	770
2560	Alpine GS Start	37.61299	128.6718	1414
2561	Alpine GS Finish	37.62158	128.6648	975
2570	Taegisan Mt	37.57542	128.3081	1040
2571	Alpine Base	37.47337	128.6143	390
2572	Ski Jumping K125 Start	37.66137	128.6789	884
2573	Ski Jumping K98 Start	37.66127	128.6794	862
2574	Ski Jumping K98 Jump	37.6616	128.6799	828
2575	Ski Jumping Landing	37.66221	128.6805	785
2576	Sliding Middle	37.65253	128.676	875
2577	Cross-country Start	37.6639	128.6848	764
2578	Alpine GS Middle1	37.61596	128.6689	1289
2579	Alpine GS Middle2	37.61845	128.6689	1180
2580	Cross Start	37.57853	128.3127	856
2581	Cross Finish	37.58433	128.322	664
2582	Mogul Start	37.57739	128.3225	823
2583	Slopestyle Finish	37.57943	128.3248	709
2585	Alpine SG Start	37.45028	128.6003	1218
2586	Alpine DH Middle	37.45743	128.6018	919
2587	Alpine DH Finish	37.46439	128.6031	680
2588	Slopestyle Start	37.57434	128.3232	874
47100	Daegwallyeong	37.67713	128.7183	772.6
47105	Gangneung	37.75147	128.891	26
879	Ski Jumping	37.661	128.6794	852.2

Ensemble	ECMWF	EPSG N400	LENS N768
Simulation period	2013.05.01~2017.03.10	2016.05.01~2017.03.10	2016.06.29~2017.03.10
Number of members	51	25	13
Prediction time	3 h to 240 h (3 h)	3 h to 144 h (3 h)	4 h to 72 h (1 h)

Station	ECMWF			EPSG_N400			LENS_N768
Station	경향성	변동성	Δ	경향성	변동성	Δ	경향성	변동성	Δ
2552			1.589			1.665			1.498
2553			0.937			1.085			0.539
2554			0.906			0.935			0.659
2555			0.860			1.117			0.528
2557			0.940			1.114			0.717
2558			0.880			1.019			0.713
2559			0.944			0.924			0.812
2560			1.543			1.628			1.466
2561			0.981			1.167			0.567
2570			1.142			1.344			0.729
2571			1.455			1.050			1.219
2572			0.906			0.952			0.569
2573			0.869			0.955			0.549
2574			0.803			0.948			0.571
2575			0.841			1.056			0.584
2576			0.929			0.917			0.542
2577			0.863			0.952			0.797
2578			1.326			1.446			1.125
2579			1.284			1.418			1.038
2580			1.384			0.810			1.423
2581			1.064			0.874			1.102
2582			1.127			0.880			0.963
2583			1.172			0.789			1.077
2585			1.224			1.425			0.625
2586			1.164			0.923			1.005
2587			1.454			0.894			1.506
2588			1.055			1.002			0.720
47100			1.045			1.246			0.845
47105			1.350			1.466			0.897
879			0.919			1.178			0.746