The Korean Meteorological Society
[ Technical Note ]
Atmosphere - Vol. 28, No. 4, pp.509-520
ISSN: 1598-3560 (Print) 2288-3266 (Online)
Print publication date 31 Dec 2018
Received 17 Oct 2018 Revised 23 Nov 2018 Accepted 24 Nov 2018
DOI: https://doi.org/10.14191/Atmos.2018.28.4.509

PNU CGCM 앙상블 예보 시스템의 겨울철 남한 기온 예측 성능 평가

안중배 ; 이준리 ; 조세라*
부산대학교 지구환경시스템학부
Evaluation of PNU CGCM Ensemble Forecast System for Boreal Winter Temperature over South Korea
Joong-Bae Ahn ; Joonlee Lee ; Sera Jo*
Division of Earth Environmental System, Pusan National University, Busan, Korea

Correspondence to: * Sera Jo, Division of Earth Environmental System, Pusan National University, Busandaehak-ro 63beon-gil, Geumjeong-gu, Busan 46241, Korea. Phone: +82-51-514-1932, Fax: +82-51-514-1932 E-mail: seta43@pusan.ac.kr

Abstract

The performance of the newly designed Pusan National University Coupled General Circulation Model (PNU CGCM) Ensemble Forecast System which produce 40 ensemble members for 12-month lead prediction is evaluated and analyzed in terms of boreal winter temperature over South Korea (S. Korea). The influence of ensemble size on prediction skill is examined with 40 ensemble members and the result shows that spreads of predictability are larger when the size of ensemble member is smaller. Moreover, it is suggested that more than 20 ensemble members are required for better prediction of statistically significant inter-annual variability of wintertime temperature over S. Korea. As for the ensemble average (ENS), it shows superior forecast skill compared to each ensemble member and has significant temporal correlation with Automated Surface Observing System (ASOS) temperature at 99% confidence level. In addition to forecast skill for inter-annual variability of wintertime temperature over S. Korea, winter climatology around East Asia and synoptic characteristics of warm (above normal) and cold (below normal) winters are reasonably captured by PNU CGCM. For the categorical forecast with 3 × 3 contingency table, the deterministic forecast generally shows better performance than probabilistic forecast except for warm winter (hit rate of probabilistic forecast: 71%). It is also found that, in case of concentrated distribution of 40 ensemble members to one category out of the three, the probabilistic forecast tends to have relatively high predictability. Meanwhile, in the case when the ensemble members distribute evenly throughout the categories, the predictability becomes lower in the probabilistic forecast.

Keywords:

PNU CGCM, seasonal prediction, ensemble forecast, probabilistic forecast, deterministic forecast

1. 서 론

날씨 및 기후는 사회 및 경제에 영향을 줄 뿐만 아니라 인간활동과도 밀접한 연관이 있기에(IPCC, 2013), 질 높은 예측자료를 생산하는 것은 기상학 분야에 있어서 가장 중요한 주제 중 하나이다. 접합대순환모형(Coupled General Circulation Model, CGCM)은 지구시스템의 대기현상을 이해하고 예측하기 위한 주요한 수단으로(Meehl, 1995), 유럽의 European Centre for Medium-Range Weather Forecasts (ECMWF) (Molteni et al., 2011), 호주의 Predictive Ocean Atmosphere Model for Australia (POAMA) (Lim et al., 2012), 영국의 Meteorological Office (MacLachlan et al., 2015), 일본의 Japan Meteorology Agency (JMA) (Takaya et al., 2010), 미국의 National Centers for Environmental Prediction (NCEP) (Saha et al., 2014)과 같은 세계 여러 현업기관에서도 접합대순환모형을 이용하여 장기 예측을 수행하고 있다. 현재 국내에서는 기상청, Asia-Pacific Economic Cooperation Climate Center (APCC), 부산대학교 기후예측연구실에서 접합대순환모형을 이용하여 실시간 장기예보 자료를 생산하고 있다(e.g., Jeong et al., 2008; Ahn et al., 2012; Williams et al., 2015). 이 중 부산대학교 기후예측연구실은 자체적으로 접합대순환모형인 PNU CGCM을 개발 및 개선하여 매달 12개월 전망 자료를 생산하고 있으며(e.g., Kim and Ahn, 2015), 이러한 예측자료는 APCC에 제공되고 있다. 뿐만 아니라 PNU CGCM과 지역기후모형 및 통계적 방법을 이용한 규모축소(downscaling)를 실시하여 우리나라 및 미국, 중국 등의 주요 국가에 대한 상세 기후예측 자료를 생산하여 농촌진흥청 등에 제공하고 있다(e.g., RDA, 2014; RDA, 2018).

많은 선행연구들은 접합대순환모형과 같은 수치모형에서 생산된 예측자료의 성능을 높이기 위하여 모형내의 물리적 과정에 대한 모수화(parameterization)를 개선하거나(e.g., Collins et al., 2001; Kiehl and Gent, 2004), 모형의 해상도(resolution)를 조밀하게 하는 등(e.g., Guilyardi et al., 2004) 수치모형을 개선하는 방향으로 노력을 하거나, 자료동화(data assimilation) (Alves et al., 2004; Balmaseda and Anderson, 2009) 및 앙상블 기법(ensemble method) (e.g., Lu et al., 2007) 등을 이용하여 초기조건(initial condition)에 대한 불확실성을 줄여 예측성능을 향상시키려고 노력을 하고 있다. 또한, 모형 개발자들은 모형에서 생산된 자료의 경향성과 계절별 변동성을 분석하는 등 예측자료의 특성 파악과 검증을 통해 예측 성능을 향상하고자 하였다. 예를 들어 기상청의 경우 현업으로 사용하고 있는 Global Seasonal Forecast System version 5 Global Coupled configuration 2 (GloSea5GC2) (Williams et al., 2015)에 대하여 과거 기후장의 경향성이나 기후시스템의 계절별 변동성을 파악하는 기후변동지수의 예측성능을 검증하였고, 지속적으로 관련 연구들을 수행하고 있으며(e.g., Lee et al., 2016; Ham et al., 2017) 이러한 연구를 기반으로 장기예측 시스템을 구축하고 운영 중이다. 또한 Ahn et al. (2012)은 2000년대 초부터 개발을 시작한 PNU CGCM이 12개월 예측기간 동안 적분기간이 길어짐에도 해수면 온도(sea surface temperature, SST)의 예측성이 크게 떨어지지 않는 것과 적도 태평양 및 중위도 중앙 태평양 영역에 대하여 특히 높은 신뢰도를 유지함을 보였다. PNU CGCM의 예측결과는 북반구 겨울철의 지배적인 현상 중 하나인 북극 진동(Arctic oscillation)에 대하여도 높은 예측 성능을 나타내었으며(e.g., Kim and Ahn, 2015; Sun and Ahn, 2015), 이를 통해 접합 적분 시 자료동화를 이용한 해양 초기화의 중요성을 보여주었다.

겨울철의 한파, 폭설, 난동 등과 같은 이상기후현상은 인명 및 재산 등에 직접적인 피해를 줄 뿐만 아니라 사회·경제 전반에 걸쳐 다양한 영향을 미치므로 정확한 겨울철 기온 전망은 매우 중요한 문제이다(KMA, 2018). 최근 부산대학교 기후예측 연구실은 PNU CGCM의 앙상블 예보시스템을 개발 및 개선함에 따라 40개의 앙상블 멤버를 이용한 예보자료가 새롭게 완성하게 되었다. 본 연구에서는 새로운 앙상블 시스템을 이용하여 PNU CGCM의 겨울철 남한의 기온에 대하여 앙상블 예측자료의 정확도 및 예측 결과의 특징을 분석하여 장기예측에 활용할 가이드라인을 제시하고자 하였다. 본 연구는 남한을 중심으로 한 북반구 겨울철 기온에 대하여 초점을 맞추었다.


2. 자료 및 분석 방법

2.1 자료

본 연구에서는 새롭게 구축된 PNU CGCM 앙상블 예보 시스템에서 생산된 예측자료를 분석하였다. PNU CGCM은 APCC의 장기기후예측을 위한 다중모형 앙상블에 참여하고 있는 모형으로 대기 성분모형은 NCEP CCM3 (Community Climate Model version 3; Kiehl et al., 1996; Bonan, 1998), 해양 성분모형은 GFDL MOM3 (Modular Ocean Model version 3; Pacanowski and Griffies, 1999), 해빙모형은 LANL (Los Alamos National Laboratory)의 EVP (Elastic-Viscous-Plastic) Sea-Ice Model (Hunke and Dukowicz, 1997; Ahn and Lee, 2001)으로 구성된 접합대순환모형이다(http://apcc21.org/attach/ser/Data_Description-PNU.pdf). 대기성분모형인 CCM3의 수평해상도는 T42 (2.8125o)이고 해양성분모형의 수평해상도는 경도방향으로 2.8125o, 위도방향으로는 가변격자체제로 적도부근에서 약 0.7o, 중위도에서는 약 1.4o, 고위도에서는 약 2.8o의 해상도를 가진다(Kim and Ahn, 2015).

본 연구에 사용한 PNU CGCM 앙상블 예보 시스템에서 생산된 예측자료는 기상청의 2017년 여름철 기후전문가 회의부터 새롭게 제공된 예보자료로(Fig. 1), Kim and Ahn (2015)에서 소개한 모형과 동일하지만 다양한 초기화 방안을 통해서 앙상블 개수가 확장된 자료이다. 새로운 앙상블 예보 시스템은 총 4종류의 접합모형 초기조건 그룹으로 구성되어있다. 대기와 해양의 초기조건은 Atmospheric Model Intercomparison Project (AMIP) 타입 및 Ocean Model Intercomparison Project (OMIP) 타입 초기화 방안(Ahn and Lee, 2015)에 의해 초기화되는데, 이 때 변분법을 이용한 자료동화(Variational Analysis using a Filter; Huang, 2000; Ahn et al., 2012)를 적용하는 방법에 따라서 각각 두 가지로 나뉘어진다. 각 초기조건 그룹은 시간 지연 방법(time-lag method)을 이용해 10개의 앙상블멤버를 생산하여(Branković et al., 1990), 총 40개의 앙상블 멤버로 구성되어 있다. 이 가운데 5개의 앙상블 멤버는 부산대학교에서 생산한 초기조건을 이용하여 몽골 기상청(National Agency Meteorology and the Environmental Monitoring)에서 매월 8개월 전망자료를 생산하고 있고, 부산대학교에서는 35개의 앙상블멤버의 12개월 전망자료를 생산하며, 이는 몽골 기상청의 계절전망을 위해 최종 제공되고 있다(Fig. 1).

Fig. 1.

Schematic diagram of PNU Global Long-term Seasonal Ensemble Prediction System of which produce 40 ensemble members on monthly basis.

모형의 예측성능은 앙상블 멤버 수 및 모형의 특징을 바탕으로 어떠한 앙상블 방법을 사용하는가에 따라 앙상블 예측결과가 달라진다(Seong et al., 2017; Oh and Suh, 2017). 본 연구에서는 각 앙상블 멤버들의 결과를 simple composite method (SCM)을 이용하여 평균한 앙상블 평균(ENS)과 개별 앙상블 멤버들의 예측성능을 함께 비교하였다. 여기서 사용된 SCM은 각 앙상블 멤버들에게 동일한 가중치를 주어 평균하는 보편적인 방법으로, 앙상블 평균 방법 중 가장 간단하면서 효과적이기 때문에 대부분의 현업기관에서 기본적으로 사용하는 방법이다(Min et al., 2014; Ahn and Lee, 2016). 본 연구에서는 11월 초기조건을 이용하여 생산된 1980년부터 2017년까지 총 38년의 40개 앙상블 예측자료를 이용하여 겨울철(DEC-JAN-FEB) 남한의 기온 예측에 초점을 두고 분석하였다(Fig. 1).

본 연구에서는 기상청의 지상 기상관측(Automated Surface Observing System, ASOS) 지점들에서 관측된 자료를 남한의 평균기온 검증자료로 사용하였으며, 모형의 분석기간과 동일한 1980년부터 2017년까지 연속적으로 관측된 60개 지점의 ASOS 자료를 사용하였다(Lee et al., 2017). 또한, 모형 검증을 위한 자료로 NCEP-Department of Energy Reanalysis 2(본 연구에서는 편의를 위해 R2라 명명)를 사용하였다(Kanamitsu et al., 2002). R2에서 사용된 변수는 2 m 기온(2 m air Temperature, T2m), 해면기압(Sea Level Pressure, SLP), 500 hPa 지위고도(500 hPa geopotential height, Z500), 850 hPa 동서바람(850 hPa zonal wind, U850), 850 hPa 남북바람(850 hPa meridional wind, V850), 300 hPa 동서바람(300 hPa zonal wind, U300)이다. 재분석 자료의 해상도는 모형과의 비교를 위해 모형의 수평 및 연직 해상도와 동일하게 내삽하여 사용하였다.

2.2 분석방법

본 연구에서는 대표적인 결정적 분석방법(deterministic analysis)인 시간상관계수(temporal correlation coefficient, TCC)와 오차제곱근(root mean square error, RMSE), 관측자료를 이용하여 정규화된 표준편차(normalized standard deviation, NSTD)를 사용하였다(Jolliffe and Stephenson, 2003). 또한, 범주형 결정적 분석방법(categorical deterministic analysis)인 정답률(hit rates, HR)과 오답률(false alarm rates, FR) 그리고 모형에 의한 예측이 임의예측보다 나은 정도를 나타내는 하이드게 스킬 스코어(Heidke skill score, HSS)도 분석에 사용하였다(Wilks, 2006). 범주형 결정적 분석에는 평년기온을 기준으로 “평년과 비슷”, “평년보다 높음”, “평년보다 낮음” 세가지 범주를 사용하는 삼분위 예보의 예측성을 평가하였으며 이때 사용된 기준은 표준정규분포를 33%, 34%, 33%로 나누는 ± 0.43σ을 기준으로 하였고, 여기서 σ는 표준편차를 나타낸다(Ahn and Lee, 2016; Jo and Ahn, 2017).

앙상블 개수에 따른 예측성능 변화를 살펴보기 위하여 부트스트랩 기법(bootstrap method)을 사용하였다. 부트스트랩 기법은 주어진 데이터 세트로부터 무작위 재추출한 자료를 이용해 새로운 통계량을 얻는 방법으로(e.g., Wilks, 2006), 본 연구에서는 중복을 허용하지 않고 1,000,000번의 재샘플링(resampling) 과정을 수행하였다.

과거 PNU CGCM 장기예측 시스템에서는 5개 앙상블 멤버만 생산했지만(Kim and Ahn, 2015), 현재 새롭게 구축된 PNU CGCM 앙상블 예보 시스템에서 40개 앙상블 멤버의 전망자료가 생산됨에 따라 기존의 결정론적 예보(Deterministic forecast)뿐만 아니라 확률론적 예보(Probabilistic forecast)가 가능해졌다. 이에 본 연구에서는 겨울철 남한의 기온에 대하여 결정론적 예보와 확률론적 예보의 예측 성능 및 각 예보의 특징을 살펴보고자 하였다. 보편적으로 사용되는 확률론적 예보는 크게 두 가지로, 비모수화 방법(nonparametric method)과 모수화 방법(parametric method)이 사용된다. 비모수화의 대표적인 방법인 서열 기법(Ranking method)에 의한 확률론적 예보는 영국의 Met office나 유럽의 ECMWF에서 사용하고 있으며, 모수화에 의한 대표적인 방법인 가우시안 기법(Gaussian method)에 의한 확률론적 예보는 일본 기상청과 APCC에서 사용하고 있다. 그리고 기상청에서는 두 가지 방법을 동시에 사용하여 확률론적 예보를 수행하고 있다(KMA, 2012). 본 연구에서는 가우시안 기법을 이용하여 확률론적 예보를 수행하였다. 가우시안 기법은 예측결과의 확률 분포 함수에 대해 ± 0.43σ 값을 높음과 낮음의 기준 값으로 정하여 삼분위 지점을 결정하고, 모형이 예측한 결과가 확률 분포 함수의 어느 구간에 위치하는지 계산하여 확률로서 나타내는 방법이다.


3. 결 과

북반구 겨울철 남한의 기온에 대하여 앙상블 멤버 수에 따른 모형의 예측성능 차이를 살펴보기 위해 Fig. 2에서는 부트스트랩 기법을 이용해 PNU CGCM 40개 앙상블 멤버에서 선택 가능한 앙상블 조합의 평균과 ASOS 기온 사이의 시간상관계수를 상자그림(box plot)으로 나타내었다(남한영역: 위도 35~38oN, 경도125~131oE). Figure 2의 x축은 사용되는 앙상블 개수를 나타내고, 아래쪽 파란색 점선은 95% 신뢰수준(confidence level)을, 위쪽은 99% 신뢰수준을 나타낸다. 상자그림의 수염은 각각 최댓값과 최솟값을 나타내고 박스의 범위는 각각 25, 75 퍼센타일(percentile) 값을, 박스 가운데 선은 중간값(median)을 나타낸다. 먼저 앙상블 멤버의 수가 작을수록 어떤 앙상블 멤버를 선택하느냐에 따라 예측성의 차이가 매우 크게 나타났으며 중간값도 상대적으로 낮은 것을 알 수 있다. 반대로 앙상블 멤버의 수가 증가할수록 시간상관계수의 최솟값은 점차 높게 나타났으며, 특히 20개 이상의 앙상블 멤버를 사용할 때에는 중간값이 99% 이상의 신뢰수준을 나타내고 30개 이상의 앙상블 멤버에서는 75% 이상의 조합이 99% 신뢰수준에서 통계적으로 유의한 예측성을 보였다. 이는 과거 5개 앙상블 멤버를 생산한 PNU CGCM 장기예측 시스템 비교하여 현재의 PNU CGCM 앙상블 예보 시스템이 남한의 기온예측에 있어서 보다 안정적이면서 높은 예측 성능을 가짐을 의미한다.

Fig. 2.

Temporal correlation coefficients (Y axis) between ASOS and ensemble mean according to ensemble size (X axis). All possible ensemble combinations are calculated without duplication within 40 ensemble members.

다음은 40개의 앙상블 멤버들의 남한을 포함한 한반도 주변 지역에 대한 예측성을 살펴보기 위해, 각 앙상블 멤버와 R2 사이의 시간상관계수를 Fig. 3에 나타내었다. 여기서 40개 앙상블 가운데 95% 신뢰수준에서 유의한 시간상관계수를 가지는 앙상블 멤버의 수(%)를 색으로 나타내었으며, 빗금 친 영역은 ENS가 R2와 95% 신뢰수준에서 통계적으로 유의한 시간 상관계수를 나타내는 영역이다. 통계적으로 유의한 예측성을 가지는 앙상블 멤버가 많은 영역에서 ENS 역시 유의한 기온 예측성능을 나타내었고, 특히 한반도와 일본 남쪽의 해상, 그리고 내륙의 몽골지역에서 기온의 경년 변동을 잘 예측하는 것을 알 수 있다. 남한의 기온 예측성능을 재분석 자료뿐만 아니라 ASOS 자료를 이용하여 평가해 보면, 박스 영역에 대해 영역 평균된 ENS의 기온과 ASOS를 이용한 남한 평균 기온간의 시간상관계수가 0.44로, Student’s t 검증 결과 통계적으로 99% 신뢰수준에서 유의한 상관을 가짐을 의미한다(Wilks, 2006).

Fig. 3.

Spatial distribution of the ratio of ensemble numbers to 40 ensembles (shaded) which have statistically significant TCC. Dashed areas denote where ENS have statistically significant TCC. Value at Upper-right corner is area averaged TCC of ENS over S. Korea region (Boxed). Statistical significance is evaluated at 95% confidence level.

남한의 겨울철 기온에 대한 PNU CGCM의 예측성을 더 상세히 살펴보기 위하여 ENS뿐만 아니라 40개 앙상블 멤버와 관측 간의 시간상관계수, 정규화된 표준편차 그리고 오차제곱근을 Fig. 4에 나타내었다. Figure 4a는 테일러 다이어그램(Taylor diagram; Taylor, 2001)으로 REF 점에 가까울수록 관측과 유사한 크기의 표준편차와 높은 시간상관을 가짐을 의미한다. 40개 앙상블 멤버 가운데 75% 이상이 통계적으로 90% 신뢰구간에 미치지 못하는 시간상관계수를 나타내는 반면 ENS의 경우 99% 신뢰구간에서 통계적으로 유의한 예측성능을 보여, 앙상블 방법의 장점이 잘 나타난다(Figs. 4a, b). 오차제곱근 역시 시간상관계수와 마찬가지로 남한의 기온에 대해 ENS가 개별 앙상블 멤버들에 비해 가장 낮은 값을 나타내었다(Fig. 4c). ENS의 표준편차는 다른 멤버들에 비해 다소 작게 나타났으며, 이는 SCM을 이용한 앙상블 평균에서 나타나는 전형적인 특징이다(Jo and Ahn, 2014).

Fig. 4.

a) Taylor diagram and box plots, b) Temporal Correlation Coefficient and c) Root Mean Square Error (unit: oC) for temperature over S. Korea. Each ensemble member is denoted in grey open circle (a) and box (b, c) and ensemble mean is marked in red closed circle.

남한 기온의 경년 변동성뿐만 아니라 삼분위 예보의 예측성을 확인하기 위해 Fig. 5에서는 HR, HSS 그리고 FR을 40개 앙상블 멤버에 대하여 상자그림의 형태로 나타내었다. HR과 HSS 모두 예측성능이 낮은 쪽에 속하는 하위 50% 앙상블 멤버 보다는 예측성이 높은 쪽에 속하는 상위 50%의 예측성의 스프레드(spread)가 더 큰 것으로 나타났으며, ENS가 가장 높은 HR (0.58)과 HSS (0.37)를 나타내었다. FR은 ENS가 가장 낮은 값(0.21)을 나타내, 범주형 결정적 분석방법인 삼분위 예측성능 역시 ENS가 가장 높은 것으로 나타났다.

Fig. 5.

Box plot of Hit rate, Heidke skill score, False Alarm Rate for the 40 ensemble members for surface temperature compared with ASOS over South Korea.

모형이 겨울철 남한의 기온을 잘 예측하는 것과 관련하여 겨울철의 종관 변수의 기후학적 특징을 모형이 어떻게 모의하는지 살펴보기 위해, Fig. 6에서는 R2와 ENS의 해면기압, 850 hPa 수평바람, 500 hPa 지위고도 그리고 300 hPa 동서바람 기후장을 분석해 보았다. 먼저 하층의 기압장 및 바람장을 살펴보면(Figs. 6a, b) R2에서는 대륙의 시베리아 고기압과 태평양의 얄루샨 저기압의 모습이 특징적으로 나타나고 있으며, 한반도는 대륙고기압의 가장자리에 위치하여 북서계절풍의 영향을 받는 것으로 나타났다. 이는 대륙과 해양의 비열차에 의해 나타나는 겨울철 동아시아 몬순의 특징으로(e.g., Zhang et al., 1997; Chan and Li, 2004; Jhun and Lee, 2004; Chang et al., 2006; Wang and Chen, 2010) 남한의 겨울철 기후시스템이 동아시아 겨울 몬순의 한 부분임을 알 수 있다. ENS 역시 관측과 유사한 위치에서 시베리아 고기압과 얄루샨 저기압의 위치 및 크기를 유사하게 모의하였고, 시베리아 고기압의 세력을 남중국 지역까지 다소 넓게 모의하고 얄루샨 저기압의 중심을 관측보다 다소 강하게 모의하는 특징이 나타났으나, 한반도가 시베리아 고기압의 가장자리에 위치하여 북서계절풍의 영향을 받는 모습을 관측과 매우 유사하게 모의하였다(Figs. 6a, b). 상층 변수를 살펴보면 500 hPa에서 나타나는 기압골을 관측과 유사한 위치에 모의하며 그 강도는 모형이 관측보다 조금 더 깊게 모의하는 것으로 나타났고 상층 제트(300 hPa 동서바람)의 최댓값이 나타나는 위치 역시 모형이 관측과 유사하게 잘 모의하였다(Figs. 6c, d).

Fig. 6.

Climatology of sea level pressure (shaded), wind at 850 hPa (vector) (a, b) and geopotential height at 500 hPa (shaded), zonal wind at 300 hPa (contour) (c, d) from R2 (a, c) and ENS (b, d) during boreal winter.

Figure 6에서 모형이 겨울철의 기후(평년) 특징을 잘 모의하는 것을 살펴보았으므로 Fig. 7Fig. 8에서는 남한의 기온을 기준으로 평년보다 따뜻한 겨울(Above Normal)과 추운 겨울(Below Normal)의 특징을 모의할 수 있는지 살펴보기 위해 R2와 ENS의 평년대비 따뜻한 겨울, 추운 겨울 합성장 분석을 실시하였다. R2의 경우 ASOS 기온을, ENS의 경우 모델의 남한영역 평균값을 따뜻한 겨울과 추운 겨울의 기준으로 사용하였다. Figure 7은 정규화된 해면기압과 850 hPa 바람장 아노말리(anomaly)의 합성장을 나타낸 그림이다. 먼저 관측에서 살펴보면 따뜻한 겨울에는 기후학적으로 대륙에 발달하는 고기압 영역에 음의 해면기압 아노말리가 나타나고 해상에는 양의 해면기압 아노말리가 나타나 한반도에서는 남풍 계열의 아노말리가 발달하여 평년보다 따뜻한 겨울이 나타나는 것을 알 수 있다(Fig. 7a). 모형의 따뜻한 겨울철 합성장에서도 대륙에 나타난 음의 해면기압 아노말리와 해상에 나타난 양의 해면기압 아노말리가 뚜렷히 나타난다. 해상에 나타나는 양의 해면기압 아노말리는 관측에 비하여 좀더 동쪽으로 편향되어 있어 한반도 주변에는 850 hPa에서 동남풍 계열의 아노말러스한 바람장이 평년보다 따뜻한 겨울을 유도한 것으로 나타났다(Fig. 7c). 반대로 평년보다 추운 겨울에는 대륙의 고기압이 강화되고 해양에 저기압성 순환이 강화되어 겨울철 한반도의 주 계절풍인 북서계절풍을 강화시키는 바람 편차가 발생하는 것으로 나타났으며(Fig. 7b), 이러한 편차장의 공간적 분포는 평년보다 따뜻한 겨울과 상당히 대칭적인 것을 알 수 있다(Figs. 7a, b). 모형 역시 관측과 유사한 아노말리 패턴을 나타냈는데, 해양의 음의 아노말리의 중심이 관측은 위도 약 30o 부근인 반면 모형은 위도 50o 부근에서 나타났다. 대륙의 고기압성 아노말리의 경우 관측에서는 한반도 남쪽해상까지 확장하여 한반도에 북풍 아노말리가 강한 반면 모형은 북서풍 아노말리의 발달이 뚜렷하였다. 또한, 캄차카 반도 북쪽의 내륙 지역에서 모형이 관측에 비해 추운 겨울과 따뜻한 겨울 모두 아노말리의 강도를 크게 모의하였는데, 이는 북위 60o 부근의 지위고도의 남북 경도를 모형이 관측보다 크게 모의함을 의미한다. Figure 8에서는 겨울철에 발달하는 한반도 상층 기압골과 제트류(jet stream)의 차이를 살펴보기 위해 500 hPa 지위고도장과 300 hPa 동서바람을 나타내었다. 관측의 경우 평년보다 따뜻한 겨울과 추운 겨울에 대칭적으로 한반도 상층 기압골이 약화/강화 되는 형태의 아노말리 패턴이 나타났고, 상층제트는 북상/남하하여 한반도 상층의 제트류는 약화/강화되는 것으로 나타났다. 모형 역시 이 같은 구조 및 대칭성을 관측과 유사하게 모의한 반면 기압골에 나타나는 아노말리의 중심은 관측에 비해 동쪽에 위치하였으며 다소 좁은 영역에서 약하게 모의하는 특징이 있다.

Fig. 7.

Normalized anomaly composite map of sea level pressure (shaded) and 850 hPa wind (vector) for the case of Warm (a, c) and Cold (b, d) winter in observation (a, b) and PNU CGCM (c, d).

Fig. 8.

Normalized anomaly composite map of 500 hPa geopotential height (shading with light grey contour) and 300 hPa zonal wind (bold black contour) for the case of Warm (a, c) and Cold (b, d) winter in observation (a, b) and PNU CGCM (c, d).

Tables 12에서는 PNU CGCM 앙상블 예보 시스템의 예측자료를 이용하여 각각 결정론적 그리고 확률론적 삼분위 예보의 예측성능을 평가해 보았다. 먼저 결정론적 삼분위 예보의 경우 전체 정답률이 58%로 나타났고, 평년과 비슷한 해(50%)보다는 평년보다 기온이 낮거나(67%) 높은 겨울(57%)에 더 높은 정답률을 나타내었다(Table 1). 확률론적 예보의 경우 전체 정답률은 47%로 결정론적 예보보다 다소 낮은 결과를 보였으나, 평년보다 기온이 높은 겨울의 경우 71%의 정답률로 매우 높게 나타내었다. 추운 겨울에 대해서는 50% 정답률로 결정론적 예보와 비슷한 수준의 정답률을 보인 반면 평년과 비슷한 수준의 겨울에 대해서는 17%로 임의의 예측확률(33%)보다 낮은 정답률을 나타내었다. 확률론적 예보에 대해 좀더 자세히 살펴보기 위해 평년보다 높거나 낮은 해에 대하여 40개 앙상블멤버들이 3개의 카테고리에 분류된 개수에 따라 예보 정답률이 어떻게 다른지 Fig. 9에 분석해보았다. 여기서 x축은 기준 값과 각 카테고리의 앙상블 개수와의 차이의 절대값 평균을 나타낸 것으로 여기서의 기준 값은 40개 앙상블 중 1/3이 되는 값을 사용하였다. 이는 40개 앙상블 멤버들이 3개의 카테고리에 분포한 모양을 나타낸다. 예를 들어, x축의 값이 0에 가까울수록 총 40개 앙상블이 3개의 카테고리에 고르게 분포함을 의미하며, x축의 값이 클수록 한쪽으로 편중된 모양을 나타난다. Figure 9에서 알 수 있듯, 40개의 앙상블이 공통적으로 하나의 카테고리에 집중될수록 예보 예측성이 높은 것을 알 수 있다. 여기서 주목할 점은 x축의 범위가 0~2의 경우, 즉 3개의 카테고리에 대해 매우 고르게 앙상블 멤버들이 분포한 경우, 결정론적 예보를 따르는 것이 좋은 것으로 나타났다. 결과적으로 앙상블이 특정 카테고리에 집중된 결과를 보였을 때(x축의 값이 클 때)에는 확률론적 3분위 예보의 예측성이 결정론적 예보에 비해 높고, 앙상블 멤버가 3가지 카테고리에 2개 이하의 차이를 나타내며 고르게 분포하였을 때에는 결정론적 예측의 예측성이 높은 것을 확인하였다. 이러한 결정론적 예보와 확률론적 예보의 상황별 예측성에 관한 통계는 모형의 예측결과를 해석하는 데에 가이드라인으로 사용될 수 있을 것으로 생각된다.

Warm, normal and cold winters classified by the 3 × 3 contingency table based on the deterministic forecast of PNU CGCM with threshold ± 0.43σ.

Warm, normal and cold winters classified by the 3 × 3 contingency table based on the probabilistic forecast of PNU CGCM with threshold ± 0.43σ.

Fig. 9.

Hit rate (%) of probabilistic prediction (bar) with respect to the distribution of 40 ensemble members and deterministic prediction (line).


4. 요약 및 결론

본 연구에서는 초기화 방안의 다양화로 새롭게 구축된 PNU CGCM 앙상블 예보 시스템의 예측자료의 결정론적 그리고 확률론적 예측성능 평가를 수행하였다. 11월 초기조건을 이용하여 생산된 1980년부터 2017년까지 총 38년의 40개 앙상블 예측자료를 이용하여 겨울철(DEC-JAN-FEB) 남한의 기온 예측에 초점을 두고 분석하였다(Fig. 1). 먼저 앙상블 개수가 예측성능에 미치는 영향을 살펴본 결과, 앙상블 멤버가 작을수록 어떤 앙상블 멤버를 선택하느냐에 따라 예측성의 차이가 매우 크게 나타났다. 특히, 앙상블 멤버의 수가 20개 이상부터는 중간 값의 예측성능이 99% 신뢰수준에서 통계적으로 유의한 값을 보였으며, 이를 통해 겨울철 남한 기온을 통계적으로 유의하게 예측하기 위해 최소 20개 이상의 앙상블 멤버가 필요함을 알 수 있다. 40개 앙상블 멤버를 평균하여 예측성을 평가해 본 결과 시간상관계수가 99% 신뢰수준에서 통계적으로 유의한 값을 나타내었고, 개별앙상블 멤버보다 앙상블 평균이 높은 시간상관계수와 낮은 오차제곱근, 높은 HR, HSS와 낮은 FR을 보였다.

또한 겨울철 동아시아 몬순의 특징인 대륙에 발달한 시베리아 고기압과 해양의 얄루샨 저기압, 한반도에 나타나는 북서계절풍, 상층 제트 및 기압골의 발달이 관측과 유사하게 모의하고, 평년보다 따뜻하고 추운 겨울철의 합성장에서도 관측과 유사한 구조를 나타내었다. 그러므로 PNU CGCM이 동아시아의 겨울철 기후의 기후(평년)장과 아노말리 종관 패턴을 관측과 유사하게 모의함으로써 남한의 겨울철 기온을 예측해 낸다는 것을 확인하였다. 결정론적 그리고 확률론적으로 기온에 대한 3분위 예보 예측성을 살펴본 결과 전체적인 정답률은 결정론적 예보가 높지만 평년보다 기온이 높은 겨울의 경우 확률론적 예보의 정답률이 71%로 매우 높았으며, 평년보다 추운 겨울의 경우 결정론적 예보의 정답률이 67%로 가장 높았다. 평년과 유사할 경우 결정론적 예보의 정답률이 50%임에 반해, 확률론적 예보의 정답률이 17%로 임의의 예측 확률(33%)보다 낮은 수준이었다. 그리고 확률론적 예보는 3개의 카테고리에 대해 매우 고르게 앙상블 멤버들이 분포한 경우 정답률이 매우 낮은 반면, 한쪽으로 편중되어 있을 때는 정답률이 매우 높았다. 이를 통해 우리는 11월 초기조건으로 남한의 겨울철 기온을 예보할 경우, 앙상블 멤버들이 특정 카테고리에 집중 되었을 때에는 확률론적 예보의 결과를 따르는 반면, 3개의 카테고리에 대하여 고르게 분포할 경우 결정론적 예보의 결과를 믿는 것이 정답률이 높은 것을 확인하였다. 이러한 본 연구의 결과는 PNU CGCM 자료를 제공받는 기상청 기후전문가 회의 등과 같은 현업에 참고자료로 활용될 수 있을 것이다. 이와 같은 확률론적 그리고 결정론적 예보의 특징이 다른 적분에도 나타나는지, 나아가 다른 모형과 지역에도 나타나는지에 대해서는 추가적인 분석이 향후 필요할 것으로 생각된다.

Acknowledgments

이 논문은 부산대학교 기본연구지원사업(2년)에 의하여 연구되었음.

References

  • Ahn, J.-B., and J. A. Lee, (2001), Numerical study on the role of sea-ice using ocean general circulation model, J. Korean Soc. Oceanogr., 6, p225-233, (in Korean with English abstract).
  • Ahn, J.-B., and J. Lee, (2015), Comparative Study on the seasonal predictability dependency of boreal winter 2 m temperature and sea surface temperature on CGCM initial conditions, Atmosphere, 25, p353-366, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2015.25.2.353]
  • Ahn, J.-B., and J. Lee, (2016), A new multi-model ensemble method using nonlinear genetic algorithm: An application to boreal winter surface air temperature and precipitation prediction, J. Geophys. Res. Atmos., 121, p9263-9277. [https://doi.org/10.1002/2016JD025151]
  • Ahn, J.-B., S.-B. Lee, and S.-B. Ryoo, (2012), Development of 12-month Ensemble Prediction System Using PNU CGCM V1.1, Atmosphere, 22, p455-464, (in Korean with English abstract). [https://doi.org/10.14191/atmos.2012.22.4.455]
  • Alves, O., M. A. Balmaseda, D. Anderson, and T. Stockdale, (2004), Sensitivity of dynamical seasonal forecasts to ocean initial conditions, Quart. J. Roy. Meteor. Soc., 130, p647-667. [https://doi.org/10.1256/qj.03.25]
  • Balmaseda, M., and D. Anderson, (2009), Impact of initialization strategies and observations on seasonal forecast skill, Geophys. Res. Lett., 36, pL01701. [https://doi.org/10.1029/2008gl035561]
  • Bonan, G. B., (1998), The land surface climatology of the NCAR Land Surface Model (LSM 1.0) coupled to the NCAR Community Climate Model (CCM3), J. Climate, 11, p1307-1326.
  • Branković, Č., T. N. Palmer, F. Molteni, S. Tibaldi, and U. Cubasch, (1990), Extended-range predictions with ECMWF models: Time-lagged ensemble forecasting, Quart. J. Roy. Meteor. Soc., 116, p867-912. [https://doi.org/10.1002/qj.49711649405]
  • Chan, J. C. L., and C. Y. Li, (2004), The East Asia winter monsoon, Chang, C.P. Ed., East Asian Monsoon, World Scientific Publishing Co. Pet. Ltd., p54-106.
  • Chang, C.-P., Z. Wang, and H. Hendon, (2006), The Asian winter monsoon, Wang, B. Ed., The Asian Monsoon, Praxis Springer Berlin, p89-127.
  • Collins, M., S. F. B. Tett, and C. Cooper, (2001), The internal climate variability of HadCM3, a version of the Hadley Centre coupled model without flux adjustments, Climate Dyn., 17, p61-81. [https://doi.org/10.1007/s003820000094]
  • Guilyardi, E., and Coauthors , (2004), Representing El Niño in coupled ocean-atmosphere GCMs: the dominant role of the atmospheric component, J. Climate, 17, p4623-4629. [https://doi.org/10.1175/jcli-3260.1]
  • Ham, H., D. Won, and Y.-S. Lee, (2017), Performance assessment of weekly ensemble prediction data at seasonal forecast system with high resolution, Atmosphere, 27, p261-276, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2017.27.3.261]
  • Huang, X.-Y., (2000), Variational analysis using spatial filters, Mon. Wea. Rev., 128, p2588-2600. [https://doi.org/10.1175/1520-0493(2000)128<2588:vausf>2.0.co;2]
  • Hunke, E. C., and J. K. Dukowicz, (1997), An elastic-viscous-plastic model for sea ice dynamics, J. Phys. Oceanogr., 27, p1849-1867. [https://doi.org/10.1175/1520-0485(1997)027<1849:aevpmf>2.0.co;2]
  • IPCC, (2013), Climate change 2013: the physical science basis: Working group I contribution to the Fifth assessment report of the Intergovernmental Panel on Climate Change, Cambridge University Press, p1535.
  • Jeong, H. I., K. Ashok, B. G. Song, and Y. M. Min, (2008), Experimental 6-month Hindcast and forecast simulation using CCSM3. APCC 2008 Tech. Rep. APEC Climate Center, Korea.
  • Jhun, J.-G., and E.-J. Lee, (2004), A new East Asian Winter Monsoon Index and associated characteristics of the winter monsoon, J. Climate, 17, p711-726. [https://doi.org/10.1175/1520-0442(2004)017<0711:aneawm>2.0.co;2]
  • Jo, S., and J.-B. Ahn, (2014), Improvement of CGCM prediction for wet season precipitation over Maritime Continent using a bias correction method, Int. J. Climatol., 35, p3721-3732. [https://doi.org/10.1002/joc.4232]
  • Jo, S., and J.-B. Ahn, (2017), Statistical forecast of early spring precipitation over South Korea using multiple linear regression, J. Climate Res., 12, p53-71, (in Korean with English abstract). [https://doi.org/10.14383/cri.2017.12.1.53]
  • Jolliffe, I. T., and D. B. Stephenson, (2003), Forecast verification: a practitioner’s guide in atmospheric science, Wiley and Sons, p254.
  • Kanamitsu, M., W. Ebisuzaki, J. Woollen, S.-K. Yang, J. J. Hnilo, M. Fiorino, and G. L. Potter, (2002), NCEP-DOE AMIP-II Reanalysis (R-2), Bull. Amer. Meteor. Soc., 83, p1631-1643.
  • Kiehl, J. T., and P. R. Gent, (2004), The Community Climate System Model, Version 2, J. Climate, 17, p3666-3682. [https://doi.org/10.1175/1520-0442(2004)017<3666:tccsmv>2.0.co;2]
  • Kiehl, J. T., J. J. Hack, G. B. Bonan, B. A. Boville, B. P. Briegleb, D. L. Williamson, and P. J. Rasch, (1996), Description of the NCAR community climate model (CCM3). NCAR Tech. Note. NCAR/TN-420+STR, p152.
  • Kim, H.-J., and J.-B. Ahn, (2015), Improvement in Prediction of the Arctic Oscillation with a Realistic Ocean Initial Condition in a CGCM, J. Climate, 28, p8951-8967. [https://doi.org/10.1175/jcli-d-14-00457.1]
  • KMA, (2012), Construction of the abnormal climate probability forecast system using the joint seasonal forecast system between KMA and Met Office, Korean Meteorological Administration, Seoul, p97.
  • KMA, (2018), 2017 abnormal climate report, Korean Meteorological Administration, 218, [Available online at http://www.climate.go.kr/home/cc_data/2018/2017_abnormal_climate_report.pdf.].
  • Lee, J., J.-B. Ahn, M.-P. Jung, and K.-M. Shim, (2017), A Study on the Method of Producing the 1 km Resolution Seasonal Prediction of Temperature Over South Korea for Boreal Winter Using Genetic Algorithm and Global Elevation Data Based on Remote Sensing, Korean J. Remote Sens., 33, p661-676, (in Korean with English abstract). [https://doi.org/10.7780/kjrs.2017.33.5.2.6]
  • Lee, S.-M., H.-S. Kang, Y.-H. Kim, Y.-B. Byun, and C. H. Cho, (2016), Verification and comparison of forecast skill between global seasonal forecast system version 5 and unified model during 2014, Atmosphere, 26, p59-72, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2016.26.1.059]
  • Lim, E.-P., H. H. Hendon, S. Langford, and O. Alves, (2012), Improvements in POAMA2 for the prediction of major climate drivers and south eastern Australian rainfall. CAWCR Tech. Rep. No. 051, p23, [Available online at http://www.cawcr.gov.au/technical-reports/CTR_051.pdf.].
  • Lu, C., H. Yuan, B. E. Schwartz, and S. G. Benjamin, (2007), Short-range numerical weather prediction using time-lagged ensembles, Wea. Forecasting, 22, p580-595. [https://doi.org/10.1175/waf999.1]
  • MacLachlan, C., and Coauthors , (2015), Global Seasonal forecast system version 5 (GloSea5): a high-resolution seasonal forecast system, Quart. J. Roy. Meteor. Soc., 141, p1072-1084. [https://doi.org/10.1002/qj.2396]
  • Meehl, G. A., (1995), Global coupled general circulation models, Bull. Amer. Meteor. Soc., 76, p951-957. [https://doi.org/10.1175/1520-0477-76.6.951]
  • Min, Y.-M., V. N. Kryjov, and S. M. Oh, (2014), Assessment of APCC multimodel ensemble prediction in seasonal climate forecasting: Retrospective (1983-2003) and real-time forecasts (2008-2013), J. Geophys. Res. Atmos., 119, p12132-12150. [https://doi.org/10.1002/2014JD022230]
  • Molteni, F., and Coauthors , (2011), The new ECMWF seasonal forecast system (System 4), ECMWF Tech Memo 656, p51, [Available online at https://www.ecmwf.int/sites/default/files/elibrary/2011/11209-new-ecmwf-seasonal-forecast-system-system-4.pdf.].
  • Oh, S.-G., and M.-S. Suh, (2017), Comparison of projection skills of deterministic ensemble methods using pseudo-simulation data generated from multivariate Gaussian distribution, Theor. Appl. Climatol., 129, p243-262, 10.1007/s00704-016-1782-1. [https://doi.org/10.1007/s00704-016-1782-1]
  • Pacanowski, R. C., and S. M. Griffies, (1999), MOM 3.0 manual. Princeton, USA: NOAA/Geophysical Fluid Dynamics Laboratory 08542, p708, [Available online at https://www.gfdl.noaa.gov/wp-content/uploads/files/model_development/ocean/mom3_manual.pdf.].
  • RDA, (2014), The Construction of Agrometeorological Information and Climate Modeling in Major Crop Production Area, Rural Development Administration, p138, [Available online at http://www.ndsl.kr/ndsl/search/detail/report/reportSearchResultDetail.do?cn=TRKO201400011432].
  • RDA, (2018), Production of Dissemination of Agro-climate Information in Major Crop Production Areas, Rural Development Administration, p79, [Available online at http://www.ndsl.kr/ndsl/search/detail/report/reportSearchResultDetail.do?cn=TRKO201800043070].
  • Saha, S., and Coauthors , (2014), The NCEP climate forecast system version 2, J. Climate, 27, p2185-2208. [https://doi.org/10.1175/JCLI-D-12-00823.1]
  • Seong, M.-G., M.-S. Suh, and C. Kim, (2017), Intercomparison of Prediction Skills of Ensemble Methods Using Monthly Mean Temperature Simulated by CMIP5 Models, Asia-Pac. J. Atmos. Sci., 53, p339-351. [https://doi.org/10.1007/s13143-017-0039-y]
  • Sun, J., and J.-B. Ahn, (2015), Dynamical seasonal predictability of the arctic oscillation using a CGCM, Int. J. Climatol., 35, p1342-1353. [https://doi.org/10.1002/joc.4060]
  • Takaya, Y., T. Yasuda, T. Ose, and T. Nakaegawa, (2010), Predictability of the mean location of typhoon formation in a seasonal prediction experiment with a coupled general circulation model, J. Meteor. Soc. Japan, 88, p799-812. [https://doi.org/10.2151/jmsj.2010-502]
  • Taylor, K. E., (2001), Summarizing multiple aspects of model performance in a single diagram, J. Geophys. Res.-Atmos., 106, p7183-7192. [https://doi.org/10.1029/2000jd900719]
  • Wang, L., and W. Chen, (2010), How well do existing indices measure the strength of the East Asian Winter Monsoon?, Adv. Atmos. Sci., 27, p855-870. [https://doi.org/10.1007/s00376-009-9094-3]
  • Wilks, D. S., (2006), Statistical methods in the atmospheric sciences, International Geophysics Series, 91, 2nd edn., Academic Press, San Diego, p627.
  • Williams, K. D., and Coauthors , (2015), The met office global coupled model 2.0 (GC2) configuration, Geosci. Model Dev., 8, p1509-1524. [https://doi.org/10.5194/gmd-8-1509-2015]
  • Zhang, Y., K. R. Sperber, and J. S. Boyle, (1997), Climatology and interannual variation of the east Asian winter monsoon: Results from the 1979-95 NCEP/NCAR reanalysis, Mon. Wea. Rev., 125, p2605-2619. [https://doi.org/10.1175/1520-0493(1997)125<2605:caivot>2.0.co;2]

Fig. 1.

Fig. 1.
Schematic diagram of PNU Global Long-term Seasonal Ensemble Prediction System of which produce 40 ensemble members on monthly basis.

Fig. 2.

Fig. 2.
Temporal correlation coefficients (Y axis) between ASOS and ensemble mean according to ensemble size (X axis). All possible ensemble combinations are calculated without duplication within 40 ensemble members.

Fig. 3.

Fig. 3.
Spatial distribution of the ratio of ensemble numbers to 40 ensembles (shaded) which have statistically significant TCC. Dashed areas denote where ENS have statistically significant TCC. Value at Upper-right corner is area averaged TCC of ENS over S. Korea region (Boxed). Statistical significance is evaluated at 95% confidence level.

Fig. 4.

Fig. 4.
a) Taylor diagram and box plots, b) Temporal Correlation Coefficient and c) Root Mean Square Error (unit: oC) for temperature over S. Korea. Each ensemble member is denoted in grey open circle (a) and box (b, c) and ensemble mean is marked in red closed circle.

Fig. 5.

Fig. 5.
Box plot of Hit rate, Heidke skill score, False Alarm Rate for the 40 ensemble members for surface temperature compared with ASOS over South Korea.

Fig. 6.

Fig. 6.
Climatology of sea level pressure (shaded), wind at 850 hPa (vector) (a, b) and geopotential height at 500 hPa (shaded), zonal wind at 300 hPa (contour) (c, d) from R2 (a, c) and ENS (b, d) during boreal winter.

Fig. 7.

Fig. 7.
Normalized anomaly composite map of sea level pressure (shaded) and 850 hPa wind (vector) for the case of Warm (a, c) and Cold (b, d) winter in observation (a, b) and PNU CGCM (c, d).

Fig. 8.

Fig. 8.
Normalized anomaly composite map of 500 hPa geopotential height (shading with light grey contour) and 300 hPa zonal wind (bold black contour) for the case of Warm (a, c) and Cold (b, d) winter in observation (a, b) and PNU CGCM (c, d).

Fig. 9.

Fig. 9.
Hit rate (%) of probabilistic prediction (bar) with respect to the distribution of 40 ensemble members and deterministic prediction (line).

Table 1.

Warm, normal and cold winters classified by the 3 × 3 contingency table based on the deterministic forecast of PNU CGCM with threshold ± 0.43σ.

Hit rate MODEL
58% - 0 + Hit rate
ASOS - 1980 1981 1983
1984 1985 1995
2010 2012
1982 2005 2011 2017 67%
0 1993 1996 2009 1987 1999 2000
2002 2004 2014
1990 1994 2007 50%
+ 1997 1986 1998 2008
2013 2016
1988 1989 1991
1992 2001 2003
2006 2015
57%

Table 2.

Warm, normal and cold winters classified by the 3 × 3 contingency table based on the probabilistic forecast of PNU CGCM with threshold ± 0.43σ.

Hit rate MODEL
47% - 0 + Hit rate
ASOS - 1981 1983 1984
1985 2010 2012
1980 1995 2011 1982 2005 2017 50%
0 1993 1996 2000
2002 2009
1987 1999 1990 1994 2004
2007 2014
17%
+ 1997 1998 2008
2016
1986 1988 1989
1991 1992 2001
2003 2006 2013
2015
71%