The Korean Meteorological Society 1

Atmosphere - Vol. 30 , No. 4

[ Article ]
Atmosphere - Vol. 30, No. 4, pp.405-420
Abbreviation: Atmos
ISSN: 1598-3560 (Print) 2288-3266 (Online)
Print publication date 31 Dec 2020
Received 27 Aug 2020 Revised 16 Oct 2020 Accepted 02 Nov 2020
DOI: https://doi.org/10.14191/Atmos.2020.30.4.405

APCC 다중 모형 자료 기반 계절 내 월 기온 및 강수 변동 예측성
송찬영 ; 안중배*
부산대학교 지구환경시스템학부

Prediction Skill of Intraseasonal Monthly Temperature and Precipitation Variations for APCC Multi-Models
Chan-Yeong Song ; Joong-Bae Ahn*
Division of Earth Environmental System, Pusan National University, Busan, Korea
Correspondence to : * Joong-Bae Ahn, Division of Earth Environmental System, Pusan National University, Busandaehak-ro 63beon-gil, Geumjeong-gu, Busan 46241, Korea Phone: +82-51-514-1932, Fax: +82-51-514-1932 E-mail: jbahn@pusan.ac.kr

Funding Information ▼

Abstract

In this study, we investigate the predictability of intraseasonal monthly temperature and precipitation variations using hindcast datasets from eight global circulation models participating in the operational multi-model ensemble (MME) seasonal prediction system of the Asia-Pacific Economic Cooperation Climate Center for the 1983~2010 period. These intraseasonal monthly variations are defined by categorical deterministic analysis. The monthly temperature and precipitation are categorized into above normal (AN), near normal (NN), and below normal (BN) based on the σ-value ± 0.43 after standardization. The nine patterns of intraseasonal monthly variation are defined by considering the changing pattern of the monthly categories for the three consecutive months. A deterministic and a probabilistic analysis are used to define intraseasonal monthly variation for the multi-model consisting of numerous ensemble members. The results show that a pattern (pattern 7), which has the same monthly categories in three consecutive months, is the most frequently occurring pattern in observation regardless of the seasons and variables. Meanwhile, the patterns (e.g., patterns 8 and 9) that have consistently increasing or decreasing trends in three consecutive months, such as BN-NN-AN or AN-NN-BN, occur rarely in observation. The MME and eight individual models generally capture pattern 7 well but rarely capture patterns 8 and 9.


Keywords: Intraseasonal monthly variation, ensemble forecast, deterministic forecast, probabilistic forecast, Multi-model ensemble (MME)

1. 서 론

최근 전 세계적으로 폭염, 한파, 집중호우 등 이상기후 현상에 대한 피해가 증가함에 따라 신뢰할 수 있는 장기 예측 자료의 생산이 중요해지고 있다. 대기의 비선형적 및 카오스적 성질에 의해 수치 모형의 예측 오차는 초기부터 증가할 수 있는데(Lorenz, 1969), 모형의 부정확한 초기 조건과 모형 자체의 불확실성은 기상 및 기후 예측에 어려움을 야기한다. 모형의 초기조건 불확실성을 줄이기 위하여 자료 동화(data assimilation) (Alves et al., 2004; Balmaseda and Anderson, 2009) 및 앙상블기법(Stensrud et al., 2000; Richardson, 2000; Bowler et al., 2008; Wei et al., 2008)이 사용되고 있다. 또한 모형의 구조적 오차를 개선하기 위해 서로 다른 모형의 결과를 앙상블 멤버로 구성하여 개별 모형이 가지고 있는 내부 변동성을 제거하는 다중 모형 앙상블(Multi-Model Ensemble, MME)이 장기 예측에 사용되기도 한다. European Centre for Medium-Range Weather Forecasts (ECMWF), National Centers for Environmental Prediction (NCEP), Asia-Pacific Economic Cooperation Climate Center (APCC) 등 현업 기관에서는 다중 모형을 이용한 준실시간 계절 예측(quasi-real time MME seasonal predictions)을 수행하고 있다(Krishnamurti et al., 2000; Palmer et al., 2004; Kirtman et al., 2014; Min et al., 2014).

현재 장기 예측 모형과 관련된 연구들은 대부분 중장기 계절 예측성 평가 및 향상 방안 논의에 집중되어 있다. 이들 연구는 주로 개별 모형의 예측성을 살펴보거나 복수의 모형을 이용한 MME 기법을 적용하여 예측성을 검증하거나(e.g., Ahn and Lee, 2016; Kim et al., 2016; Min et al., 2017; Ahn et al., 2018), 대기의 주요 모드인 엘니뇨-남방진동(El Nino Southern Oscillation, ENSO), 북극진동(Arctic Oscillation, AO), 북대서양 진동(North Atlantic Oscillation, NAO), 몬순 등과 같은 지수들의 예측성을 평가한다(e.g., Sohn et al., 2012; Kang et al., 2014; Sun and Ahn, 2015; Lee et al., 2018; Park et al., 2018).

최근에는 2주~2개월의 시간 규모를 갖는 현상에 대한 예측의 중요성과 수요가 증가함에 따라 계절보다 작은 규모의 예측성 향상에 대한 관심이 집중되고 있다. 단기 예측과 계절 단위의 장기 예측 사이에 해당하는 중기(계절 내~계절) 규모는 단기 예측에 비해 대기 초기 조건의 예측 선행 시간(Lead time)이 길어지면서 그 값을 잃어버리기에 충분히 긴 기간이며, 장기 예측에서 고려되는 해양과 지면 등 하층 경계조건의 변동의 영향을 크게 받지 않는 짧은 기간이기 때문에 예측에 어려움이 많다(Vitart et al., 2012). 중기 규모와 계절 규모 간의 간극을 줄이고 이음새 없는 예측을 위해 세계 기상 연구 프로그램(World Weather Research Program, WWRP)과 세계 기후 연구 프로그램(World Climate Research Program, WCRP)에서는 S2S (Sub-seasonal to Seasonal) 프로젝트를 수행하고 있다(Vitart et al., 2017; Vitart and Robertson, 2018). 2015년부터 ECMWF와 중국기상청(China Meteorological Administration, CMA)에서는 S2S 프로젝트에 참여하고 있는 세계 11개 기관의 예측(Forecast) 및 과거기후 모의(Hindcast) 자료에 대해 데이터베이스를 구축하여 준 실시간으로 자료를 제공하고 있다(https://apps.ecmwf.int/datasets/data/s2s/, http://s2s.cma.cn/centers?mo=babj_CMA_37).

본 연구에서는 기존 연구에서 많이 수행되었던 계절 규모보다 더 짧은 계절 내 규모의 변동성 관점에서 모형의 현재 예측 성능을 살펴보았다. 본 연구에서는 기온과 강수에 대해서 APCC MME에 참여한 개별 모형과 MME의 계절 별 또는 월 별 예측성보다는 월 별 변동성에 대한 예측성을 살펴보았다. S2S 데이터베이스 자료를 이용한 기존 연구들은 주로 주 단위 예측성을 살펴보는 데 집중되어 있으며, 개별 모형들의 공통된 과거기후 모의 자료들은 10년 내외로 짧고 대부분 2개월까지의 예측 자료를 제공하고 있다(e.g., Kim et al., 2018; Park et al., 2018; Song et al., 2018). 본 연구는 월 평균 값을 이용한 계절 내 월 변동성을 매년 여름철 및 겨울철에 대해 패턴을 정의하고 개별모형과 MME가 얼마나 관측의 패턴을 예측하는 지정량적으로 제시하는 것에 목표를 두고 있다. 이를 위해서는 가능한 많은 개별 모형과 앙상블 개수가 요구되는데, S2S 데이터베이스 자료의 경우 위 예측성을 살펴보기에 모형의 기간이 짧고 앙상블 개수가 적다. 따라서 본 연구에서는 APCC 3개월 계절 예측에서 사용하고 있는 다수 모형의 과거기후 모의 자료를 사용하였다. 위 계절 예측 시스템의 모형 자료들은 S2S 자료에 비해 상대적으로 많은 개별 모형과 앙상블 예측을 제공하기 때문에 확률론적 앙상블 분석 방법을 적용하기에 용이하다는 장점을 갖는다.

2장에서는 사용한 모형과 재분석 자료에 대한 설명 및 분석 방법을 제시하였고, 3장에서는 분석 방법을 기초로 하여 모형의 계절 내 월 변동성의 예측성능을 진단하였다. 4장에서는 요약 및 결론을 서술하였다.


2. 자료 및 분석 방법
2.1 자료

본 연구에서는 APCC 다중 모형 앙상블 3개월 계절 예측에 활용되고 있는 총 8가지 모형의 과거기후 모의 자료를 사용하였다. 사용한 모형(기관)은 SCOPS (APEC Climate Center, APCC), POAMA (Bureau of Meteorology, BOM), GFST119 (Central Weather Bureau, CWB), CANSIP 및 CANSIPv2 (Meteorological Service of Canada, MSC), GEOS-S2S-2.1 (National Aeronautics and Space Administration, NASA), GFSv2 (National Centers for Environmental Prediction, NCEP), PNU CGCMv2 (Pusan National University, PNU)으로 자세한 정보는 Table 1에 나타냈다(http://adss.apcc21.org/).

Table 1. 
Description of APCC multi-models for analysis.
Organization/
Country
Model name AGCM (resolution) OGCM (resolution) Ensemble
size
Reference
APCC/Korea SCOPS ECHAM5.3
(T159L31)
POP2.0.1 (0.3o-0.5o lat ×
1.0o lon, L40)
10 Ham et al. (2019)
BOM/Australia POAMA BAM (T47L17) ACOM2 (0.5o-1.5o lat ×
2.0o lon, L25)
33 Lim et al. (2012)
CWB/Chinese
Taipei
GFST119 GFS (T119L40) - 30 Paek et al. (2015)
MSC/Canada CANSIPS CanAM3 (T63L31)
CanAM4 (T63L31)
CanOM4 (1.40o lon ×
0.94o lat, L40)
20 Merryfield et al. (2013)
MSC/Canada CANSIPSv2 CanAM4 (T63L35)
GEM 4.8-LTS13
(1.4o lon × 1.4o lat, L79)
CanOM4 (1.40o lon ×
0.94o lat, L40)
NEMO 3.6 (1.0o lon ×
1.0o lat, L50)
20 Lin et al. (2020)
NASA/USA GEOS-S2S-2.1 Post MERRA-2
(0.5o lon × 0.5o lat,
72 vertical levels)
MOM5 (0.5o lon ×
0.5o lat, 40 levels)
4 Molod et al. (2020)
NCEP/USA CFSv2 GFS (T126L64) MOM4 (0.25o-0.5o lat ×
0.5o lon, L40)
20 Saha et al. (2014)
PNU/Korea PNU CGCMv2.0 CCM3 (T42L18) MOM3 (2.8125o lat ×
0.7o-2.8o lon, L40)
35 Kim and Ahn (2015)

본 연구의 분석 변수는 월 평균 기온(2m air temperature, T2) 및 강수이며, 분석 기간은 1983년부터 2010년까지 총 28년 동안의 북반구 여름철(June-July-August, JJA)과 겨울철(December-January-February, DJF)이다. 모든 모형에 대하여 각각 5월, 11월 초기 조건으로 생산된 여름철 및 겨울철 자료를 사용하여 각 계절 내 월 자료들은 1~3개월의 예측 선행 시간(1~3 month lead)을 갖도록 하였다.

모형 검증을 위한 기온 및 강수 관측 자료는 각각 월 평균 National Center for Environmental Prediction (NCEP) Department of Energy (DOE) Reanalysis2 (Kanamitsu et al., 2002)와 월 평균 CPC Merged Analysis of Precipitation (CMAP) 재분석 자료를 사용하였다. 모든 모형과 관측 자료는 2.5o × 2.5o (Lon 144 × Lat 73)의 공간해상도로 재격자하였다.

2.2 계절 내 월 변동성

본 연구에서는 범주형 결정적 분석방법(categorical deterministic analysis)을 통하여 계절 내 월 변동성을 정의하였다(Fig. 1). 먼저 월 평균 기온 및 강수는 분석기간 동안의 평년 값을 기준으로 평년보다 낮음(below normal, BN), 평년과 비슷(near normal, NN), 평년보다 높음(above normal, AN)의 세 가지 범주로 분류하였다. 이 때 사용된 기준은 총 분석 기간에 대해 상위 33% (AN), 가운데 34% (NN), 하위 33% (BN)로 나누는 표준편차(σ)가 ± 0.43이 되는 값으로 하였다. 이와 같은 일련의 과정으로 월 자료를 각각 세 가지 범주로 분류하게 되면, 연속하는 3개월에 해당하는 계절 내 패턴은 총 27개로 구성된다(Fig. 1b). 본 연구의 목적은 모형의 예측성 자체를 보는 것이 아니라 계절 내에서의 변동성을 살피는 것이기 때문에 Fig. 1a와 같이 계절 내 월 별 변동 패턴을 정의했다. 본 연구에서 정의한 계절 내 월 변동성은 계절 내 연속하는 3개월의 범주가 증가 후 감소(1번), 감소 후 증가(2번), 증가 후 유지(3번), 유지 후 감소(4번), 유지 후 증가(5번), 감소 후 유지(6번), 계속 유지(7번), 계속 증가(8번), 계속 감소(9번)하는 패턴으로 구성된다(Fig. 1a).


Fig. 1. 
Schematic diagram of the (a) intraseasonal monthly variation based on the (b) monthly categories. The monthly values of observation and models are classified by below normal (BN), near normal (NN), and above normal (AN) based on the value of ± 0.43 after standardization.

다수의 앙상블 멤버가 포함된 다중 모형 자료에서 계절 내 월 변동성 패턴을 특정하기 위해서 결정론적(Deterministic) 및 확률론적(Probabilistic) 앙상블 분석 방법을 사용하였다(Fig. 2). 결정론적 앙상블 분석 방법(MEAN)의 경우 각 모형들의 매 월 모든 앙상블 멤버 결과를 간단한 합성 방법(simple composite method, SCM)으로 평균한 하나의 월 평균 결과값을 이용하여 AN, NN, BN 중 하나의 범주로 특정한 후 계절 내 연속하는 3개월의 월 자료 범주를 이용하여 9개의 계절 내 월 변동성 패턴 중 하나로 결정된다. MME의 경우, 다중 모형 앙상블의 결과를 SCM을 통해 평균한 결과를 이용하여 위와 동일한 과정을 수행하였다(Fig. 2a). 본 연구에서 사용한 SCM은 다수의 앙상블 멤버 혹은 모형의 결과를 동일한 가중치로 평균하는 방법으로, 가장 간단하면서 효과적인 방법이기 때문에 많이 사용되고 있는 방법이다(Jeong et al., 2012; Min et al., 2014; Ahn and Lee, 2016).


Fig. 2. 
Description of the two experiments performed to define the intraseasonal monthly variation for each model.

한편, 확률론적 앙상블 분석 방법(PROB)의 경우 MEAN과 비교했을 때 모형의 매 월 범주를 결정하는 과정에서 차이가 있다. 각 모형들은 매 월 모든 앙상블 멤버의 결과에 대해 3가지 범주 중 하나로 특정되는데, 그 중 다수의 앙상블이 속한 범주를 최종적으로 선택하였다. 이 때 각 모형의 앙상블이 AN (BN)과 NN 범주에서 동일하게 높게 예측하는 경우에는 AN (BN)로 정하고, AN과 BN 범주에서 동일하게 높게 예측하는 경우에는 NN으로 정하였다. 한편, 앞의 첫번째 경우를 AN (BN)이 아닌 NN 범주로 정의하는 방법도 가능한데, 이와 같이 PROB을 정의하는 방법에 따른 모형 예측성의 민감도 실험 결과는 결론에 명시하였다. MME의 경우, 다중 모형 앙상블을 활용하여 같은 과정을 반복하였고, 이는 Weigel et al. (2008)에서 언급한 Pool Method와 유사하다(Fig. 2b).

2.3 분석 방법

모형들의 월 별 범주(n = 3) 및 계절 내 월 변동성 패턴(n = 9) 예측성을 평가하기 위해서 각 격자점에서 적중률(Hit Rate, HR)을 계산하였으며, n은 총 범주 또는 패턴의 개수이다. 적중률은 전체 기간 대비 관측에서 발생한 범주 또는 패턴을 모형에서 예측한 경우의 비율로 n개로 구성된 분할표(contingency table, Table 2)에서는 다음과 같이 정의된다.

Hit Rate HR=i=1nXiiN=28
Table 2. 
The number of years classified by the multi-category contingency table. Xij denotes the number of forecasts in category j that had observations in category i. Xmp (XPm) denotes the total number of observations (forecasts) in category m, and N is the total number of years.
n = total number of categories Forecast
Category 1 Category n Total
Observation Category 1 X11 X1n X1p
Category n Xn1 Xnn Xnp
Total Xp1 Xpn N

HR는 3분위(9분위)로 구성된 월 별 범주(계절 내월 변동성 패턴)에서 무작위의 수로 모형이 예측했을 때 관측과 일치할 확률이 약 0.33(0.11)이므로 0.33(0.11) 이상의 점수를 나타내는 경우 예측성이 있는 것으로 보았다. 또한 관측의 특정 범주 혹은 패턴에 대한 모형의 적중률은 다음과 같이 정의된다.

Hit Rate HRfor m category=XmmXmp

한편, 모형의 범주형 예측성능을 분석하기 위해 각 범주를 우연히 선택하여 예측이 맞을 확률을 제외하여 우연의 요소를 배제하는 Heidke 기술 점수(Heidke skill score, HSS)가 활용되고 있다(Wilks, 2011). 그러나 본 연구에서 확률론적 앙상블 분석방법인 PROB를 사용하여 계절 내 월 변동성을 정의하게 되면 특정 모형의 특정 격자점에서는 분석 기간 동안 단 하나의 범주로만 정의될 수 있다. 이러한 경우에 관측과 비교했을 때 HR는 0.5 이상으로 높게 나타나지만, HSS는 예측성이 없음을 의미하는 0의 값을 나타낼 수 있다. 따라서 본 연구에서는 HSS를 사용하는 게 적합하지 않다고 판단하여 분석 방법에서 제외하였다.


3. 결 과

Figure 3은 MEAN을 사용한 MME의 월 별 범주 및 계절 내 월 변동성 패턴 적중률을 공간 분포로 나타낸 그림이다. 여름철과 겨울철의 기온 및 강수는 모두 예측 선행 시간이 길어질수록 평균 적중률이 소폭 감소하는 특성이 공통적으로 나타났다. 여름철 기온은 1개월의 예측 선행 시간에 해당하는 월(이하 LEAD1)에서 적도 태평양 해상을 포함하여 대부분의 중위도 해상에서 0.6 이상의 높은 적중률이 나타나 평균 0.493의 예측성을 보였다. 평균 적중률은 LEAD2에서 0.460, LEAD3에서 0.451로 예측 선행 시간이 길어질수록 다소 낮아졌으나 LEAD1에서 적중률이 높게 나타난 지역이 여전히 유지되며, 위와 같은 특징들은 계절 내월 변동성 적중률에도 그대로 반영되었다(Fig. 3a). 겨울철 기온은 여름철 결과와 유사하지만, 적도 해상에서 적중률이 더 높게 나타남에 따라 전체적으로 평균 적중률이 더 높게 나타난다(Fig. 3b). 한편, 여름철 및 겨울철 강수는 0.6이상의 적중률을 보이는 적도 태평양 해상 일부를 제외한 나머지 지역에서 LEAD1~3 모두 낮은 적중률을 보임에 따라 월 변동성 평균 적중률은 기온에 비해 0.1 정도 낮게 나타났다(Figs. 3c, d). PROB을 사용한 MME의 월 별 범주 및 계절 내 월변동성 패턴 적중률 결과는 MEAN와 유사한 공간분포를 보였다. 특히, 월 기온 변동성의 평균 적중률은 여름철(겨울철)에 0.254(0.255)로 MEAN의 0.258(0.259)과 비슷했고, 강수의 경우 여름철(겨울철)에 0.165(0.164)로 MEAN의 0.155(0.156)에 비해 대략 0.01 정도 높았다(not shown).


Fig. 3. 
Spatial distribution of the hit rate (HR) for (a) JJA T2, (b) DJF T2, (c) JJA PREC, and (d) DJF PREC from MME obtained by the MEAN. The first three (last) columns represent the results of each month (intraseasonal monthly variation). The value of upper-right corner above each plot represents the area-averaged HR.

앞선 분석에서 월 별 범주 및 계절 내 월 변동성 패턴 적중률은 주로 해양 지역에서 높게 나타나는 특징을 보였기 때문에 내륙과 해양 지역에 대해 평균한 MME 결과를 Fig. 4에 나타냈다. 여름철 기온 적중률은 MEAN과 PROB 모두 LEAD1~3에서 내륙 지역은 0.41, 0.41, 0.40, 해양 지역은 0.53, 0.48, 0.47의 값을 보여 전체적으로 해양 지역에서 높게 나타났고, 예측 선행 시간이 길어질수록 그 차이는 감소하였다. 결과적으로 계절 내 월 변동성 평균 적중률은 내륙과 해양에서 약 10%의 차이가 나타났다(Figs. 4a, b). 이와 같은 특징은 겨울철 기온에서도 동일하게 나타났다(Figs. 4c, d). 한편, 강수는 해양에서의 적중률이 내륙에 비해 높게 나타나지만, 그 차이는 1~2%로 작았다(Figs. 4e-h). 따라서, 계절 내 월 기온(강수) 변동성 적중률은 해양에서 약 28~29%(16~17%), 내륙에서 약 18~19%(14~16%) 내외로 해양과 내륙의 차이가 크게 나타났다(크지 않았다).


Fig. 4. 
The area-averaged hit rate for global (black bar and values), land (light gray bar and values), and ocean (dark gray bar and values) from MME obtained by the MEAN and PROB. The two thick lines indicate the reference values of random chance (the values are 0.33 and 0.11, respectively).

더 나아가 계절 내 월 변동성의 패턴 별 모형의 예측성을 분석하기 위하여 모형의 전 지구 평균 적중률을 Fig. 5의 상자그림(Box-plot)에 나타냈다. 상자그림(Box-plot)의 수염은 개별 모형들 중에서 전 지구 평균 적중률의 최솟값과 최댓값을 나타내며, 상자의 범위는 25, 50, 75 퍼센타일(percentile) 값을 의미한다. 즉, 총 8개 개별 모형의 전 지구 평균 적중률 결과를 크기가 큰 순서대로 1순위부터 8순위까지 나열했을 때, 최댓값은 1순위, 75퍼센타일 값은 2순위와 3순위의 평균값, 50 퍼센타일 값은 4순위와 5순위의 평균값, 25퍼센타일 값은 6순위와 7순위의 평균값, 최솟값은 8순위 값을 의미한다. MME의 적중률은 별도로 표기하여 개별모형의 예측성과 비교하고자 하였다. 먼저 기온의 경우, 관측은 총 28년의 분석기간 중에서 계절 내 연속하는 3개월이 서로 동일한 범주를 보이는 7번 패턴이 약 8회 나타나 전체 기간 대비 약 30%를 차지한다. 1~6번 패턴은 3회(전체기간 대비 약 10%) 정도 나타나며, 8번과 9번 패턴은 0.7회(전체기간 대비 약 2~3%) 정도 나타나 다른 패턴에 비해 출현 횟수가 적었다. 다시 말해 전 지구 평균적으로 계절 내에서 연속하는 3개월동안 모두 동일한 범주가 지속되는 경우가 우세하고, BN-NN-AN 혹은 AN-NN-BN으로 갑작스럽게 변화하는 경우는 드물게 나타나는 현상임을 알 수 있다. MME와 개별 모형들은 모두 7번 패턴(나머지 패턴)에 대한 출현 빈도가 높았고(낮았고), 관측에 비해 과대(과소) 모의하는 특징을 보였다. 7번 패턴에 대해서 모든 모형들은 다른 패턴에 비해 높은 적중률을 보이며, 특히 MME는 개별 모형에 비해 가장 높은 수치를 보인다. 위 패턴에 대한 모형들의 적중률은 대체로 PROB보다 MEAN에서 크게 나타났으나, 해당 차이는 통계적으로 유의하지는 않았다. 한편 1~2번 패턴에 대한 모형 적중률은 대부분 MEAN보다 PROB에서 높게 나타났으며, 이는 통계적으로 95% 신뢰수준에서 유의하였다. 다른 패턴에 비해 변동성이 큰 위 패턴들에 대한 MME 예측성은 개별 모형들에 비해 가장 낮은 수치를 보였다. 개별 모형들과 MME는 3~6번 패턴에 대해서 MEAN과 PROB 모두 0.10 전후의 유사한 적중률을 보였고, 8~9번 패턴에 대해서는 관측과 모형 모두 드물게 나타나는 패턴이라는 특징으로 인해 낮은 적중률 수치를 보였다. 최종적으로 7번 패턴에 대한 MEAN 적중률이 PROB에 비해 약간 높게 나타남에 따라 전체 적중률도 동일한 양상을 보였으나 그 수치는 비슷하였다(Figs. 5a, b). 한편 강수의 경우, 관측은 총 28년의 분석기간 중에서 가장 빈번하게 나타나는 계절 내 월 변동성 패턴이 1번, 2번, 7번 패턴으로 약 4회(전체기간 대비 약 16%)였다. 이어서 3~6번 패턴이 3회(전체기간 대비 약 10%) 정도 나타났고, 8번과 9번 패턴은 0.9회(전체기간 대비 약 3%)였다. 강수는 기온의 결과와 비교했을 때, 7번(8~9번) 패턴이 관측에서 빈번하게(드물게) 나타나는 패턴이라는 공통점을 공유하였다. MME를 포함한 다수 모형들은 기온과 유사하게 7번 패턴(나머지 패턴)에 대해서는 관측에 비해 과대(과소) 모의하는 경향을 보인다. 모형은 7번 패턴에 대한 적중률이 다른 패턴에 비해 높았고, MME가 개별 모형에 비해 높은 적중률을 보였다. 해당 패턴에 대해 MEAN보다 PROB에서 적중률이 대체로 높게 나타났으나, 해당 차이는 통계적으로 유의하지 않았다. 1~2번 패턴에 대한 모형 적중률은 PROB과 MEAN이 비슷했으며, 다른 패턴에 비해 변동성이 큰 위 패턴들에 대한 MME 예측성은 개별 모형들에 비해 가장 낮은 수치를 보였다. 3~6번 패턴은 MEAN과 PROB 모두 0.10 정도로 유사한 적중률을 보였는데, 3~4번(5~6번) 패턴은 MEAN (PROB)이 PROB (MEAN)보다 높게 나타나기도 했다. 7번 패턴에 대한 PROB 적중률이 MEAN에 비해 약간 높게 나타남에 따라 전체 적중률에 영향을 미치게 되었으나 그 수치는 비슷하였다(Figs. 5c, d).


Fig. 5. 
Box plots of global mean hit rate of (a) JJA T2, (b) DJF T2, (c) JJA PREC, and (d) DJF PREC by each pattern of intraseasonal monthly variation. The green and blue box plots represent the 0th, 25th, 50th, 75th, and 100th percentiles of hit rate in eight individual models derived from MEAN and PROB, respectively. The green (blue) dots indicate the hit rate of MME derived from MEAN (PROB). The green markers at the bottom of each panel indicate the pattern where the difference in hit rate between the group of MEAN and PROB is significant at the 95% confidence level based on the two-tailed student’s t-test. The black and red lines (shadings) indicate the distribution at each pattern derived from observation and MME (intermodel spread), respectively.

이전 분석 결과에 따르면, 전 지구 평균적으로 계절 내에서 연속하는 3개월이 모두 동일한 범주를 나타내는 계절 내 월 변동 패턴 7번은 관측과 모형에서 모두 출현 빈도가 높지만, 모형들이 다소 과대 모의하는 패턴이었다. 또한 기온(강수)에서 해당 패턴에 대해 모형의 예측성이 PROB (MEAN)보다 MEAN (PROB)에서 약간 높게 나타났다. 해당 차이는 통계적으로 유의하지 않았기 때문에 7번 패턴의 하위 3개 패턴에 대한 모형의 적중률을 분석하여 두 방법의 적중률 차이가 특정 하위 패턴에서 발생하는지 분석하였다(Fig. 6). 먼저 기온의 경우, 관측에서는 특히 계절 내 연속하는 3개월이 AN-AN-AN 혹은 BN-BN-BN인 경우가 관측과 모형에서 모두 우세한 패턴이었다. 해당 경우에 다수 모형의 적중률은 MEAN과 PROB에서 유사한 수치를 보였다. 그러나 NN-NN-NN인 경우는 PROB보다 MEAN에서 출현 빈도와 적중률이 더 높게 나타났으며, 이와 같은 유의한 차이로 인해 전체 7번 패턴에 대해서는 PROB보다 MEAN에서 해당 수치들이 더 높게 나타난 것으로 보인다. 한편, 강수의 경우 관측에서는 특히 계절 내 연속하는 3개월이 BN-BN-BN인 경우가 우세하였고, 나머지 두 경우는 출현 빈도가 유사하였다. 다수 모형의 적중률은 NN-NN-NN에서는 MEAN과 PROB이 비슷했으나, BN-BN-BN (AN-AN-AN)에서는 PROB (MEAN)의 적중률이 더 높게 나타났다, 이와 같은 유의한 차이는 BN-BN-BN에서 더 크게 나타남에 따라 전체 7번 패턴에 대해서는 MEAN보다 PROB에서 적중률이 높게 나타난 것으로 보인다. 한편, 모든 모형은 7번의 하위 패턴 중 특정 패턴만 과대 모의하는 것이 아니라 전체적으로 모두 과대 모의하는 경향을 보였다 (Figs. 6c, d).


Fig. 6. 
Same as Fig. 5, except for by pattern 7 and their sub-patterns.

위와 같은 특징이 지역적으로도 동일하게 나타나는 지 확인하기 위해 주요 내륙 지역의 도메인(Table 3)에 대한 적중률 분석을 동일하게 시행하였다(Figs. 7-10). 먼저 여름철 기온의 경우, 관측의 계절 내 월 변동 7번 패턴은 동아시아, 남아시아에서 각각 23.30%, 26.08%를 차지하며 전 지구 평균(30.90%) 대비 적게 발생한다. 해당 지역에 대해 MEAN 및 PROB 방법 모두 다수 모형의 적중률은 전 지구 평균보다 다소 낮게 나타났으나 그 수치는 비슷했다. 호주, 아프리카, 북미 지역에서는 7번 패턴이 각각 29.06%, 29.52%, 30.20%를 차지하며 다수 모형의 적중률은 전 지구 평균 결과와 유사했으나, 호주 지역의 경우 모형 별 편차가 크게 나타났다. 한편, 열대 남미 지역에서는 7번 패턴이 37.79%를 차지하여 전 지구 평균 대비 많이 발생하는 패턴이며, MEAN과 PROB 방법을 사용한 다수 모형의 적중률은 모두 전 지구 평균에 비해 높았다. 한편, MME는 모든 지역에 대해 개별 모형에 비해 7번 패턴의 출현 빈도와 적중률이 대체로 높게 분포했다(Fig. 7a). 위와 같은 관측 및 모형 적중률 분포는 7번 패턴의 하위 패턴에서도 유사하게 나타났다. 특히 BN-BN-BN과 AN-AN-AN은 NN-NN-NN에 비해 관측과 모형의 출현 빈도가 가장 높으면서 모형의 적중률이 높게 분포한다. 위 패턴들에 대해서 MEAN과 PROB의 모형 예측성은 유사하지만, 유일하게 NN-NN-NN의 경우에서는 모든 지역에 대해 MEAN이 PROB보다 높은 적중률을 보였다(Figs. 7b-d). 겨울철 기온의 경우 여름철 기온 결과와 유사하지만, 북미 지역에서 7번 패턴이 다른 분석 지역과 비교했을 때 관측에서 가장 적게 발생하는 패턴이고(21.38%), 열대 남미 지역에서의 다수 모형의 적중률은 다른 지역에 비해 높은 수치를 보였다(Fig. 8a). 이와 같은 특징은 7번 패턴의 하위 패턴에서도 유사하게 나타났으며, 여름철과 마찬가지로 NN-NN-NN의 경우에서는 모든 지역에 대해 MEAN이 PROB보다 높은 적중률을 보였다(Figs. 8b-d).

Table 3. 
The domain defining the region.
Region Name Domain
East Asia (EA) 20oN-60oN, 90oE-150oE
South Asia (SA) 10oN-40oN, 60oE-120oE
Australasia (AU) 45oS-10oS, 110oE-180oE
Africa (AF) 40oS-40oN, 20oW-60oE
North America (NA) 20oN-60oN, 140oW-40oW
Tropical South America (TSA) 15oS -10oN, 80oW-35oW


Fig. 7. 
Same as Fig. 5, except for hit rates of 2m temperature during summer for (a) pattern 7 and (b, c, d) their sub-patterns. The hit rates are obtained by area-averaging over global and six sub-regions.


Fig. 8. 
Same as Fig. 5, except for hit rates of 2m temperature during winter for (a) pattern 7 and (b, c, d) their sub-patterns. The hit rates are obtained by area-averaging over global and six sub-regions.


Fig. 9. 
Same as Fig. 5, except for hit rates of precipitation during summer for (a) pattern 7 and (b, c, d) their sub-patterns. The hit rates are obtained by area-averaging over global and six sub-regions.


Fig. 10. 
Same as Fig. 5, except for hit rates of precipitation during winter for (a) pattern 7 and (b, c, d) their sub-patterns. The hit rates are obtained by area-averaging over global and six sub-regions.

여름철 강수의 계절 내 월 변동 7번 패턴은 전 지구를 포함한 대부분의 지역에서 약 15% 전후로 나타나는 현상이다. 특히 전 지구 평균(17.41%) 대비 발생 횟수가 적은 동아시아(13.38%)와 남아시아(13.75%), 북미 지역(14.12%)에서는 MEAN과 PROB 방법 모두 다수 모형의 적중률은 대체로 전 지구 평균 적중률보다 낮았으며, 호주 지역(16.34%)의 경우 모형 별 편차가 크게 나타났다. 전 지구 평균 대비 발생 횟수가 많은 아프리카(17.62%), 열대 남미 지역(18.62%)의 경우 아프리카의 MEAN 결과를 제외하고 모두 다수 모형의 적중률은 전 지구 평균 적중률보다 대체로 높게 나타났다. 모든 지역에서 MEAN보다 PROB에서 적중률이 높게 나타났는데, 남아시아와 아프리카 지역에서만 통계적으로 유의하였다(Fig. 9a). 이러한 특징들은 7번 패턴의 하위 패턴인 BN-BN-BN과 NN-NN-NN에서도 확인할 수 있다(Fig. 9b, c). 특히 BN-BN-BN은 다른 두 패턴에 비해 관측과 모형의 출현 빈도가 가장 높으면서 모형의 적중률이 높게 분포한다. BN-BN-BN과 NN-NN-NN은 모든 지역에서 MEAN보다 PROB에서 적중률이 높게 나타났으나 AN-AN-AN에서는 반대 양상을 보였는데, 이는 대부분의 지역에서 통계적으로 유의하였다(Fig. 9d). 겨울철 강수의 경우 여름철 강수 결과와 유사하지만 모형 별 적중률 분포 범위가 크게 나타났다(Fig. 10).

따라서, 대부분의 지역에서 여름철과 겨울철 내 월 기온 및 강수는 연속하는 3개월이 모두 동일한 범주를 나타내는 패턴(7번 패턴)이 주로 나타난다. 다수의 계절 예측 모형은 이에 대해서 높은 출현빈도와 예측성을 보이고 있으며 MME는 개별 모형에 비해 가장 높은 수치를 보인다. 특히 앙상블 평균을 이용한 MEAN 방법은 기온에서 유리하게 작용하였는데, 이는 7번 패턴의 하위 패턴인 NN-NN-NN의 기여로 보인다. 한편, 모든 앙상블의 확률적 분포를 고려하는 PROB 방법은 강수 예측에서 유리하게 작용하였다. 7번 패턴의 하위 패턴인 BN-BN-BN (AN-AN-AN)은 PROB (MEAN)에서 높은 예측성을 보였는데, BN-BN-BN에서의 PROB의 적중률이 높았기 때문에 전체 7번 패턴에 영향을 준 것으로 보인다.


4. 요약 및 결론

본 연구에서는 APCC 다중 모형 앙상블 3개월 계절예측에 참여하고 있는 모형들의 과거기후 모의 자료를 사용하여 여름철 및 겨울철 기온과 강수의 계절 내 월 변동성 예측성을 살펴보았다. 계절 내 월 변동성은 범주형 결정적 분석방법을 통하여 정의되었다. 월 평균 기온과 강수는 분석기간의 평년 값을 기준으로 3분위(평년보다 낮음, 평년과 비슷, 평년보다 높음) 중 하나로 결정되게 되는데, 연속하는 3개월의 범주를 고려하여 총 9개 패턴의 계절 내 월 변동성이 정의된다.

다수의 앙상블 멤버가 포함된 다중 모형 자료는 결정론적 분석 방법과 확률론적 앙상블 분석 방법을 적용하여 계절 내 월 변동성을 정의하였다. 결정론적 분석 방법인 MEAN은 모든 앙상블 멤버의 결과를 SCM으로 평균한 후 범주를 결정하는 방법이며, 확률론적 앙상블 분석 방법인 PROB는 모든 앙상블 멤버에 대한 범주를 결정한 후 발생 확률이 높은 범주를 최종적으로 선정하는 방법이다.

계절과 관계없이 기온은 MEAN과 PROB 모두 전지구 평균 0.26 전후의 유사한 계절 내 월 변동 패턴 적중률을 보였으며, 강수는 MEAN (약 0.15)보다 PROB (약 0.16)의 적중률이 소폭 높게 나타났다. 전 지구 평균 적중률은 내륙보다 주로 해양지역에서의 적중률이 더 크게 기여하였는데, 해양과 내륙간 적중률 차이는 강수에서 1% 내외, 기온에서 10% 내외로 나타났다. 해양에서 상대적으로 높은 적중률을 보인 이유는 해양이 육지보다 열적 관성(thermal inertial)이 크기 때문인 것으로 판단된다. 한편, 관측된 기온에서 9가지 계절 내 월 변동성 패턴 중에서 연속하는 3개월이 서로 동일한 범주를 나타내는 7번 패턴이 전체 기간 중 30% 확률로 발생하는 패턴이었다. MME를 포함한 모든 모형들은 7번 패턴에 대한 적중률이 상대적으로 높았고, 그 크기는 PROB보다 MEAN에서 크게 나타났다. 관측된 강수에서는 1, 2, 7번 패턴이 각각 전체 기간 중 10% 확률로 발생하는 패턴이었는데, MME를 포함한 모든 모형들은 7번 패턴에 대한 적중률이 상대적으로 높았고, 그 크기는 MEAN보다 PROB에서 크게 나타났다. 대부분의 지역에서는 계절 내에서 연속하는 3개월이 모두 동일한 범주를 나타내는 계절 내 월 변동 패턴 7번에 대한 모형의 적중률이 다른 패턴에 비해 크게 나타났다. 이 패턴은 변수 및 계절에 관계없이 관측에서 모두 빈번하게 발생하는 패턴이었는데, 이는 계절 내 연속하는 3개월 동안의 기상 변수(특히, 기온)가 연속된 특징을 공유하기 때문이라고 생각된다. 그러나, 모든 모형들은 위 패턴 및 하위 3개 패턴에 대한 출현 횟수를 모두 최대 2배까지 과대 모의하는 경향을 보였다. 모형들이 상대적으로 다른 패턴에 비해 변동성이 작은 7번 패턴을 과대 모의하는 이유는 본 연구에서 분석한 계절예측 모형들이 아직까지 계절 내 변동을 모의하는 데 한계가 있는 것으로 생각되며, S2S 데이터베이스 자료를 사용했을 때의 결과와 비교 분석할 필요가 있다고 판단된다. 한편, 기온과 강수 모두 계절 내 월 패턴이 BN-NN-AN 혹은 AN-NN-BN으로 갑작스럽게 변화하는 경우는 관측에서 드물게 나타나는 현상이었고, 이에 대한 모든 모형의 예측성능은 낮았다.

본 연구에서는 PROB 방법을 정의하는 과정에서 각 모형의 앙상블이 AN (BN)과 NN 범주에서 동일하게 높게 예측하는 경우에는 AN (BN)로 정하였으나, 위경우를 NN 범주로 정의하는 방법도 가능하다. 이 경우 전체적으로 7번 패턴의 하위 패턴인 NN-NN-NN (AN-AN-AN과 BN-BN-BN)에 대한 모형의 출현빈도 및 적중률은 기존보다 상승(하강)하지만, 서로 상쇄됨에 따라 전체 7번 패턴에 대한 적중률은 이전 방법과 유사하게 나타난다. 상대적으로 많은 앙상블을 갖는 MME는 PROB 정의 방법에 관계없이 유사한 예측성능을 보이나, 적은 앙상블을 갖는 개별 모형들의 경우 민감하게 반응할 수 있다. 따라서 AN (BN) 범주로 예측한 앙상블 개수가 NN과 동일하게 높게 나타나더라도 나머지 범주와의 차이가 유사하거나 현저히 큰 경우에는 서로 다른 기준을 통해 범주를 채택하는 방안이 필요할 것으로 보인다.

본 연구에서 분석한 MME 결과에서 계절 내 월 변동 7번 패턴은 개별 모형보다 우수한 예측성을 보였으나, 변동성이 큰 패턴(1~2번 패턴)의 경우 가장 낮은 예측성을 보였다. MME의 예측성능 향상을 위하여 향후 비선형 방법(nonlinear method; Ahn and Lee, 2016)을 적용하는 연구도 가능하다 본다.

한편, 기온과 강수는 모두 1~6번 범주가 각각 관측에서 전체 기간 대비 10% 전후에 해당하는 출현 빈도를 보임에도 불구하고 모든 모형에서 예측성이 낮았다. 본 연구에서 사용한 분석기간이 28년으로 짧았기 때문에 향후 APCC에서 더 긴 기간의 자료를 확보하는 경우 장기간의 자료를 사용하여 관측의 계절내 변동 패턴의 출현 빈도와 모형의 예측성을 다시 분석할 필요가 있다고 사료된다.


Acknowledgments

이 논문은 부산대학교 기본연구지원사업(2년)에 의하여 연구되었음.


References
1. Ahn, J.-B., and J. Lee, 2016: A new multimodel ensemble method using nonlinear genetic algorithm: An application to boreal winter surface air temperature and precipitation prediction. J. Geophys. Res. Atmos., 121, 9263-9277.
2. Ahn, J.-B., J. Lee, and S. Jo, 2018: Evaluation of PNU CGCM Ensemble Forecast System for Boreal Winter Temperature over South Korea. Atmosphere, 28, 509-520 (in Korean with English abstract).
3. Alves, O., M. A. Balmaseda, D. Anderson, and T. Stockdale, 2004: Sensitivity of dynamical seasonal forecasts to ocean initial conditions. Q. J. R. Meteorol. Soc., 130, 647-667.
4. Balmaseda, M., and D. Anderson, 2009: Impact of initialization strategies and observations on seasonal forecast skill. Geophys. Res. Lett., 36, L01701
5. Bowler, N. E., A. Arribas, K. R. Mylne, K. B. Robertson, and S. E. Beare, 2008: The MOGREPS short‐range ensemble prediction system. Q. J. R. Meteorol. Soc., 134, 703-722.
6. Ham, S., A.-Y. Lim, S. Kang, H. Jeong, and Y. Jeong, 2019: A newly developed APCC SCoPS and its prediction of East Asia seasonal climate variability. Clim. Dyn., 52, 6391-6410.
7. Jeong, H.-I., and Coauthors, 2012: Assessment of the APCC coupled MME suite in predicting the distinctive climate impacts of two flavors of ENSO during boreal winter. Clim. Dyn., 39, 475-493.
8. Kanamitsu, M., W. Ebisuzaki, J. Woollen, S.-K. Yang, J. J. Hnilo, M. Fiorino, and G. L. Potter, 2002: NCEPDOE AMIP-II Reanalysis (R-2). Bull. Amer. Meteor. Soc., 83, 1631-1644.
9. Kang, D., M.-I. Lee, J. Im, D. Kim, H.-M. Kim, H.-S. Kang, S. D. Schubert, A. Arribas, and C. MacLachlan, 2014: Prediction of the Arctic Oscillation in boreal winter by dynamical seasonal forecasting systems. Geophys. Res. Lett., 41, 3577-3585.
10. Kim, G., J.-B. Ahn, V. N. Kryjov, S.-J. Sohn, W.-T. Yun, R. Graham, R. K. Kolli, A. Kumar, and J.-P. Ceron, 2016: Global and regional skill of the seasonal predictions by WMO lead centre for long-range forecast multi-model ensemble. Int. J. Climatol., 36, 1657-1675.
11. Kim, H.-J., and J.-B. Ahn, 2015: Improvement in prediction of the arctic oscillation with a realistic ocean initial condition in a CGCM. J. Climate, 28, 8951-8967.
12. Kim, S.-W., H. Kim, K. Song, S.-W. Son, Y. Lim, H.-S. Kang, and Y.-K. Hyun, 2018: Subseasonal-to-Seasonal (S2S) prediction skills of GloSea5 model: Part 1. Geopotential height in the Northern Heamisphere extratropics. Atmosphere, 28, 233-245. (in Korean with English abstract).
13. Kirtman, B. P., and Coauthors, 2014: The North American multimodel ensemble: phase-1 seasonal-to-interannual prediction; phase-2 toward developing intraseasonal prediction. Bull. Amer. Meteor. Soc., 95, 585-601.
14. Krishnamurti, T. N., C. M. Kishtawal, Z. Zhang, T. LaRow, D. Bachiochi, E. Williford, S. Gadgil, and S. Surendran, 2000: Multimodel ensemble forecasts for weather and seasonal climate. J. Climate, 13, 4196-4216.
15. Lee, R. W.-K., C.-Y. Tam, S.-J. Sohn, and J.-B. Ahn, 2018: Predictability of two types of El Niño and their climate impacts in boreal spring to summer in coupled models. Clim. Dyn., 51, 4555-4571.
16. Lim, E.-P., H. H. Hendon, S. Langford, and O. Alves, 2012: Improvements in POAMA2 for the prediction of major climate drivers and south eastern Australian rainfall. CAWCR Tech. Rep. No. 051, 23 pp [Available online at http://www.bom.gov.au/research/publications/cawcrreports/CTR_051.pdf].
17. Lin, H., and Coauthors, 2020: The Canadian Seasonal to Interannual Prediction System Version 2 (CanSIPSv2). Wea. Forecasting, 35, 1317-1343.
18. Lorenz, E. N., 1969: The predictability of a flow which possesses many scales of motion. Tellus, 21, 289-307.
19. Merryfield, W. J., and Coauthors, 2013: The Canadian seasonal to interannual prediction system. Part I: Models and initialization. Mon. Wea. Rev., 141, 2910-2945.
20. Min, Y.-M., V. N. Kryjov, and S. M. Oh, 2014: Assessment of APCC multi-model ensemble prediction in seasonal climate forecasting: Retrospective (1983-2003) and real-time forecasts (2008-2013). J. Geophys. Res. Atmos., 119, 12132-12150.
21. Min, Y.-M., V. N. Kryjov, S. M. Oh, and H.-J. Lee, 2017: Skill of real-time operational forecasts with the APCC multimodel ensemble prediction system during the period 2008-2015. Clim. Dyn., 49, 4141-4156.
22. Molod, A., and Coauthors, 2020: GEOS‐S2S version 2: The GMAO high‐resolution coupled model and assimilation system for seasonal prediction. J. Geophys. Res. Atmos., 125, e2019JD031767.
23. Paek, H., J.-Y. Yu, J.-W. Hwu, M.-M. Lu, and T. Gao, 2015: A source of AGCM bias in simulating the western Pacific subtropical high: Different sensitivities to the two types of ENSO. Mon. Wea. Rev., 143, 2348-2362.
24. Palmer, T. N., and Coauthors, 2004: Development of a European multimodel ensemble system for seasonal-to-interannual prediction (DEMETER). Bull. Amer. Meteor. Soc., 85, 853-872.
25. Park, H.-J., V. N. Kryjov, and J.-B. Ahn, 2018: One-month-lead predictability of asian summer monsoon indices based on the zonal winds by the APCC multimodel ensemble. J. Climate, 31, 8945-8960.
26. Park, J., H.-S. Kang, Y.-K. Hyun, and T. Nakazawa, 2018: Predictability of the Arctic sea ice extent from S2S multi model ensemble. Atmosphere, 28, 15-24. (in Korean with English abstract).
27. Richardson, D. S., 2000: Skill and relative economic value of the ECMWF ensemble prediction system. Q. J. R. Meteorol. Soc., 126, 649-667.
28. Saha, S., and Coauthors, 2014: The NCEP climate forecast system version 2. J. Climate, 27, 2185-2208.
29. Sohn, S.-J., Y.-M. Min, J.-Y. Lee, C.-Y. Tam, I.-S. Kang, B. Wang, J.-B. Ahn, and T. Yamagata, 2012: Assessment of the long‐lead probabilistic prediction for the Asian summer monsoon precipitation (1983-2011) based on the APCC multimodel system and a statistical model. J. Geophys. Res. Atmos., 117, D04102.
30. Song, K., H. Kim, S.-W. Son, S.-W. Kim, H.-S. Kang, and Y.-K. Hyun, 2018: Subseasonal-to-Seasonal (S2S) prediction of GloSea5 model: Part 2. Stratospheric sudden warming. Atmosphere, 28, 123-139. (in Korean with English abstract).
31. Stensrud, D. J., J.-W. Bao, and T. T. Warner, 2000: Using initial condition and model physics perturbations in short-range ensemble simulations of mesoscale convective systems. Mon. Wea. Rev., 128, 2077-2107.
32. Sun, J., and J.-B. Ahn, 2015: Dynamical seasonal predictability of the Arctic Oscillation using a CGCM. Int. J. Climatol., 35, 1342-1353.
33. Vitart, F., and A. W. Robertson, 2018: The sub-seasonal to seasonal prediction project (S2S) and the prediction of extreme events. npj Clim. Atmos. Sci., 1, 3.
34. Vitart, F., A. W. Robertson, and D. L. T. Anderson, 2012: Subseasonal to Seasonal Prediction Project: Bridging the gap between weather and climate. WMO Bull., 61, 23-28.
35. Vitart, F., and Coauthors, 2017: The subseasonal to seasonal (S2S) prediction project database. Bull. Amer. Meteor. Soc., 98, 163-173.
36. Wei, M., Z. Toth, R. Wobus, and Y. Zhu, 2008: Initial perturbations based on the ensemble transform (ET) technique in the NCEP global operational forecast system. Tellus A, 60, 62-79.
37. Weigel, A. P., M. A. Liniger, and C. Appenzeller, 2008: Can multi‐model combination really enhance the prediction skill of probabilistic ensemble forecasts? Q. J. R. Meteorol. Soc., 134, 241-260.
38. Wilks, D. S., 2011: Statistical methods in the atmospheric sciences. 3rd ed. Academic Press, 676 pp.