기상청 기후예측시스템 개선에 따른 월별 앙상블 예측자료 성능평가

1. 서 론

일반적으로 대기와 같은 비선형 시스템에서는 초기의 작은 오차가 며칠 안에 예측성에 큰 영향을 미치기 때문에 기상현상은 2주 이상 예측이 어려운 것으로 알려져 있다(Lorenz, 1963). 하지만 기후역학모형의 비약적인 발전과 더불어 El-Nino and Southern Oscillation (ENSO), 계절풍 등의 대규모 지구시스템에 대한 연구와 이해는 중장기의 기후예측에 대한 가능성을 열고 있다. 이러한 지구시스템을 연구하기 위해서 기후모델이 주로 사용되며, 그 중 대기-해양 결합모델은 긴 시간 규모를 가지는 현상을 분석하는 바에 있어서 매우 적합하다고 알려져 있다. 그리고 이에 대한 연구가 지속적으로 이루어지고 있으며, 기상청 기후예측시스템의 Global Seasonal Forecast System(GloSea; Arribas et al., 2011; MacLachlan et al., 2015)과 같은 결합모델은 이러한 상호작용을 연구하는데 유용한 도구로 사용되고 있다.

현재 기상청은 예보 성능 향상을 위해 기후예측시스템에 대한 예측성 검증 및 개선에 관해 지속적인 연구를 수행하고 있으며, 이를 기반으로 2016년에 GloSea5 Global Coupled configuration 2 (GloSea5GC2; Williams et al., 2015)를 구축하여 현업시스템으로 운영 중에 있다.

개선된 모델의 구성은 Global Atmosphere 6.0과 Global Land 6.0 (GA6.0 and GL6.0; Walters et al., 2017), Global Ocean 5.0 (GO5.0; Megann et al., 2014), Global Sea Ice 6.0 (GSI6.0; Rae et al., 2015)로 이루어져 있다. 이러한 구성은 기존의 Global Atmosphere 3.0(GA3.0; Walters et al., 2011)을 사용했던 GloSea5GA3에 비해 sea-ice parameter 들의 개선 등이 이루어졌고, 이로 인해 해빙영역에 대한 예측성이 향상된 것으로 알려져 있다(Williams et al., 2015). 다만 현업 기후예측시스템 앙상블 예측자료에 대한 정보부족과 대용량인 자료 등의 이유로 인해 기상청에서 생산한 앙상블 예측자료에 대한 관련연구는 부족한 실정이다.

이에 본 연구에서는 GloSea5GC2를 사용하여 개선된 앙상블 기후예측시스템과 2015년까지 GloSea5GA3를 사용했던 기존의 시스템을 비교하여 기술하고, 이러한 개선을 바탕으로 2015년과 2016년에 장기예보를 위해 생산된 현업 앙상블 예측자료 중 기후장(Hindcast; HCST) 자료의 예측성능을 비교해보고자 하였다.

2. 기후예측시스템의 개선

기후예측시스템은 크게 예측모델인 GloSea, 이를 활용한 앙상블 예측시스템 그리고 예측자료 검증을 위한 검증시스템으로 구성되어 있다(Ham et al., 2017b). 예측모델인 GloSea는 지구규모의 대기와 해양의 효과를 충분히 반영한 대기-해양 결합모델로, GloSea5GC2로 개선하면서 각 모델의 버전과 물리과정에 대한 설정 등이 개선되었다. Table 1은 그렇게 개선된 모델의 구성을 나타낸 것이다.

Table 1.

Information of each system.

기존 GloSea5GA3(이하 GA3)와 GloSea5GC2(이하 GC2)의 가장 큰 차이는 모델구성의 차이이다. 앞서 설명한 것처럼 모델 구성을 GA6.0, GL6.0, GO5.0, GSI6.0으로 개선하였으며, 대기역학코어가 Even Newer Dynamics for Global Atmospheric Modeling of the Environment (ENDGame; Walters et al., 2014)으로 개선되었다.

또한 기존 GA3에서 예측장 생성을 위해 사용하던 대기초기장은 기상청에서 생산하는 KMA N512 분석장이었으나, 2016년에 수평해상도 17 km인 KMA N768로 변경하였다. 이후 10 km 전지구 모델기반의 차기 수치예보시스템(Parallel Suite version5; PS05)현업화됨에 따라 2018년 기준으로 KMA N1280 분석장으로 수행하고 있다. 다만 본 연구에서는 기후장에 중점을 두고 비교하였기 때문에, 예측장 개선에 따른 비교는 제외하였다. 이에 대한 내용은 국립기상과학원에서 발간한 보고서 “현업 장기예측시스템 개선현황 및 2016년 예측자료 검증(Ham et al., 2017a)”에 기술되어 있다.

이외에도 기존 GA3는 기상청 슈퍼컴퓨터 3호기(이론성능 758 TF)에서 수행을 했던 반면, GC2는 슈퍼컴퓨터 4호기(이론성능 5,800 TF)에서 수행하였다. 사용 가능한 컴퓨터 자원이 증가함에 따라, 기후값 계산을 위해 사용하던 기간(hindcast period)을 기존 14년(1996~2009년)을 20년(1991~2010년)으로 늘렸으며, lead time도 기존의 245일에서 255일로 개선하였다. 이를 통해 기후장 앙상블에 들어가는 멤버는 기존의 42멤버에서 60멤버로 늘어났으며, 이러한 앙상블 멤버의 증가는 기존 14년만을 대상으로 하여 멤버가 부족했던 기후예측시스템의 불안정성(Lee and Kwon, 2016)을 보완할 수 있을 것이라 사료된다. 하지만 예측성이 좋지 못한 지수들의 경우 앙상블 멤버에 민감하지 않은 것으로 알려져 있으며, 이에 Jung et al. (2015)은 GloSea의 예측성을 높이기 위해서는 단순히 앙상블 멤버의 증가보다는 앙상블 멤버 생산 방법이나, 물리과정 개선 등을 제안한 바 있다.

3. 가중평균 앙상블

기상청 장기예보는 과거의 기후에 대해 현재 혹은 미래의 기후가 어떠한 지에 대해 예보를 한다. 때문에 장기예보를 지원하는 기후예측자료는 예측장과 기후장의 편차를 제공하고 있다. 하지만 기후예측시스템의 기후장은 매월 1, 9, 17, 25일의 초기날짜를 이용해, 각 기후연도별로 3개의 앙상블 예측자료를 생산한다. 때문에 예측편차를 제공하기 위해서는 일별로 생산되는 예측장에 준하는 기후장이 필요하며, 기후장의 경우 특정 초기날짜의 자료만 생산되기 때문에 예측장에 준하는 일별의 기후장 자료를 재생산할 필요가 있다. 이를 위해 기상청에서는 예측장 초기날짜를 기준으로 전후의 가까운 4개의 기후장 초기날짜를 찾고, 해당되는 기후장을 초기날짜간의 날짜거리를 계산하여 가중 평균하는 기법을 사용하고 있다(Ham et al., 2017b). 이렇게 생산된 기후장은 각 기후값 계산을 위해 사용된 기간별, 가중평균 수행날짜 별로 6개월의 lead time을 가지는 월별 예측자료(가중평균 수행날짜가 포함된 월을 제외한 6개월)를 가지고 있으며, 예측장에서 사용하는 시간지연 앙상블 기법(앙상블 수행날짜를 기준으로 최근 3주간 생산된 예측자료 사용하여 예측하고자 하는 기간의 값을 앙상블하고 있음)과 동일한 날짜의 기후장을 취합하여 앙상블을 수행하고 있다.

다만 GC2로 시스템을 개선하는 과정에서 추가적으로 가중평균 앙상블 기법을 개선하였는데, 기존 가중치 계산방법(1)에서 기후장 날짜 별 전체 멤버 개수(hmem)와 실제 사용된 파일개수(hnum)을 계산식 (2)에 포함하였다.

해당 가중평균 앙상블 기법을 활용하여 생산되는 기후 앙상블 예측자료는 매주 월요일 1200 UTC에 1회 생산이 된다. 때문에 기후 앙상블 예측자료가 생산되는 월요일을 기준으로 하여 52개씩(2015년: 1월 5일~12월 28일, 2016년: 1월 4일~12월 26일)의 월별 기후예측자료가 생산이 된다. 이러한 가중평균 앙상블 기법이 수행된 이후, 기후 앙상블 예측자료는 14년과 20년의 hindcast period을 가지고 있으며 전 기간이 평균된 모델 기후값과 기후연도별 예측값으로 구성되어 있다. Table 2는 이러한 방법으로 수행하였을 때, 필요한 초기날짜 및 가중평균 앙상블 날짜를 나타낸 것이다.

Table 2.

Example of ensemble date information performed in a current operation on GA3 and GC2.

4. 자 료

본 연구에서 사용된 자료는 가중평균 앙상블 기법을 통해 생산된 기후 앙상블 예측자료로서, 각 1년간 기상청에서 현업으로 생산한 GA3 버전과 GC2 버전의 기후 앙상블 예측자료를 비교하였다. 앞서 설명한 것처럼, GA3 버전의 기후장은 14년간의 hindcast period을 가지고 있기 때문에 1996년부터 2009년까지 각 연도별, 초기날짜 별로 기후장이 있는 반면, GC2 버전의 자료는 1991년부터 2010년까지의 기후장이 있다. 초기장과 모델내의 불확실성을 고려하여 각 연도에 따른 초기날짜 별로 3개의 앙상블 멤버를 생산하였으며, 각 동일한 앙상블 번호의 멤버끼리 가중평균 앙상블을 수행하였다. 3개의 앙상블 멤버를 생산하는 방법은 추계적 운동에너지 후방산란(Stochastic Kinetic Energy Backscattering version2; SKEB2; Bowler et al., 2009) 기법이 사용되었다. SKEB2 기법은 대기 모델 내부의 수평확산과 이류과정에서 과도하게 소산되는 운동에너지를 보상해주기 위한 방안으로 제시되었으며(Tennant et al., 2011), 랜덤값을 적용하는 방식으로 하여 운동에너지를 산정한다.

기후예측시스템의 예측성을 평가하기 위해 비교대상으로 ERA-Interim 재분석장(Dee et al., 2011)를 이용하였으며, 평가에 사용된 변수는 현업 검증시스템에서 사용되는 변수 중 500 hPa 지위고도(h500), 850 hPa 기온(t850)을 선택하였다. 500 hPa 지위고도는 대류권 중층으로 대기운동의 평균적인 상태를 나타낼 뿐만 아니라 편서풍 파동이 잘 나타난다. 그리고 850 hPa 기온은 하부 대류권을 대표하는 변수기 때문에 전지구 모델검증에서 주로 사용된다. 분석영역은 전지구, 북반구(20^o~90^oN), 동아시아(20^o~50^oN, 100^o~150^oE)로 설정하였으며, 분석 목적에 따라 영역을 추가하여 비교하였다. 추가적으로 해수면 온도 예측성을 검증하였으며, 해수면 온도의 경우 육지를 제외한 지표기온을 활용하여 분석하였다.

각 연도별 매주 생산된 월별 예측자료와 동일한 기간의 재분석장 자료를 취합하여 각 lead time별로 검증하였으며, 이렇게 생산된 검증결과를 연구목적에 따라 lead time 별 혹은 검증하고자 하는 예측 월별로 평균하여 분석하였다.

또한 효율적인 검증을 위해 관측자료와 같은 해상도로 앙상블 예측결과를 내삽하여 검증하였다. 일반적으로 기후모델을 검증할 때는 모델의 구조적 오차를 제거하기 위해 각 예측시간 별로 모델과 관측의 평균차이를 빼주는 모형 오차 수정(Bias correction)을 수행한다(Jung et al., 2015). 관측자료를 활용한 보정작업은 모델경향성에 따른 영향을 최소화하여 기후 상태와 변동을 보다 우수하게 재현하지만(Jung et al., 2016), 보정자체로 임의성이 들어가기 때문에 모델의 예측성 검증에 있어 논란의 여지가 발생 할 수 있다. 현재 기상청에서 장기예보에 활용하는 기후예측시스템은 예측장과 기후장의 편차를 통해 예측모델의 구조적 오차가 제거하는 기법을 활용하고 있다.

이에 본 연구에서는 관측자료를 활용하는 보정작업을 수행하지 않았으며, 또한 GA3와 GC2 버전의 기후장을 비교하는데 목적이 있기에 편차자료가 아닌 각 연도별 예측자료의 기본성능을 분석하였다. 분석을 위해 2015년에 수행된 GA3 버전의 기후 앙상블 예측자료와 2016년에 수행된 GC2 버전의 기후 앙상블 예측자료를 각 hindcast period에 맞춰 검증 기간(validation period)을 설정하였고, 관측자료와 비교하여 검증하여 각 예측시간 별로 평균하여 나타내었다.

5. 예측성 평가 방법

예측성 평가를 위해 사용된 검증 기법은 평균제곱근오차(Root Mean Squared Error; RMSE)와 상관계수(Correlation), 평균 제곱근 예측성(Mean Squared Skill Socre; MSSS)을 사용하였다. RMSE는 관측값과 모델값을 비교하여 모델이 가지고 있는 오차의 정도를 나타내는 값으로, 가장 직관적인 검증 기법이다. 또한 각 격자 별로 모델값과 관측값의 차이를 제곱하고 평균하기 때문에, 사용격자가 늘어날수록 모델의 성능을 정확하게 평가한다.

F_{i, τ}는 각 연도별 3개의 가중평균 앙상블 멤버들을 평균한 모델값이며, n은 hindcast period로 GA3는 14년, GC2는 20년을 나타낸다. O_{i, τ}는 각 모델의 F_{i, τ}에 상응하는 시기의 관측값을 의미한다. τ는 초기날짜와 예측시기의 차이로, 즉 lead time (τ = +1~6)을 나타낸다. $$ {\overline{F}}_{\tau }$$와 $$ {\overline{O}}_{\tau }$$는 각 hindcast period의 평균값을 나타낸 것으로, 각 lead time별로 GA3는 14년치의 평균값을, GC2는 20년치의 평균값을 나타낸다.

상관계수는 관측값과 모델값간의 상관도를 표현하는 기법으로 −1에서 +1 사이의 값을 가지며, −1에 가까우면 음의 상관, +1에 가까우면 양의 상관을 가진다. 자료의 특성에 따라 다르긴 하나, |0.0~0.2|에서는 상관관계가 거의 없고, |0.3~0.6|에서는 상관관계가 존재, |0.7| 이상인 경우에는 강한 상관관계가 있다고 해석한다(Ryu et al., 2012).

MSSS는 계절규모 예측성 검증을 위해 선행연구에서 주로 사용되는 기법(Choi et al., 2015)으로, 다년간의 시간규모 예측성 평가를 위해 제안된 진단기법이다(Goddard et al., 2013). 모델이 관측값과 가지고 있는 오차특성을 종합적으로 판단하는 것으로, 정확도 추이분석이 가능한 지표이다. − ∞에서 +1까지의 값을 가지며, +1의 값을 가질 경우 완벽한 예보를 뜻한다. MSSS를 계산하기 위해서는 MSE (Mean Squared Error)를 사용한다. $$ {MSE}_{\overline{F}}\left(\tau \right)$$는 모델값과 관측값의 오차를 제곱한 후 평균한 것이며, $$ {MSE}_{\overline{O}}\left(\tau \right)$$는 기후값을 이용할 경우에 대한 MSE를 의미한다. 각 격자점의 MSSS(τ)를 평균하여 계산하면 MSSS(τ) 총점을 구할 수 있으며, 구하는 과정에서 각 격자점별 위도(θ)에 따른 면적가중(cosθ)을 고려하여 계산하였다.

본 연구와 같은 예측성 검증은 적은 표본 수 때문에 통계적 유의성 검사가 수반되어야 한다(Jung et al., 2015). MSSS의 경우 선행연구에서 사용한 bootstrap 기반의 방법(Goddard et al., 2013)을 사용하여, ‘0’ 이상의 값을 나타나는 횟수를 구하여 통계적 유의성을 평가하였다. 앙상블 멤버 표본을 이용하여, 음의 값이 나오는 횟수를 구하고, 이를 활용하여 p-value를 구하였다. 이 p-value의 값이 α보다 작을 때, (1 − α) × 100%의 신뢰수준에 유의 하다고 평가하였다.

이외에 기후예측시스템 앙상블의 분산을 비교하기 위해 신호 대 잡음비(Signal-to-noise; SNR)를 계산하였다. SNR은 시스템의 잡음강도에 대한 반신호강도(returned signal power)의 비로서(McKinnon and Deser, 2018), 완벽한 예측의 경우 SNR 지수와 상관관계는 직접적인 관계가 있는 것으로 알려져 있다(Scaife et al., 2014). 본 연구에서는 각 앙상블 멤버(m) 별 예측값(F_{i, j, τ}) 분산의 평균에 대한 앙상블 평균의 분산을 비율로 나타내었으며, SNR(τ)의 값이 클수록 각 앙상블 멤버별의 극단값이 적고 이를 통해 앙상블 멤버 불확실성이 적다고 판단하였다.

6. 앙상블 예측자료 비교

6.1 500 hPa 지위고도, 850 hPa 기온 예측성

먼저 500 hPa 지위고도와 850 hPa 기온을 검증하기 위해 기후 앙상블 예측자료의 북반구 및 동아시아의 검증값을 살펴보았으며, Table 3은 그 결과를 나타낸 것이다. 500 hPa 지위고도와 850 hPa 기온 모두 예측 +1개월의 검증결과가 가장 좋게 나타났으며, 예측시간이 늘어날수록 예측성이 떨어지는 현상을 보였다. 다만 RMSE의 경우 예측 +2개월 이후 대체적으로 각 예측시간의 평균값이 전시간 검증값의 95% 오차범위를 넘지 않는 결과를 보여, RMSE 증가폭이 크지 않은 것으로 확인되었다. 이러한 경향은 기후모델에 존재하는 모델경향성(Gupta et al., 2012)에 의해 일정한 범위의 오차를 보이기 때문으로 사료된다. 모델경향성은 접합과정이 진행되면서 실제 기후와 차이가 있는 평형상태로 spin-up 되기 때문에 나타나는 현상으로, 대부분의 기후접합모델에서 공통적으로 나타나는 현상이다(Ahn et al., 1997).

Table 3.

A verification score of 500 hPa geopotential height and 850 hPa temperature for monthly ensemble prediction data of hindcast. Area are Northern hemisphere (NH) and East asia (EA). The figure in parentheses represents the error range of 95% of the confidence level. Among the result of each versions, the bold font when the predictability is better.

GA3와 GC2의 차이를 보면 대체적으로 GC2의 검증결과가 더 좋게 나오는 것을 볼 수 있으며, 이러한 경향은 500 hPa 지위고도에 비해 850 hPa 기온에서 두드러지게 나타났다. 다만 동아시아를 예측함에 있어 500 hPa 지위고도의 RMSE는 예측 +1~4개월까지 GA3에서 더 낮게 나왔다. 상관계수는 일부 기간을 제외하고는 비슷하거나 GC2의 값이 더 높게 나왔으며, GA3의 상관계수가 더 높게 나오더라도 95% 오차범위 내에 있어 큰 차이는 아닌 것으로 판단된다. 하지만 동아시아 영역에서 GA3와 GC2의 예측 +1개월 상관계수는 95% 오차범위를 넘는 차이를 보이고 있어 통계적으로 유의미한 결과라 사료된다.

지역별로는 두 모델결과 모두 북반구 평균에 비해 동아시아 평균의 검증값이 더 좋게 나와 타 영역에 비해 동아시아의 계절변동성을 잘 모의했을 것으로 사료된다. 이러한 경향은 기후예측시스템의 주별 앙상블 예측자료를 평가했던 선행연구(Ham et al., 2017b)와 동일한 결과를 나타냈다.

계절별 예측성을 비교하기 위해 북반구 RMSE를 평균한 시계열에서도 GA3에 비해 GC2의 오차가 더 적게 나왔다. Figures 1a, b는 500 hPa 지위고도이고, Figs. 1c, d는 850 hPa 기온의 결과이다. 분석을 위해 각각 5월과 11월에 생산한 자료를 검증한 것으로, 매주 월요일에 생산한 앙상블 자료를 검증하고 해당 값들을 예측시간 별로 평균하여 시계열로 나타내었다. GA3와 GC2의 시계열은 유사한 패턴을 보여 GC2로 개선하더라도 모델경향성이 변하지는 않은 것으로 사료된다. 하지만 겨울철(12월~2월) 500 hPa 지위고도를 제외하고는 전 기간에서 GA3에 비해 GC2의 오차가 더 작게 나오는 경향을 보였다. 겨울철 500 hPa 지위고도에서 GA3에 비해 GC2의 오차가 더 크게 나온 이유는 북극(75^o~90^oN)과 북태평양(30^o~60^oN, 150^oE~140^oW)에서 GC2의 RMSE가 다소 크게 나오면서 나타난 현상이다.

Fig. 1.

Time series of RMSE on six month predictions for 500 hPa geopotential height (a, b) and 850 hPa temperature (c, d). Initial dates are May (a, c) and November (b, d).

이러한 경향은 Figs. 2, 3에서 확인할 수 있다. Figure 2는 500 hPa 지위고도의 6월과 12월을 예측한 결과의 RMSE로, 앞선 Fig. 1 시계열과 동일한 방식으로 생산하였다. 6월에는 대부분의 영역에서 GA3에 비해 GC2의 RMSE가 줄어든 것을 확인할 수 있으며, 북태평양의 경우 RMSE 영역평균값이 38.84 gpm에서 36.49 gpm으로, 동아시아는 23.89 gpm에서 22.21 gpm으로 작아졌다. 다만 북극에서 56.37 gpm에서 58.02 gpm으로 커지는 경향을 보였고, 예측 +2개월 이후(1월 예측 이후) 73.07 gpm에서 62.93 gpm으로 오차가 눈에 띄게 낮아졌다. 이외에 타미르 반도와 유럽 북쪽에서도 소폭의 감소폭을 보였다. 12월 예측에서는 다소 다른 경향을 보였는데, 북태평양의 경우 68.45 gpm에서 71.17 gpm으로 증가하는 경향을 보였다. 북극도 61.80 gpm에서 65.47 gpm 비슷한 증가폭을 보였다. 하지만 중국 북쪽과 아랄해 부근에서 두드러진 감소폭을 보였고 바렌츠해와 카라해 남쪽, 북대서양에서도 감소하는 경향을 보였다.

Fig. 2.

Comparison of RMSE for 500 hPa geopotential height between GA3 (a, c) and GC2 (b, d). Prediction months are Jun (a, b) and December (c, d).

Fig. 3.

Same as Fig. 2 but for 850 hPa temperature.

850 hPa 기온에서는 더 두드러지는 감소폭을 보였으며, Fig. 3은 그 결과를 나타낸 것이다. 6월 예측에서는 중국과 몽고지역(30^o~50^oN, 110^o~140^oE)의 RMSE 평균이 1.44^oC에서 1.29^oC로 감소하는 경향을 보였으며, 미국 북부와 캐나다 남부(30^o~60^oN, 125^o~65^oW)에서도 2.56^oC에서 2.25^oC로 감소하는 경향을 보였다. 12월 예측에서는 동아시아를 비롯하여 아랄해, 카스피해 지역까지 큰 폭으로 감소하는 경향을 보였다. 특히 아랄해부터 몽고를 거쳐 바이칼호까지 이르는 지역에서 2.31^oC에서 1.76^oC로 약 −0.55^oC의 오차가 감소하는 경향을 보였다. 또한 60^oN 이상의 고위도 영역에서도 RMSE 평균이 2.11^oC에서 1.84^oC로 감소하는 경향을 보였다. GA3와 GC2에서 가장 큰 개선점은 북극 해빙영역의 예측성 개선이며, 본 연구에서도 북극에서 850 hPa 기온 RMSE가 GA3에 비해 GC2에서 다소 줄어든 것으로 보인다. 이를 앞선 500 hPa 지위고도의 결과와 비교해 봤을 때, GloSea의 북극 해빙지역에 대한 개선이 대기 상층보다 하층에 영향을 많이 주었을 것으로 사료된다.

Figure 4는 850 hPa 기온의 계절별 MSSS 분포를 나타낸 것으로, MSSS는 관측과 모델의 변동성을 반영한 상관성을 표현하는 지수로 양의 값만 타당하다고 알려져 있다(Jung et al., 2015). 대체적으로 봄철의 MSSS 상관성이 높게 나온 것으로 보아, 타 계절에 비해 시간에 따른 경향성을 잘 예측한 것으로 보인다. Jung et al(2016) 은 봄철의 Nino 지수가 ‘엘니뇨-남방진동 봄철 예측성 장벽(ENSO spring predictability barrier)으로 인해 예측성이 떨어진다고 하였는데, 본 연구의 결과와는 다소 차이가 있었다. 이는 앞서 설명한 것처럼 모델의 구조적 오차 처리여부에 따라 달라진 것이라 사료된다. 많은 선행연구들이 모델의 구조적 오차를 제거함으로써 모델의 예측성이 높아졌고, 이러한 오차보정의 영향이 작은 계절이 그렇지 않은 계절에 비해 상대적으로 모델 예측성이 떨어질 수 있다. 바꿔 말하면 타 계절에 비해 상대적으로 봄철이 모델의 구조적 오차가 가장 작음을 간접적으로 보여주는 연구라 판단된다. 해당 선행연구에서는 모델의 구조적 오차로 인해 겨울 반구의 기온을 여름 반구에 비해 더 과대 모의하고 있음을 제시하고 있다.

Fig. 4.

Comparison of MSSS for 850 hPa temperature between GA3 (a, c, e, g) and GC2 (b, d, f, h). Prediction seasons are Spring (a, b), Summer (c, d), Fall (e, f) and Winter (g, h). Gray lines indicate values that are statistically significant at the 95% confidence level.

지역적으로는 적도태평양과 인도양, 카리브해와 브라질 동쪽에서 아프리카로 이어지는 북대서양 일부 영역에서 높은 상관성을 보였고, 남극해 일부 영역에서도 상관성이 나타났다. GA3와 GC2의 결과를 비교해보면, 적도 부근 20^oS~20^oN에서 GA3가 보다 더 넓은 범위에서 상관성이 있는 것으로 나타났다. 하지만 30^oN 이상의 영역에서는 GC2의 상관성이 높게 나왔으며, 봄철의 경우 70^oN 이상의 고도위도 영역에서도 일부 상관성이 있는 것으로 나왔다. 또한 95% 신뢰수준으로 살펴보았을 때, 전체 계절에 대해 GA3의 결과에 비해 GC2의 분포가 보다 더 넓은 범위에서 통계적으로 유의한 것도 확인할 수 있었다. 적도태평양에서 높은 MSSS 상관성을 보이는 것은, GloSea가 가지고 있는 ENSO의 높은 예측성이 영향을 준 것으로 사료된다. 일반적으로 대부분의 최신 기후모델은 ENSO를 6~9개월 이상 예측하는 것으로 보고되었으며(Jin et al., 2008; Wang et al., 2009), 최대 2년까지 통계적으로 유의한 값을 가지는 것으로 알려져 있다(Lue et al., 2008).

Figure 5는 850 hPa 기온의 SNR을 나타낸 것으로, 상단부터 SNR, Signal, Noise 순으로 표출하였다. 각 앙상블 수행날짜 별로 Signal과 Noise를 계산하고, 이를 활용하여 SNR을 구하였다. 대체적으로 GA3에 비해 GC2의 SNR이 높게 나온 것을 볼 수 있으며, Signal 보다는 Noise에 영향을 많이 받은 것을 볼 수 있다. GA3와 GC2의 Signal은 큰 차이가 없게 나타나 앙상블 평균의 분산은 유의미한 차이가 없는 것으로 보이지만, Noise 값에서는 눈에 띄는 차이를 보였다. 이는 각 앙상블 멤버들의 분산이 GC2에 비해 GA3에서 매우 크다는 것을 의미하며, 앙상블 멤버의 극단값 발생의 비율이 크다는 것을 간접적으로 보여주는 자료라 할 수 있다. 또한 앞선 검증결과들을 SNR과 비교해 보았을 때, 앙상블 멤버 별 분산이 커지더라도 예측 불확실도가 높으면 예측성 향상에 큰 영향을 주지 못하는 것으로 보여진다. 때문에 앙상블 예측자료의 예측성을 높이기 위해서는, 단순히 앙상블 멤버를 늘리는 방법을 사용하여 앙상블 예측자료의 분산을 높이는 것 보다 앙상블 예측자료의 불확실도를 줄여 보다 정확한 예측자료를 생산하는 것이 중요할 것으로 사료된다.

Fig. 5.

Signal-to-noise ratio of the 850 hPa temperature in the GA3 (a, c, e) and GC2 (b, d, f) for 1month prediction from signal-to-noise ratio (a, b), signal (c, d), noise (e, f). Signal-to-noise ratio is estimated for each 14 and 20 year climatic periods.

6.2 해수면온도 예측성

해수면온도는 기존의 많은 선행연구처럼 지표기온을 이용하여 예측성을 평가하였으며, 대표적인 경년변동이며 동아시아 기후에 직접 혹은 간접적으로 영향을 미치는 ENSO를 중심으로 분석하였다. ENSO는 적도 부근의 해양과 대기의 상호작용에 의해 적도태평양 기후와 수문기상학적 변수들에게 영향을 미치며(Horel and Wallace, 1981; Poveda et al., 2001), 나아가 원격상관을 통해 중위도 및 일부 고위도에도 영향을 미친다(Rodo et al., 1997). 이러한 ENSO의 예측성은 Nino3.4(5^oS~5^oN, 170^o~120^oW) 영역의 해수면 온도편차를 이용하여 간단하게 진단할 수 있다. 다만, 본 연구에서 GA3와 GC2의 hindcast period가 다르기 때문에 각각의 기간에 맞춰 관측값과 기후값을 정의하여 평균하였다.

선행연구에 따르면 GloSea의 ENSO 예측성은 6개월 이상으로 알려져 있으며(Kang et al., 2011), 기후예측시스템 주별 앙상블 예측자료를 이용한 분석에서도 우수한 예측성을 보인 바 있다. Figure 6는 이러한 ENSO 예측성을 비교한 시계열로, Nino3.4 영역의 RMSE를 평균하였다. GC2로 개선하면서 RMSE가 감소한 것을 볼 수 있으며, 예측시간이 늘어날수록 이러한 경향은 두드러지게 나타났다. 다만 각 월별로 시계열의 패턴은 GA3와 GC2 모두 유사한 패턴을 보였고, 특히 봄에서 여름으로, 가을에서 겨울로 바뀌는 기간에서 RMSE가 감소하는 모습을 보이다 다시 증가하는 경향이 동일하게 나타났다.

Fig. 6.

Time series of RMSE for Nino3.4 area from 1month lead time to 6 month lead time

상관성 분석에서도 해당 영역의 상관성이 GA3와 GC2 모두 예측 +1개월에 0.9로 가장 좋게 나왔으며, 예측 +3개월에도 타 지역에 비해 두드러진 상관분포를 보이고 있다(Fig. 7). 적도태평양 이외에도 대서양과 인도양에서도 상관성을 보였으며, 전체적으로 음의 상관보다는 양의 상관이 주를 이루었다. 또한 전반적으로 GC2로 개선하면서 GA3와 비슷하거나 높은 상관분포를 보였다. 예측 +1개월부터 예측 +3개월까지 북대서양(15^o~45^oN, 60^o~20^oW)에서 GA3는 0.61, 0.45, 0.36이었던 반면, GC2는 0.68, 0.54, 0.46으로 보다 높게 나왔다. 인도양에서는 두 결과가 예측 +1개월에는 0.61, 예측 +3개월에는 0.46으로 동일한 범위를 보였다.

Fig. 7.

Mean field of correlation for SST from 1 month lead time to 6 month lead time.

MSSS 분포에서도 적도태평양을 중심으로 20^oS~20^oN에서 높은 MSSS 상관성을 보였으며, 예측시간이 지나면서 약해지기는 하였으나, 인도양과 대서양 일부 영역에서 상관성이 나타났다(Fig. 8). 대서양의 경우 GA3는 예측시간이 지날수록 상관성이 약해지거나 거의 없어진 반면, GC2에서는 예측시간이 지나도 예측성이 지속되었다. 상관계수와 비교해 보면, 예측시간별로 차이는 있으나 대체적으로 상관계수가 높은 지역에서 MSSS 상관성이 나타나는 경향을 보였다. 다만 열도태평양 지역에서 예측 +1개월에는 GA3가 GC2에 비해 보다 더 넓은 분포에서 상관성이 있는 것으로 나타났으며, 95% 신뢰구간의 분포 역시 더 넓게 나타났다. 하지만 예측시간이 지날수록 GC2의 95% 신뢰구간 분포가 더 넓고, MSSS 상관성 역시 유지하고 있는 것을 볼 수 있다.

Fig. 8.

Mean field of MSSS for SST from 1month lead time to 6 month lead time. Gray lines indicate values that are statistically significant at the 95% confidence level.

앞선 850 hPa 기온의 결과에서도 적도태평양에서 MSSS 상관도가 높게 나온 것으로 보아 타 지역에 비해 태평양 열대해역에서 대기-해양의 접합효과가 잘 나타났을 것으로 사료된다. 기존연구에서도 대기와 해양의 결합을 통해 energy flux를 교환하는 방법을 쓰는 GloSea가, 일방적으로 대기에서 해양으로 flux를 전달하는 모델에 비해 열대해역의 예측성능을 더 높일 수 있다고 시사한 바 있다(Jeong et al., 2016). 또한 선행연구(Ham et al., 2017b)에서 해양의 관성이 대기에 비해 크기 때문에 장기 적분함에 있어 단일 대기모델만을 이용하는 것 보다는 결합모델을 사용하는 것이 보다 효율적으로 평형상태에 도달할 수 있다고 제시한 바 있다.

계절별 상관계수에서도 GA3에 비해 GC2의 상관성이 더 높은 것을 볼 수 있다. 가을철 예측 +4개월 이후 값을 제외하고는 전 기간에 대해 GC2의 상관성이 더 높은 것으로 나왔으며, 95% 오차범위 역시 GC2에서 더 작게 나타났다. 또한 GC2에서 lead time이 증가하여도 0.4 이상의 상관성을 보였으며, 겨울철의 경우 예측 +1개월에서는 상관성이 타 계절에 비해 낮게 나왔다. 하지만 예측 +6개월이 되더라도 GA3와 GC2 모두 0.49의 상관성을 보여 lead time에 따른 상관성의 변화가 가장 작게 나타났다(Table 4).

Table 4.

A verification score of 500 hPa geopotential height and 850 hPa temperature for monthly ensemble prediction data of hindcast. Area are Northern hemisphere (NH) and East asia (EA). The figure in parentheses represents the error range of 95% of the confidence level. Among the result of each versions, the bold font when the predictability is better.

앙상블 범위에 있어서도 GA3와 GC2의 차이가 있었다. Figure 9는 Nino3.4 영역의 평균값을 그림상자(Box plot)로 나타낸 것으로, hindcast period에 대해 해수면온도 평균값과 Nino3.4 지수(각 연도별 모델값과 평균값의 차이)의 평균값을 나타낸 것이다. 영역평균값을 보면 여름철에 앙상블 분포가 좁고, 겨울철에 넓은 것은 동일한 경향을 보였으나, 그 정도의 차이는 있었다. 계절에 따라 여름철에 수온이 높고 겨울철에 낮아지는 경향은 예측 +1개월(Fig. 9a)에서 +3개월(Fig. 9e) 사이에 두드러지게 나타났으며, 이후 계절적인 특성은 약해졌다. 이는 예측 +4개월 이후 예측성이 다소 떨어지는 것을 간접적으로 보여주는 결과라 사료된다. GA3에 비해 GC2의 결과가 전체적으로 온도가 낮게 예측되었고, 이로 인해 평균값도 낮게 예측되었다. 두 결과의 평균 차이는 앞선 RMSE 시계열에서 나타난 차이와 비슷한 경향을 보였고, 이는 Nino 영역에 대한 관측에 대한 모델의 오차가 GC2에서 개선되었다는 것을 보여준다. Nino3.4 지수도 동일한 경향을 보였으며, 5월과 6월에 가장 좁은 앙상블 분포를 나타냈다. 사분위수 범위(중심부 50%)를 비교해 보면, 대체적으로 GC2의 경우 중앙값이 사분위수 범위의 중심에 위치하는 반면 GA3의 경우 중앙값이 사분위수 범위 하단에 위치하는 경우가 자주 나타났다. 특히 예측 +1개월(Fig. 9b)에서 1월과 11, 12월에 GA3와 GC2의 안울타리(사분위수 Q1과 Q3에서 각각 1.5배 사분위수 범위만큼 떨어져있는 값)는 비슷한 범위를 보였으나, 중앙값은 다소 차이가 나타났다. 이 외에도 극단값(안울타리 외부에 놓인 값) 발생에 있어서도 차이가 있었는데, GC2에 비해 GA3 결과에서 극단값 발생이 많았다. 이는 hindcast period의 차이에 따라 GC2에 비해 GA3의 앙상블 멤버가 각 월별로 평균 72~90멤버 정도 적으며(GA3:42멤버x4~5주, GC2:60멤버x4~5주) 이로 인해 일부 lead time에 대해 고른 앙상블 분포를 발생하지 못하는 것으로 보인다. Scaife et al. (2018)은 North Atlantic Oscillation(NAO)를 검증함에 있어, 앙상블 멤버가 증가함에 따라 앙상블 평균 예측성이 함께 증가한다고 제시한바 있다. 다만 해당 결과에서 앙상블 멤버가 일정한 멤버이상으로 증가할 경우 예측성 증가폭은 감소하는 경향을 보였다.

Fig. 9.

Box plot of SST mean (left) and Nino3.4 index (right) on six month predictions.

이러한 경향은 앙상블 멤버의 불확실성을 알 수 있는 SNR에서도 차이가 나타났다(Table 5). 다만 특이한 점은 예측 +1개월에 비해 예측 +2개월의 SNR 지수가 더 크게 나왔는데, 이는 극단값 발생빈도에 따른 차이로 사료된다. 여름철을 보면 예측 +2개월에 비해 예측 +1개월에서 극단값의 발생빈도가 많았고, 이로 인해 앙상블 멤버의 불확실성이 증가한 것으로 보인다. 예측 +2개월 이후 SNR 지수는 지속적으로 감소하는 것을 볼 수 있으며, 예측 +5개월과 +6개월은 0.1 이하의 값이 나와 앙상블 멤버의 불확실도가 커진 것을 알 수 있다. GA3와 GC2의 비교에서는 전 lead time에 대해 GC2의 SNR 지수가 GA3보다 더 크게 나와 앙상블 멤버 불확실도의 차이를 파악할 수 있다.

Table 5.

Signal-to-noise ratio of sea surface temperature for 6month prediction. The figure in parentheses represents the noise value for calculating signal-to-noise.

7. 결론 및 향후 계획

본 연구는 기상청 현업 앙상블 기후예측시스템의 개선과 그에 따른 결과를 비교하였다. 2015년에 현업으로 수행된 GA3 버전의 기후 앙상블 예측자료와 2016년에 수행된 GC2 버전의 자료를 자료를 비교하여, 예측 +1개월부터 +6개월까지의 예측성을 비교하였다. 이를 위하여 500 hPa 지위고도, 850 hPa 기온, 해수면온도를 비교하였다. 이외에 변수들은 본 연구에서 다루지 않았는데 타 변수도 비슷한 상관성과 예측성을 보였으며, 해당내용은 앞서 기술한 국립기상과학원 보고서에 기술되어 있다.

500 hPa 지위고도와 850 hPa 기온은 예측 +1개월의 예측성이 가장 좋게 나왔으나, 대체적으로 각 예측시간 별 검증값이 전시간 검증값의 오차범위를 넘지 않는 것으로 보아 검증값의 차이가 크지 않은 것으로 사료된다. GA3와 GC2를 비교하였을 때, GC2의 예측성이 개선된 것으로 보이며 계절변동성도 잘 모사한 것으로 사료된다. 다만 북반구 평균 시계열에서는 유사한 패턴을 보여 모델경향성은 변하지 않은 것으로 사료된다. 지역적으로 동아시아 예측성의 개선이 두드러졌고, 계절별로는 GA3와 GC2 결과 모두 봄철이 타 계절에 비해 시간에 따른 경향성을 잘 예측한 것으로 보이며 중위도 이상의 일부 영역에서도 MSSS 상관성이 나타났다.

해수면온도 예측성은 ENSO 예측성을 대표하는 Nino3.4 영역을 위주로 살펴보며, 평균분포를 비교하였다. Nino3.4 영역에서 GC2로 개선하면서 RMSE가 감소하는 것을 볼 수 있으며, 예측시간이 지날수록 두드러지게 나타났다. 또한 시계열 패턴이 유사하게 변하여 타 변수처럼 모델경향성이 크게 변하지 않은 것으로 사료된다. 봄에서 여름으로, 가을에서 겨울로 바뀌면서 RMSE가 감소하는 경향도 동일하게 나타났다. 두 결과 모두 적도태평양 영역에서 높은 상관분포를 보였으며, 전체적으로 양의 상관이 주를 이루었다. 대서양의 경우 GC2로 개선하면서 상관성이 높아졌으나, 인도양은 큰 차이가 없었다. 앙상블 멤버의 불확실도를 살펴본 결과 lead time이 증가함에 따라 불확실도도 함께 증가하였으며, GA3에 비해 GC2에서 불확실도가 감소하였다.

본 연구에서는 현재 기상청에서 현업으로 운영 중인 앙상블 기후예측시스템의 개선된 내용을 진단하기 위하여, 장기예보에 활용되는 기본변수를 위주로 비교하였다. 이는 개선된 시스템의 장기예측 신뢰도를 파악하기 위함이고, 추후 성능개선을 하기 위한 방향을 제시했다고 볼 수 있다. 하지만 여전히 기상청 현업 앙상블 기후예측시스템에 대한 연구는 부족하며, 대기순환의 주요모드 등에 대한 분석도 추가로 필요할 것이다. 그리고 더 나아가 이러한 연구를 활용하여 장기예보 정확성 향상에 기여를 해야 할 것이다.

Acknowledgments

본 논문의 개선을 위해 좋은 의견을 제시해 주신 두 분의 심사위원께 감사를 드립니다. 이 연구는 기상청 국립기상과학원 「기상업무지원기술개발연구」 “장기예측시스템개발(1365003000)”의 지원으로 수행되었습니다.

References

• Ahn, J.-B., H.-S. Park, H.-S. Lee, W.-S. Lee, and J.-W. Kim, (1997), A Study of Climate Drift in Atmosphere and Ocean GCMs, J. Korean Meteorological Society, 33, p509-520, (in Korean with English abstract).
• Arribas, A., and Coauthors, (2011), The GloSea4 ensemble prediction system for seasonal forecasting, Mon. Wea. Rev., 139, p1891-1910. [https://doi.org/10.1175/2010MWR3615.1]
• Bowler, N. E., A. Arribas, S. E. Beare, K. R. Mylne, and G. J. Shutts, (2009), The local ETKF and SKEB: Upgrades to the MOGREPS short-range ensemble prediction system, Q. J. Roy. Meteor. Soc., 135, p767-776. [https://doi.org/10.1002/qj.394]
• Choi, J., S.-W. Son, Y.-G. Ham, J.-Y. Lee, and H.-M. Kim, (2015), Seasonal-to-interannual prediction skills of near-surface air temperature in the CMIP5 decadal hindcast experiments, J. Climate, 29, p1511-1527. [https://doi.org/10.1175/JCLI-D-15-0182.1]
• Dee, D. P., and Coauthors, (2011), The ERA-interim reanalysis: configuration and performance of the data assimilation system, Q. J. Roy. Meteor. Soc., 137, p553-597. [https://doi.org/10.1002/qj.828]
• Goddard, L., and Coauthors, (2013), A verification framework for interannual-to-decadal predictions experiments, Clim. Dynam., 40, p245-272. [https://doi.org/10.1007/s00382-012-1481-2]
• Gupta, A. S., L. C. Muir, J. N. Brown, S. J. Phipps, P. J. Durack, D. Monselesan, and S. E. Wijffels, (2012), Climate Drift in the CMIP3 Models, J. Climate, 25, p4621-4640. [https://doi.org/10.1175/JCLI-D-11-00312.1]
• Ham, H., S.-M. Lee, Y.-K. Hyun, and H.-S. Kang, (2017a), Improvement Status of Current Operation Seasonal Forecast System and Verification in 2016, NIMR Numerical model development division Technical report, G901:A-0008885252, p74.
• Ham, H., D. Won, and Y.-S. Lee, (2017b), Performance Assessment of Weekly Ensemble Prediction Data at Seasonal Forecast System with High Resolution, Atmosphere, 27, p261-276, (in Korean with English abstract).
• Horel, J. D., and J. M. Wallace, (1981), Planetary-scale atmospheric phenomena associated with the Southern Oscillation, Mon. Wea. Rev., 109, p813-829. [https://doi.org/10.1175/1520-0493(1981)109<0813:psapaw>2.0.co;2]
• Jin, E. K., and Coauthors, (2008), Current status of ENSO prediction skill in coupled ocean-atmosphere models, Clim. Dynam., 31, p647-664. [https://doi.org/10.1007/s00382-008-0397-3]
• Jeong, Y. Y., I.-J. Moon, and P.-H. Chang, (2016), Accuracy of short-term ocean prediction and the effect of atmosphere-ocean coupling on KMA Global Seasonal Forecast System (GloSea5) during the development of ocean stratification, Atmosphere, 26, p599-615, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2016.26.4.599]
• Jung, M. I., S.-W. Son, J. Choi, and H.-S. Kang, (2015), Assessment of 6-month lead prediction skill of the GloSea5 hindcast experiment, Atmosphere, 25, p323-337, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2015.25.2.323]
• Jung, M. I., S.-W. Son, Y. Lim, K. Song, D. J. Won, and H.-S. Kang, (2016), Assessment of Stratospheric Prediction Skill of the GloSea5 Hindcast Experiment, Atmosphere, 26, p203-214, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2016.26.1.203]
• Kang, H.-S., K.-O. Boo, and C. Cho, (2011), Introduction to KMA-Met office joint seasonal forecasting system and evaluation of its hindcast ensemble simulations, Science and Technology Infusion Climate Bulletin, 36th NOAA Annual Climate Diagnostics and Prediction Workshop, NOAA’s National Weather Service, p78-82.
• Lee, K.-J., and M. Kwon, (2016), A prediction of precipitation over east asia for june using simultaneous and lagged teleconnection, Atmosphere, 26, p711-716, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2016.26.4.711]
• Lorenz, E. N., (1963), Deterministic nonperiodic flow, J. Atmos. Sci., 20, p130-141. [https://doi.org/10.1175/1520-0469(1963)020<0130:dnf>2.0.co;2]
• Lue, J. J., S. Masson, S. K. Behera, and T. Yamagata, (2008), Extended ENSO predictions using a fully coupled ocean-atmosphere model, J. Climate, 21, p84-93.
• MacLachlan, C., and Coauthors, (2015), Global seasonal forecast system version 5 (Glosea5): a high-resolution seasonal forecast system, Q. J. Roy. Meteor. Soc., 141, p1072-1084. [https://doi.org/10.1002/qj.2396]
• McKinnon, K. A., and C. Deser, (2018), Internal variability and regional climate trends in an observational large ensemble, J. Climate, 31, p6783-6802. [https://doi.org/10.1175/JCLI-D-17-0901.1]
• Megann, A., D. Storkey, Y. Aksenov, S. Alderson, D. Calvert, T. Graham, P. Hyder, J. Siddorn, and B. Sinha, (2014), GO5.0: the joint NERC-Met Office NEMO global ocean model for use in coupled and forced applications, Geosci. Model Dev., 7, p1069-1092. [https://doi.org/10.5194/gmd-7-1069-2014]
• Poveda, G., A. Jaramillo, M. M. Gil, N. Quiceno, and R. I. Mantilla, (2001), Seasonally in ENSO-related precipitation, river discharges soil moisture, and vegetation index in Colombia, Water Resour. Res., 37, p2169-2178. [https://doi.org/10.1029/2000wr900395]
• Rae, J. G. L., H. T. Hewitt, A. B. Keen, J. K. Ridley, A. E. West, C. M. Harris, E. C. Hunke, and D. N. Walters, (2015), Development of the Global Sea Ice 6.0 CICE configuration for the Met Office Global Coupled model, Geosci. Model Dev., 8, p2221-2230. [https://doi.org/10.5194/gmd-8-2221-2015]
• Rodo, X., E. Baert, and F. A. Comín, (1997), Variations in seasonal rainfall in Southern Europe during the present century: relationships with the North Atlantic Oscillation and the El Nino-Southern Oscillation, Climate Dyn., 13, p275-284.
• Ryu, Y., J.-Y. Shin, W. Nam, and J.-H. Heo, (2012), Forecast of the Daily Inflow with Artificial neural Network using Wavelet Transform at Chungju Dam, J. Korea Water Resources Association, 45, p1321-1330, (in Korean with English abstract). [https://doi.org/10.3741/jkwra.2012.45.12.1321]
• Scaife, A. A., and D. Smith, (2018), A signal-to-noise paradox in climate science, npj Climate and Atmospheric Science, 28, p1-8. [https://doi.org/10.1038/s41612-018-0038-4]
• Scaife, A. A., and Coauthors, (2014), Skillful long-range prediction of European and North American winters. Geophys, Res. Lett., 41, p2514-2519. [https://doi.org/10.1002/2014GL059637]
• Tennant, W. J., G. J. Shutts, A. Arribas, and S. A. Thompson, (2011), Using a stochastic kinetic energy backscatter scheme to improve MOGREPS probabilistic forecast skill, Mon. Wea. Rev., 139, p1190-1206. [https://doi.org/10.1175/2010MWR3430.1]
• Walters, D., N. Wood, S. Vosper, and S. Milton, (2014), ENDGame: A new dynamical core for seamless atmospheric prediction, Met Office Technical report p27.
• Walters, D., and Coauthors, (2017), The Met Office Unified Model Global Atmosphere 6.0/6.1 and JULES Global Land 6.0/6.1 configurations, Geosci. Model Dev., 10, p1487-1520. [https://doi.org/10.5194/gmd-10-1487-2017]
• Walters, D. N., and Coauthors, (2011), The Met Office Unified model Global Atmosphere 3.0/3.1 and JULES Global Land 3.0/3.1 configurations, Geosci. Model Dev., 4, p919-941. [https://doi.org/10.5194/gmd-4-919-2011]
• Wang, B., and Coauthors, (2009), Advance and prospectus of seasonal prediction: assessment of APCC/CliPAS 14-model ensemble retrospective seasonal prediction (1980~2004), Climate Dyn., 33, p93-117.
• Williams, K. D., and Coauthors, (2015), The Met Office Global Coupled model 2.0 (GC2) configuration, Geosci. Model Dev., 8, p1509-1524. [https://doi.org/10.5194/gmd-8-1509-2015]