The Korean Meteorological Society
[ Article ]
Atmosphere - Vol. 27, No. 3, pp.261-276
ISSN: 1598-3560 (Print) 2288-3266 (Online)
Print publication date 30 Sep 2017
Received 28 Feb 2017 Revised 05 Jun 2017 Accepted 27 Jun 2017
DOI: https://doi.org/10.14191/Atmos.2017.27.3.261

고해상도 장기예측시스템의 주별 앙상블 예측자료 성능 평가

함현준1), * ; 원덕진2) ; 이예숙3)
1)국립기상과학원 지구시스템연구과
2)기상청 기상서비스진흥국 기상서비스정책과
3)기상청 예보국 예보기술과
Performance Assessment of Weekly Ensemble Prediction Data at Seasonal Forecast System with High Resolution
Hyunjun Ham1), * ; Dukjin Won2) ; Yei-sook Lee3)
1)Global Environment System Research Division, National Institute of Meteorological Research, Seogwipo, Jeju, Korea
2)Meteorological Service Policy Division, Meteorological Service Promotion Bureau, Korea Meteorological Administration, Seoul, Korea
3)Forecast Technology Division, Forecast Bureau, Korea Meteorological Administration, Seoul, Korea

Correspondence to: * Hyunjun Ham, Global Environment System Research Division, National Institute of Meteorological Research, 61 Yeouidaebang-ro 16-gil, Dongjak-gu, Seoul 07062, Korea. Phone: +82-70-7850-6724, Fax: +82-64-738-6514 E-mail: ekvan@korea.kr

Abstract

The main objectives of this study are to introduce Global Seasonal forecasting system version5 (GloSea5) of KMA and to evaluate the performance of ensemble prediction of system. KMA has performed an operational seasonal forecast system which is a joint system between KMA and UK Met office since 2014. GloSea5 is a fully coupled global climate model which consists of atmosphere (UM), ocean (NEMO), land surface (JULES) and sea ice (CICE) components through the coupler OASIS. The model resolution, used in GloSea5, is N216L85 (~60 km in mid-latitudes) in the atmosphere and ORCA0.25L75 (0.25o on a tri-polar grid) in the ocean. In this research, we evaluate the performance of this system using by RMSE, Correlation and MSSS for ensemble mean values. The forecast (FCST) and hindcast (HCST) are separately verified, and the operational data of GloSea5 are used from 2014 to 2015. The performance skills are similar to the past study. For example, the RMSE of h500 is increased from 22.30 gpm of 1 week forecast to 53.82 gpm of 7 week forecast but there is a similar error about 50~53 gpm after 3 week forecast. The Nino Index of SST shows a great correlation (higher than 0.9) up to 7 week forecast in Nino 3.4 area. It can be concluded that GloSea5 has a great performance for seasonal prediction.

Keywords:

GloSea5, sub-seasonal prediction, seasonal prediction, weekly ensemble, weighted

1. 서 론

최근 기후변화로 인해 한반도 이상기후 현상이 증가하고 있으며, 이는 홍수, 가뭄, 한파, 폭설 등의 자연재해를 발생시켜 큰 피해를 초래하는 것으로 알려져 있다(Lee and Lee, 2008). 이러한 피해를 경감하기 위해 고품질의 장기예보에 대한 수요가 꾸준히 증가하고 있으며, 보다 향상된 성능의 장기예보생산체계에 대한 필요성이 대두되고 있다.

이에 기상청은 장기예보의 질적 향상을 위해 2010년 6월 영국 기상청과 공동으로 장기예측을 위한 체계적인 시스템인 한 · 영 공동 계절예측시스템을 구축하였고, 이를 운영하기 위한 협정을 체결하였다. 이러한 협정을 바탕으로 Global Seasonal Forecast System version 4 (GloSea4; Arribas et al., 2011)를 도입하였고, 2014년부터 5번째 버전인 GloSea5 (MacLachlan et al., 2014)를 도입하여 기상청 장기예측시스템을 구축하였다.

예보 성능 향상을 위해 장기예측시스템에 대한 예측성 검증 및 개선에 관해 지속적인 연구들이 수행되어 왔다. 이러한 선행연구들은 과거 기후장의 경향성이나 기후시스템의 계절별 변동성을 파악하는 기후변동지수의 예측성을 검증하였다. Lee et al. (2016)은 개선된 GloSea5가 계절규모에서 예측성이 우수한 것을 검증하였고, 기상청은 이러한 연구를 기반으로 현재 GloSea5 Global Coupled configuration 2 (GloSea5GC2; Williams et al., 2015)를 현업운영 중이다.

그러나 현업 장기예측시스템에서 생산된 앙상블 자료에 대하여 진단하고 그 결과를 분석하는 검증에 대한 연구는 아직 부족한 편이며, 단기 및 중기 기간동안 GloSea5의 모델오차 예측성능에 대해 검증을 수행한 연구는 찾아보기 어렵다(Lee et al., 2016). 따라서 본 연구는 2014년 1월부터 2015년 12월까지 현업운영을 한 장기예측시스템 운영체계에 대해 기술하고, 기상청 1개월 장기예보전망에 사용된 주별 앙상블 예측자료를 활용하여 예측 1주부터 7주까지의 예측성능을 평가하였다.


2. 장기예측시스템

장기예측시스템은 크게 예측모델인 GloSea5, 이를 활용하는 앙상블 예측시스템, 그리고 이를 평가하는 검증시스템으로 구성되어 있다.

2.1 GloSea5의 구성

GloSea5는 지구규모의 대기와 해양의 효과를 충분히 반영한 대기-지면-해양-해빙 결합모델로서, 대기 모델은 Unified Model (UM, Davies et al., 2005), 해양모델은 Nucleus for European Modeling of the Ocean (NEMO, Madec, 2008), 해빙모델은 Los Alamos Sea Ice Model (CICE, Hunke and Lipscomb, 2010)와 지표모델은 Joint UK Land Environment Simulator (JULES, Best et al., 2011)로 이루어져 있으며, 결합자 (Coupler)는 Ocean Atmosphere Sea Ice Soil3 (OASIS3, Valcke, 2013)이다(Table 1).

Information of GloSea5.

대기모델은 UM version 8.0으로서, 해상도는 N216L85, 격자크기는 0.83o × 0.56o (432 × 325)으로 중위도에서 수평해상도는 약 60 km이다. 연직은 지상 85 km를 최상층으로 하여, 대류권(지상 18 km 이하) 50층과 성층권(지상 18 km 이상) 35층으로 전체 85층이다. 해양모델은 NEMO version 3.2로, 격자구성은 ORCA0.25L75이다. 가변격자인 ORCA tri-polar grid를 사용하며 중위도를 기준으로 수평 0.25o (1441 × 721), 연직으로는 75층이다.

모델수행을 위한 초기자료는 예측장(Forecast; FCST)과 기후장(Hindcast; HCST)으로 구분되어 적용된다. 예측장의 대기 초기자료는 기상청 전지구통합모델 (N512L70)의 적분시간 +00의 자료로서 4DVAR 자료동화(Rawlins et al., 2007)가 적용된 자료이다. 해양 초기자료는 영국 기상청에서 매일 입수하는 자료로써, NEMOVAR (Mogensen et al., 2012; Waters et al., 2014)에 의한 해양 분석체계를 통해 산출된 자료이다. 기후장의 대기 초기자료는 유럽중기예보센터(European Centre for Medium-Range Weather Forecasts; ECMWF)의 ERA-Interim 재분석 자료(Dee et al., 2011)를 사용하며, 해양 초기자료는 영국 기상청에서 생산된 재분석 자료를 사용한다.

2.2 앙상블 예측시스템의 구성

장기예측자료 생산과정은 크게 예측장과 기후장 수행으로 나누어지며, 이를 활용한 앙상블 예측자료 생산을 기본으로 하고 있다. 앙상블 예측을 위하여 사용되는 방법은 2가지로 시간지연 앙상블(time lagged ensemble) 기법과 추계적 운동에너지 후방산란 (Stochastic Kinetic Energy Backscattering version2; SKEB2; Bowler et al., 2009) 기법이 사용되었다. 시간지연 앙상블 기법은 서로 다른 초기조건을 가지는 예측장을 조합하여 앙상블 크기를 증가시키는 방법이다. SKEB2 physics는 대기 모델 내부의 수평확산과 이류계산과정에서 과도하게 소산되는 운동에너지를 보상해주기 위한 방안(Tennant et al., 2011)으로, 랜덤 값을 적용하는 통계적인 방법을 이용하여 운동에너지를 계산한다.

예측장은 매일 초기장에 대해서 4개의 앙상블 멤버를 생산하는데, 그 중 2개의 앙상블 멤버는 1개월예측(sub-seasonal prediction)을 위해 63일 예측을 수행하고 나머지 2개의 앙상블 멤버는 3개월/계절예측(seasonal prediction)을 위해 235일 예측을 수행하였다. 앙상블 멤버를 구성함에 있어 1개월 예보 지원을 위한 주별 앙상블 예측은 4개의 앙상블 멤버를 모두 사용하지만, 3개월/계절예보 지원을 위한 월별 앙상블 예측은 최소 180일 이상을 예측해야 하기 때문에 235일을 예측한 2개의 앙상블 멤버만 사용하였다.

기후장은 1996년부터 2009년까지 14년간의 자료를 산출하며 매해 3개의 앙상블 멤버로 구성된다. 초기 날짜는 예측장과 달리 매달 특정일(1일, 9일, 17일, 25일)을 기후장 적분 시작일로 정의하여 초기화 한다. 초기날짜를 기준으로 14년도에 대해 3개의 앙상블 멤버를 생산하기 때문에 일주일 동안 총 42개 기후장 결과가 생산되어야 한다. 하루에 모두 수행하기에는 전산자원의 한계가 있어, 하루에 6개의 멤버를 생산하였으며 앙상블을 위해 매주 42개의 멤버를 생산하였다. 따라서 매일 수행되는 장기예측시스템의 멤버수는 예측장 4개와 기후장 6개로 총 10개의 멤버로 구성되었다(Table 2).

Ensemble member information of GloSea5 operated weekly.

매일 생성되는 예측장과 달리 특정일의 기후장을 생성하기 때문에 예측장에 준하는 매일의 기후장 결과가 필요하다. 따라서 예측장 날짜를 기준으로 전후의 가까운 기후장 날짜(주별 앙상블 예측는 2개, 월별 앙상블 예측는 4개 사용)를 찾고, 해당되는 기후장의 자료를 날짜 거리에 따른 가중평균을 하여 예측장의 날짜에 준하는 기후장을 생산한다. 주별 앙상블 예측을 예를 들면, 2014년 7월 11일의 예측장 날짜를 기준으로 필요한 기후장 시작날짜는 7월 9일, 17일이 된다(월별 앙상블 예측은 1일, 9일, 17일, 25일 사용). 이를 위해 예측장의 날짜보다 기후장 날짜의 수행이 더 빨라야 한다. 앞서 설명한 것처럼 하루에 모든 앙상블 멤버를 생산할 수 없고, 월별 앙상블 예측을 수행하기 위해서 예측날짜를 기준으로 전후 4개의 기후장 초기날짜가 필요하기 때문에, 매일 수행되는 기후장의 초기날짜는 예측장의 초기날짜보다 3~4주가 빨라야 한다. 현재 현업 장기예측시스템은 오류 발생시에 조치를 하는 등의 안정적인 현업운영을 위해 1달을 선행하여 운영하고 있다.

기후장의 가중평균방법은, 먼저 선택된 각 기후장 날짜에 대해 예측장의 날짜와의 거리(d)를 구하고(Fig. 1), 이를 기준으로 가중치(ω)를 구한 후 정규화한다. 정규화는 각 예측장 날짜를 기준으로 사용되는 각 기후장 날짜의 가중치를 구하고 이를 가중치 전체의 합으로 나누는 방법을 사용한다. 이로 인해 예측장 날짜에 대응하는 기후장 날짜가 가까울수록 가중치는 증가되며, 예측장 날짜와 기후장 날짜가 같은 경우 ± 0.5을 취하여 거리의 차이가 0이 되지 않도록 하였다.

Fig. 1.

Weighted output schematic of hindcast.

ω=e-d2/100ω: 가중치, d: 예측장 날짜와의 거리(1) 
normalized weight=ωn/n=1kωnn:hindcast date(2) 

장기예측을 위해 사용되는 앙상블 예측자료는 매주 1회 생산이 된다. 1개월 전망을 위해 사용되는 주별 앙상블 예측은 최근 7일간의 예측자료인 28개의 앙상블 멤버(월별 앙상블 예측은 최근 3주간의 예측자료인 42개의 앙상블 멤버)를 수집하여 시간차이에 따른 앙상블을 구성하며, 기후장 역시 예측장에 준하는 날짜의 가중평균 기후장을 이용하여 주별 앙상블 예측자료를 생산한다. 생산된 예측장과 가중평균 기후장을 이용하여 편차분석(anomaly analysis)과 예측정보를 생산한다. Table 3은 2014년 7월 15일 수행된 주별 앙상블 예측자료의 예측장 초기날짜와 기후장 초기날짜를 나타낸다.

Initial dates used for a current operation on 2014/07/15 and date distance for weighted average ensemble of hindcast.


3. 주별 앙상블 예측자료 검증체계

검증을 위해 사용되는 관측자료는 각 초기장을 생산한 기관의 관측자료를 기반으로 하기 위하여, 예측장 검증에 기상청 분석장을, 기후장 검증에는 ERA-interim 재분석장을 사용하였다. 다만 강수의 경우 해당기관에서 생산을 안 하기 때문에, 예측장과 기후장 모두 GPCP 자료(Huffman et al., 2001; Adler et al., 2003)를 사용하도록 구축하였으나, GPCP 자료는 자료제공의 문제로 2015년 4월까지만 검증하였다. 검증에 사용된 변수는 500 hPa 지위고도(h500), 850 hPa 기온(t850), 강수(prcp)이다(Table 4). 500 hPa는 비발산 고도에 해당되 와도가 보존되어 지위고도 분석 시 예보에 도움을 준다. 또한 850 hPa 기온은 하부 대류권을 대표할 수 있는 변수이기 때문에 모델검증에서 주로 사용된다. 분석영역은 북반구(20o~90oN), 동아시아(20o~50oN, 100o~150oE)이며, 분석기간은 2014년 1월 13일부터 2015년 12월 28일까지이다.

Variable information of observation data used in this study.

추가적으로 해수면 온도의 예측성을 검증하기 위해 기존의 선행연구(Jung et al., 2015; Jung et al., 2016)와 같이 지표기온 자료를 활용하여 Nino 지수를 정의하였다. Nino 지수는 동아시아 기후에 많은 영향을 미치는 적도 동태평양 해수면온도의 공간평균값을 나타낸 것으로, El Nino-Southern Oscillation (ENSO) 예측성 검증에 주로 사용된다. 검증에 사용된 자료는 OISST_v2 (Reynolds et al., 2002)이며, Nino 지수는 Nino3.4 (5oS~5oN, 170o~120oW)와 Nino3 (5oS~5oN, 150o~270oW) 및 Nino4 (5oS~5oN, 160o~150oW)로 총 3개 지수에 대하여 검증하였다. 일반적으로 Nino 지수를 산출할 때의 기후값은 30년 평균값을 사용하지만, 본 연구에서는 모델과 동일한 기준을 적용하기 위해 1996~2009년까지로 기후값을 정의하였다.

예측성 평가에 사용된 검증 기법은 이차제곱근오차(Root Mean Squared Error; RMSE)와 상관계수(Correlation), 평균 제곱근 예측성(Mean Squared Skill Score; MSSS)를 사용하였다. RMSE는 예측값과 관측값을 비교하여 어느 정도 오차를 가지고 있는지에 대해 나타내는 값으로, 가장 직관적인 예측성 검증 기법이다. RMSE는 각 격자별 예측값과 관측값의 차이를 제곱하고 이를 평균하기 때문에, 사용된 격자점의 개수가 많을수록 모델의 성능을 보다 정확히 평가한다.

RMSE=1ni=1nFi-Oi2(3) 

Fi는 각각 예측장과 기후장의 주별 앙상블 예측자료이며, n은 대상이 되는 기간에 해당하는 값을 나타낸다. OiFi에 상응하는 시기의 관측값을 의미한다. F¯O¯는 각 lead time에 따른 전체 시기의 평균으로 아래와 같이 정의된다.

F¯=1ni=1nFi(4) 
O¯=1ni=1nOi(5) 

상관계수는 예측값과 관측값 두 분포간의 상관도를 해석하는 검증 기법으로, -1에서 +1사이의 값을 가지며, -1에 가까우면 음의 상관, +1에 가까우면 양의 상관을 가지는 것으로 평가한다. 상관계수가 0이 아닌 경우, 그것이 겉보기 상관인 경우도 있으므로 참된 인과관계인지에 대한 주의도 필요하다. 예컨대, 500 hPa 지위고도 모델값과 해수면온도 관측값 사이에서 정의상관이 있다고 나오더라도, 이는 참된 인과관계가 없는 현상이다. 이러한 겉보기 상관을 피하기 위해 다른 검증지수와의 종합적인 평가가 필요하다.

Correlation=1nFi-F¯×1nOi-O¯1nFi-F¯2×1nOi-O¯2(6) 

World Meteorological Organization/Commission for Basic System (WMO/CBS) 회의를 통해 표준화된 검증체계 중 하나인 MSSS는 계절규모의 예측성 검증을 위해 선행 연구에서 자주 사용하는 검증기법(Choi et al., 2016)이며, 다년 시간규모의 예측성 평가를 위해 제안된 진단기법이다(Goddard et al., 2013). 예측값이 가지고 있는 관측값과의 오차특성을 종합하여 파악하는 평가 지표로써, 각 격자값으로 정확도의 분포를 파악하거나 영역평균 시계열로부터 정확도 추이 분석이 가능하다. -∞에서 +1까지의 값을 가지며, 1의 값을 가질 경우 완벽한 예보를 뜻한다.

MSSS를 계산하기 위해서는 MSE(Mean Squared Error)를 사용한다. MSEi는 모델값이 관측값으로부터 갖는 오차를 제곱하여 평균한 것이며, MSEcj는 기후값을 예측값으로 이용할 경우에 대한 MSE를 의미한다. 각 격자점의 MSSS를 평균하여 계산하면 MSSS 총점을 구할 수 있으며, 구하는 과정에서 각 격자점별 위도(θ)에 따른 면적가중(cosθ)을 고려하여 계산하였다.

MSEi=1ni=1nFi-Oi2(7) 
MSEcj=i=19962009nini-12×1ni=19962009Oi-O¯(8) 
MSSS=1-cosθMSEicosθMSEcj(9) 

본 연구에서 위와 같은 예측성 검증방법은 적은 표본 수 때문에 통계적 유의성 평가가 반드시 필요하다(Jung et al., 2015). MSSS의 경우 선행연구에서 주로 활용한 bootstrap 기반의 방법(Goddard et al., 2013)을 사용하여 ‘0’ 이상의 값을 몇 번 갖는지에 대한 통계적 유의성을 평가하였다. 앙상블 멤버의 표본을 구하고, 각 표본에서 음의 값이 나오는 횟수를 이용하여 p-value를 구하였다. 이 p-value의 값이 α보다 작을 때, (1 -α) × 100%의 신뢰수준에 유의하다고 평가할 수 있다.


4. 주별 앙상블 예측자료의 주 평균(weekly mean) 자료 검증 결과

4.1 500 hPa 지위고도, 850 hPa 기온 검증 결과

먼저 500 hPa 지위고도와 850 hPa 기온을 검증하기 위해 예측장과 기후장의 북반구 및 동아시아의 검증값을 살펴보았으며, Table 56는 그 결과를 나타낸 것이다. 예측장과 기후장 모두 3주차까지 오차가 증가하는 경향을 보이다가 4주 이후부터는 일정범위내의 오차를 보였다. 증가하는 오차의 크기를 보면, 1~2주 사이에 증가하는 오차에 비해 2~4주 사이에 증가하는 오차의 크기가 더 작은 것을 볼 수 있다. 이는 기후모델에 존재하는 climate drift (기후접합모델의 장기적분 시 나타나는 모델 경향성 Gupta et al., 2012)로 인하여 발생하는 현상으로, 모델이 접합 후 적분이 진행되면서 모델의 기후가 실제 기후와는 차이가 있는 평형상태로 Spin-up 되기 때문으로 사료된다. 이러한 현상이 발생하는 원인으로는 불충분한 관측자료와 모델의 불완전한 모수화로 인한 열 속(heat flux), 수분 속(moisture flux), 운동량 속(momentum flux) 추정 오차 때문으로 알려져 있으며, 대부분의 접합 모델에서 공통적으로 나타나는 현상이다(Ahn et al., 1997). 보통 기후모델을 검증할 때에는 이러한 모델의 구조적 오차를 제거하기 위해 관측자료를 이용하여 보정작업을 거친다(Jung et al., 2015). 이러한 보정작업을 한 모델결과는 기후 상태와 기후 변동을 재현함에 있어 보다 우수한 결과를 나타내지만, 보정자체로 임 의성이 들어가기 때문에 다소 논란의 여지가 발생할 수 있다. 때문에 본 연구에서는 해당 보정작업을 수행하지 않고, 모델의 기본성능을 확인하였다. 또한 장기예보현업에 사용되는 장기예측자료는 편차분석(예측장과 기후장의 차)을 활용하기 때문에 추가 보정작업을 거치지 않더라도 모델의 구조적 오차가 제거될 수 있다.

A verification score of 500 hPa geopotential height for weekly ensemble prediction data of forecast and hindcast. Areas are Northern hemisphere (NH) and East asia (EA). The figure in parentheses represents the error range of 95% of the confidence level.

Same as Table 5 but for 850 hPa temperature.

영역별로 보면 500 hPa 지위고도는 북반구에 비해 동아시아에서 RMSE가 더 낮게 나왔으며, 상관계수는 예측 1~2주를 제외하고는 동아시아의 평균값이 더 높거나 북반구와 비슷한 상관성을 나타냈다. 예측 1~2주는 예측장과 기후장 모두 상관계수와 MSSS의 상관성이 동아시아에 비해 북반구에서 더 높게 나온 것으로 보아, 북반구에서 평균오차에 의해 발생하는 오차값은 크게 나왔지만 시간에 따른 경향성이 높았을 것으로 사료된다. 다만 MSSS는 예측 3주 이후부터 음의 값을 보여 예측성이 없는 것으로 판단된다. MSSS는 관측과 모델의 변동성을 반영하여 상관성을 표현하는 계수이므로 양의 값만 유효하다고 볼 수 있으며, 음의 값이 나온 경우 모델이 관측의 변동성을 반대로 모의한다고 판단할 수 있다(Jung et al., 2015).

850 hPa 기온도 동아시아의 RMSE가 더 낮게 나왔으며, 상관계수도 동아시아의 상관성이 더 높게 나오거나 비슷했다. 이러한 경향은 기존의 다른 선행연구에서 밝혀진 기후모델이 동아시아에서 예측성이 떨어진다는 결과(Jung et al., 2015)와 다소 상반된 결과를 보이는 것이다. 이는 GloSea5가 타 영역에 비해 동아시아의 계절변동성을 잘 모의한 부분도 있겠지만, 상대적으로 북극의 예측성이 다소 떨어짐으로 인해 발생하는 문제로 보인다.

Figure 2는 이러한 경향을 볼 수 있는 결과로써, 예측장에서의 500 hPa 지위고도와 850 hPa 기온의 RMSE를 나타낸 것이다. 북극의 RMSE가 타 영역에 비해 크게 나타난 것을 볼 수 있다. 이는 500 hPa 지위고도에서 강하게 나타났으며, 동아시아의 RMSE가 작게 나타난 것을 볼 수 있다. 2014년 예측장을 보면, 북위 60oN 이상 영역에서 500 hPa 지위고도 RMSE는 33.39 gpm으로 북반구 전체평균인 22.30 gpm에 비해 높게 나왔다. 이러한 경향은 2015년에도 동일하게 나타났다. 동아시아의 RMSE는 13.75 gpm으로 동일한 위도의 전체 경도(20o~50oN, 0o~360oE)에서 구한 16.95 gpm에 비해 낮게 나와 다른 영역에 비해 상대적으로 낮은 오차율을 보였다. 850 hPa 기온은 해양에 비해 육지 고지대에서 RMSE가 크게 나왔으며, 북극의 RMSE도 1.42oC로 북반구 전체평균인 1.24oC에 비해 높은 오차율을 보였다. 최근 발표된 차세대 버전인 GloSea5GC2에서 sea-ice parameters 개선을 통해 북극 해빙영역의 예측성이 향상된 것으로 알려져 있어, GloSea5GC2로 업그레이드를 한 이후로는 앞서 제기된 문제들이 일부 해결될 것으로 보인다.

Fig. 2.

Mean field of RMSE for 1week lead time of weekly ensemble prediction data average in 2014 and 2015 (top: h500, bottom: t850).

Figures 3-6은 모델을 평가한 검증결과의 계절변동성을 보기 위해 나타낸 것으로, 북반구 평균값을 검증한 결과이다. 모델예측 4~7주의 예측성능은 거의 유사해 일정범위의 오차분포를 보이기 때문에, 1~4주 예측의 결과에 대해서만 표출하였다. RMSE는 500 hPa 지위고도와 850 hPa 기온 모두 여름철에는 오차가 적고 겨울철에 오차가 커지는 현상을 보였다. 이러한 결과는 지표기온의 월별예측성이 가을철에 높고 겨울철에 낮으며, 여름철에 통계적으로 유의한 수준의 예측이 나타남을 밝혔던 기존의 선행연구(Jung et al., 2015)와 비슷한 경향을 보인다. Jung et al. (2016)은 이 원인으로 계절에 따른 GloSea5의 구조적 오차를 제시하며, 극 성층권의 경우 모델의 적분과정에서 겨울철 장파 복사를 과도하게 모의함으로서 극 성층권의 겨울 반구 기온이 여름반구에 비해 오차가 크다고 밝힌 바 있다. 이 외에도 GloSea5의 준2년주기진동 예측성이 다른 계절에 비해 겨울철이 낮다고 밝혀진 바 있다(Scaife et al., 2014).

Fig. 3.

Time series of RMSE for 500 hPa geopotential height from 1 week lead time to 4 week lead time (top: Forecast, bottom: Hindcast).

Fig. 4.

Same as Fig. 3 but for 850 hPa temperature.

Fig. 5.

Same as Fig. 3 but for MSSS of 500 hPa geopotential height.

Fig. 6.

Same as Fig. 3 but for MSSS of 850 hPa temperature.

다만 기후장과 예측장에서 나오는 오차를 비교하였을 때, 예측장에 비해 기후장에서 발생한 오차가 더 크게 나타났다(Figs. 3 and 4). 이는 앞서 설명한 가중평균 기후 앙상블 때문으로 여겨진다. Table 3에서와 같이 2014년 7월 15일 수행에 사용된 초기장을 보면 예측장은 최근 7일(7월 8일~14일)의 초기장을 사용하는 반면, 기후장은 예측장보다 더 과거의 초기장(7월 1일, 9일, 17일을 사용)을 사용하게 되어, 예측장에 비해 최대 1주전의 자료를 사용하게 된다. 이로 인해 기후장은 원하는 예측시간보다 최대 2주전의 예측자료가 앙상블에 들어가게 되고, 이 자료들이 앙상블 예측값에 영향을 미치는 것으로 사료된다. 때문에 이러한 앙상블 예측방법은 지속적으로 연구와 개선이 필요할 것으로 보이며, 특히 1개월 이내의 예측성을 높이기 위해서는 반드시 필요한 과정이라 사료된다. 이 부분의 개선을 위해 Jung et al. (2015)에서 GloSea5 예측성을 향상시키기 위한 방법으로 앙상블 멤버수를 단순히 늘리는 것 보다는 생산방법 개선, 해상도 향상, 물리과정 개선 등의 방법을 제시한 바 있다.

MSSS에서는(Figs. 5 and 6) 예측기간이 길어질수록 예측장에 비해 기후장에서 유사한 오차율을 보여 보다 안정적인 성능을 보이는 것으로 나타났다. 예측성능에 있어서 1주 예측은 예측장과 기후장 모두 0이상의 값으로 우수한 성능을 보였으나, 2주 예측부터는 0이하의 값이 나타났다. 또한 2주예측까지 예측장은 80%, 기후장은 85%의 신뢰수준에서 통계적으로 유의미한 결과를 보였으나, 3주 이후부터는 통계적으로 유의한 예측성이 없는 것으로 진단되었다. 특히 850 hPa 기온은 다른 계절에 비해 여름철인 6~8월 사이에 2주 예측부터 MSSS의 값이 현저하게 낮아져서, 통계적으로도 예측 1주를 제외하고는 예측성이 없는 것으로 진단되었다.

4.2 강수 예측성 검증

강수 예측성도 타 변수와 같이 예측기간에 따라 차이를 보였다. Table 7은 강수의 검증값을 나타낸 것으로, 1주 예측장이 상관계수 0.4 전후로 가장 좋은 예측성능을 보였다. 상관성의 기준으로는 자료의 특성에 따라 다르지만 |0~0.2|에서는 상관관계가 거의 없고, |0.3~0.6|에서는 상관관계가 존재, |0.7| 이상인 경우에는 매우 강한 상관관계가 있다고 해석한다(Ryu et al., 2012). 다만 2주 예측 이후부터는 큰 차이를 보이지 않았으며, 2주차에 상관계수는 0.2 전후의 값을, 3주차 이후에는 -0.01~0.1 사이의 값을 대체적으로 보여 다른 변수에 비해 낮은 상관분포를 보였다. 영역별로는 북반구에 비해 동아시아의 RMSE가 증가하는 것을 볼 수 있으나, 상관계수와 MSSS는 동아시아가 더 좋게 나타났다. 계절에 따른 변화도 큰 차이는 보이지 않았으나, RMSE는 봄철인 3~5월에 다른 계절에 비해 낮게 나왔으며, 이러한 경향은 예측장에 비해 기후장에서 잘 나타났다(Figs. 7 and 8).

Same as Table 5 but for precipitation.

Fig. 7.

Same as Fig. 3 but for precipitation.

Fig. 8.

Same as Fig. 3 but for MSSS of precipitation.

앞선 500 hPa 지위고도와 850 hPa 기온은 3주 예측 이후로 예측장과 기후장 모두 일정범위내의 오차범위를 보였다. 반면 강수는 2주 예측부터 비슷한 범위대의 오차분포를 보여, 예측성이 떨어지는 경향이 타 변수에 비해 1주 빠르게 나타났다. MSSS는 전 기간에 대해 0이하의 값을 보여 통계적으로 유의한 예측성을 보이지 않았다.

강수의 낮은 예측성능은 기존에 발표된 연구에서 알려진 것처럼, 역학모델이 큰 규모를 가지는 동아시아 여름 몬순의 순환장을 어느 정도 예측할 수 있지만, 몬순 강수를 예측하는 데는 여전히 큰 한계를 가지고 있기 때문으로 사료된다(Jung et al., 2015). 이러한 역학 모형의 한계를 극복하기 위한 방법의 일환으로 통계적 기법을 활용하여 강수의 예측성능을 개선하는 방안(Barnett and Presisendorfer, 1987)이 제시되었다. 우리나라도 다중 선형회귀 모형을 변수로 채택하여 월 강수량을 예측하는 통계모형을 연구(Kang et al., 1992)하거나, 정준상관분석을 이용한 계절예측모형(Kwon and Lee, 2014)을 연구한 바 있다.

또한 장기예측시스템의 GloSea5는 기후장의 기간이 14년이기 때문에 30년 이상의 장기간 자료를 사용하였을 때 보다 안정성이 떨어진다(Lee and Kwon, 2015). 하지만 2016년 5월부터 20년(1991년~2010년)으로 장기간의 기후장 생산이 가능해짐에 따라, 장기예측시스템의 강수 예측 성능 개선을 기대할 수 있을 것이다.

4.3 해수면온도 예측성 검증

해수면온도는 기존의 많은 선행연구처럼 대표적인 경년 변동인 ENSO를 이용하여 살펴보았다. ESNO는 적도 부근의 해양과 대기의 상호작용에 의해 발생하는 기후 경년 변동성으로 적도태평양의 기후에 영향을 주어 열대영역의 대류를 변동시킨다(Horel and Wallace, 1981). 이러한 ENSO의 예측성은 Nino3.4 영역의 해수면 온도편차를 이용하여 간단하게 진단할 수 있으며, 본 연구에서도 이를 이용하여 검증하였다.

선행연구에 따르면 GloSea4의 ENSO 예측성은 6개월 이상으로 발표한바 있으며(Kang et al., 2011), 본 연구에서도 예측기간이 길어지더라도 0.11~0.33 사이의 RMSE 값을 보이고 상관계수도 0.7 이상으로 높게 나타났다. 특히 Nino 3.4 영역의 상관계수는 예측 7주까지 0.9 이상의 값을 보였고, 통계적으로 매우 유의미한 결과를 보였다. 예측영역별로 보면 Nino3.4가 Nino3과 Nino4의 예측성에 비해 높게 나타났다(Table 8).

verification score of Nino3.4 index for weekly ensemble prediction data.

Figure 9는 예측주별에 따른 Nino3.4 영역의 관측자료와 1개월 앙상블 예측결과를 비교한 것이다. 일자별로 변화하는 Nino3.4 영역의 해수면 온도편차를 모델이 잘 모사하는 것을 볼 수 있으며, 특히 감소하던 Nino3.4 영역의 해수면 온도편차가 2014년 8월 이후로 다시 증가하는 경향을 모델이 잘 모사하였다. 또한 1997/98 엘니뇨 이후 가장 강했던 2015/16 엘니뇨도 모델이 잘 모사하였다. Nino3.4 영역의 해수면 온도편차가 2014년 2월부터 양의 값을 보인 후 2015년 4월부터 +1oC 이상으로 강해졌는데, 이를 모델이 잘 모사하였다. 특히 해수면 온도편차 +2oC 이상인 엘니뇨 절정기(2015년 11~12월)를 모델이 예측 7주까지 잘 모사한 것으로 보인다.

Fig. 9.

Time series of Nino3.4 index each lead times from GloSea5 (red) and observation (black).

2015년 1월에는 예측주가 증가할수록 일부 구간에서 과소 모의하는 경향이 나타났다. 이는 해양과 대기의 초기값에서 오는 차이 때문으로 사료된다. 현재 기상청 장기예측시스템에 들어가는 초기입력자료는 모델에서 나오는 결과를 자료동화하여 재생산한 자료가 아니기 때문에, 초기값의 경향성과 모델의 경향성이 다른 사례가 발생한다. 이런 사례일 때 모델이 적분하는 과정에서 초반에 drift가 발생하게 되고, 그 후 모델경향성을 따라가는 경향을 보이는 것으로 사료된다. 또한 각 초기입력자료는 결합모델이 아닌 각 기관의 성분모델에서 생산한 분석장으로, 대기는 기상청, 해양은 영국기상청에서 생산한 자료를 사용하기때문에 이에 따른 초기입력자료와 모델간의 경향성 차이가 발생할 수 있다. 현재 기상청에서는 해양 분석장 생산을 목적으로 전지구 해양순환예측 시스템(NEMO/NEMOVAR)을 연구 중에 있다. 이에 따라 추후 해당 시스템을 기반으로 하여 장기예측시스템의 해양 초기장을 개발 할 수 있을 것으로 기대하고 있다(Jung et al., 2014).

ENSO와 같은 긴 시간 규모를 가지는 현상의 예측성을 분석하는 바에 있어서 대기-해양 결합모델은 매우 큰 의미를 가진다. 결합모델이 아닌 대기 혹은 해양모델을 단일모델로 사용하는 경우에는 상대편의 계를 경계조건으로 설정을 해주어야 하므로 대기-해양 결합과정에서 생성된 결과라기보다는 한쪽 계의 강제력에 의한 반응으로 해석될 수 있기 때문이다. 또한 해양의 관성이 대기에 비해 크기 때문에 장기 적분함에 있어 대기모델만을 이용하여 적분하는 것 보다 효율적으로 평형상태에 도달할 수 있다. 따라서 아직 부족한 점은 있지만, 장기예측모델을 개선하고 연구함에 있어 단일 모델을 사용하는 것보다는 결합모델을 사용하는 것이 보다 유의미한 결과를 도출할 수 있을 것으로 사료된다.


5. 결론 및 향후계획

본 연구는 기상청 장기예측모델의 현업운영에 관한 전반적인 설명을 하였고, 2014~2015년 동안 생산된 주별 앙상블 예측자료를 이용하여 예측 1주부터 7주까지의 예측성을 평가하였다. 이를 위하여 500 hPa 지위고도, 850 hPa 기온, 강수, 해수면온도를 살펴보았다. 이외에 변수들은 본 연구에서 다루지 않았는데, 이는 타 변수들도 비슷한 상관성과 예측성을 보였기 때문이다. 해당내용은 기상청에서 발간한 보고서 “고해상도 한 · 영 공동계절예측시스템(GloSea5) 현업 운영체계 및 2014년 검증(Won, 2015)”과 “현업 장기예측모델 운영 현황 및 2015년 예측 검증(Ham, 2016)”에 기술되어 있다.

500 hPa 지위고도와 850 hPa 기온은 1주 예측의 성능이 가장 좋게 나왔으며, 4주 이후부터는 일정범위의 오차를 보이고 상관성도 다소 약해졌다. 또한 여름철에 오차가 적은 계절분포를 보여 기존의 장기예측모델과 큰 차이가 없었다. 다만 기후장은 가중평균 앙상블을 수행하면서 예측일을 기준으로 최대 1주정도 차이가 나는 기후장을 사용하는 사례도 발생하기 때문에 1개월 이내의 예측성을 높이기 위해서는 각 자료에 가중치를 적용하는 방법을 개선할 필요는 있을 것으로 사료된다.

각 변수들은 4주 이후부터는 일정한 범위내의 오차를 가지는 것이 확인되었다. 이는 1~2주에 비해 예측성이 다소 떨어지더라도 일정한 범위의 오차를 가지기 때문에 모형 오차 수정(bias correction)을 통한 예측도 보다 정확해 질 것이라 생각된다. 때문에 모델결과를 이용하여 예측을 하는 예보관의 입장에서 매우 유의미한 결과라 할 수 있으며, 이와 관련된 예보관의 경험과 노하우가 많을수록 장기예보의 신뢰도가 높아 질 것이라 사료된다.

강수의 예측성은 타 변수에 비해 다소 낮게 나왔다. 1주 예측의 성능이 가장 좋게 나왔으나, 2주 예측부터는 큰 차이를 보이지 않았다. 상관계수도 1주 예측이 0.4 전후로 타 변수들에 비해 다소 낮게 나왔다.

ENSO 예측성을 대표하는 Nino3.4 영역의 해수면온도 예측성은 7주 예측까지 0.9 이상의 상관성을 보여기존의 연구처럼 높은 상관성을 보였고, Nino3과 Nino4 영역의 예측성도 0.8과 0.7 이상의 상관성을 보였다.

본 연구에서는 대기순환의 주요모드에 대한 분석이 이루어지지 않았다. 하지만 현업 운영중인 장기예측시스템의 진단은 장기예측에 대한 신뢰도를 담보하고 그 성능개선에 대한 방향성을 제시한다는 점과 장기예측이 가진 가능성과 한계점을 제시했기에 의미가 있는 연구라 생각한다. 이에 추후 현업 장기예측자료를 활용하여 대기순환의 주요모드에 대해 분석하는 것이 필요하며, 개선된 모델인 GloSea5GC2와의 차이를 분석하는 연구도 요구된다. 그리고 더 나아가 이러한 연구를 활용하여 기상청 현업 장기예측시스템의 정확도 향상에 기여해야 할 것이다.

Acknowledgments

본 논문의 개선을 위해 좋은 의견을 제시해 주신 두 분의 심사위원께 감사를 드립니다. 이 연구는 국립기상과학원 주요사업 ‘기상업지원기술개발연구(NIMS-2016-3100)’의 일환으로 수행되었습니다.

References

  • Adler, R. F., and Coauthors , (2003), The version-2 global precipitation climatology project (GPCP) monthly precipitation analysis (1979-Present), J. Hydrometeor, 4, p1147-1167. [https://doi.org/10.1175/1525-7541(2003)004<1147:tvgpcp>2.0.co;2]
  • Ahn, J.-B., H.-S. Park, H.-S. Lee, W.-S. Lee, and J.-W. Kim, (1997), A study of climate drift in atmosphere and ocean GCMs, J. Korean Meteor. Soc, 33, p509-520.
  • Arribas, A., and Coauthors , (2011), The GloSea4 ensemble prediction system for seasonal forecasting, Mon. Wea. Rev, 139, p1891-1910. [https://doi.org/10.1175/2010MWR3615.1]
  • Barnett, T. P., and R. Preisendorfer, (1987), Origins and levels of monthly and seasonal forecast skill for United States surface air temperatures determined by canonical correlation analysis, Mon. Wea. Rev, 115, p1825-1850. [https://doi.org/10.1175/1520-0493(1987)115<1825:oaloma>2.0.co;2]
  • Best, M. J., and Coauthors , (2011), The Joint UK Land Environment Simulator (JULES), model description - Part 1: Energy and water fluxes, Geosci. Model Dev, 4, p677-699. [https://doi.org/10.5194/gmd-4-677-2011]
  • Bowler, N. E., A. Arribas, S. E. Beare, K. R. Mylne, and G. J. Shutts, (2009), The local ETKF and SKEB: Upgrades to the MOGREPS short-range ensemble prediction system, Quart. J. Roy. Meteor. Soc, 135, p767-776. [https://doi.org/10.1002/qj.394]
  • Choi, J., S.-W. Son, Y.-G. Ham, J.-Y. Lee, and H.-M. Kim, (2016), Seasonal to interannual prediction skills of near-surface air temperature in the CMIP5 decadal hindcast experiments, J. Climate, 29, p1511-1527. [https://doi.org/10.1175/jcli-d-15-0182.1]
  • Davies, T., M. J. P. Cullen, A. J. Malcolm, M. H. Mawson, A. Staniforth, A. A. White, and N. Wood, (2005), A new dynamical core for the Met Office’ global and regional modelling of the atmosphere, Quart. J. Roy. Meteor. Soc, 131, p1759-1782. [https://doi.org/10.1256/qj.04.101]
  • Dee, D. P., and Coauthors , (2011), The ERA-interim reanalys: Configuration and performance of the data assimilation system, Quart. J. Roy. Meteor. Soc, 137, p553-597.
  • Goddard, L., and Coauthors , (2013), A verification framework for interannual-to-decadal predictions experiments, Climate Dyn, 40, p245-272. [https://doi.org/10.1007/s00382-012-1481-2]
  • Gupta, A. S., L. C. Muir, J. N. Brown, S. J. Phipps, P. J. Durack, D. Monselesan, and S. E. Wijffels, (2012), Climate drift in the CMIP3 models, J. Climate, 25, p4621-4640. [https://doi.org/10.1175/JCLI-D-11-00312.1]
  • Ham, H. J., Y.-S. Lee, D. J. Won, and D.-K. Rha, (2016), Current operation Status of seasonal forecast model and forecast verification in 2015, NIMR Numerical model development division Technical report, p133.
  • Horel, J. D., and J. M. Wallace, (1981), Planetary-scale atmospheric phenomena associated with the Southern Oscillation, Mon. Wea. Rev, 109, p813-829. [https://doi.org/10.1175/1520-0493(1981)109<0813:psapaw>2.0.co;2]
  • Huffman, G. J., R. F. Adler, M. M. Morrissey, D. T. Bolvin, S. Curtis, R. Joyce, B. McGavock, and J. Susskind, (2001), Global precipitation at one-degree daily resolution from multisatellite observations, J. Hydrometeor, 2, p36-50. [https://doi.org/10.1175/1525-7541(2001)002<0036:gpaodd>2.0.co;2]
  • Hunke, E. C., and W. H. Lipscomb, (2010), CICE: The Los Alamos Sea Ice Model Documentation and Software User’ Manual, Version 4.1, Los Alamos National Laboratory Technical Report, LA-CC-06-012, p76.
  • Jung, M.-I., S.-W. Son, J. Choi, and H.-S. Kang, (2015), Assessment of 6-month lead prediction skill of the GloSea5 hindcast experiment, Atmosphere, 25, p323-337, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2015.25.2.323]
  • Jung, M.-I., S.-W. Son, Y. Lim, K. H. Song, D. J. Won, and H.-S. Kang, (2016), Assessment of stratospheric prediction skill of the GloSea5 hindcast experiment, Atmosphere, 26, p203-214, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2016.26.1.203]
  • Jung, Y. Y., I. J. Moon, and P. H. Jang, (2014), Comparison and verification of short-term ocean prediction result of ocean circulation model (NEMO/NEMOVAR) and sea circulation-atmosphere coupling model (GloSea5), Proc. of the autumn Meeting of KMS, 2014, Jeju, p633-634.
  • Kang, H.-S., K.-O. Boo, and C. H. Cho, (2011), Introduction to KMA-Met office joint seasonal forecasting system and evaluation of its hindcast ensemble simulations, Proc. of 36th NOAA Annual Climate Diagnostics and Prediction Workshop, NOAA, p78-82.
  • Kang, I.-S., C.-H. Ho, and K.-D. Min, (1992), Long-range forecast of summer precipitation in Korea, J. Korean Meteor. Soc, 28, p283-292, (in Korean with English abstract).
  • Kwon, M.-H., and K.-J. Lee, (2014), A prediction of Northeast Asian summer precipitation using the NCEP Climate Forecast System and canonical correlation analysis, J. Korean Earth Sci. Soc, 35, p88-94, (in Korean with English abstract). [https://doi.org/10.5467/JKESS.2014.35.1.88]
  • Lee, K.-J., and M.-H. Kwon, (2015), A Prediction of Northeast Asian summer precipitation using teleconnection, Atmosphere, 25, p179-183, (in Korean with English abstract). [https://doi.org/10.14191/Atmos.2015.25.1.179]
  • Lee, S.-H., and K.-M. Lee, (2008), The distribution of natural disaster in mountainous region of Gangwon-do, J. Korean Geogr. Soc, 43, p843-857, (in Korean with English abstract).
  • Lee, S.-M., H.-S. Kang, Y.-H. Kim, Y.-B. Byun, and C. H. Cho, (2016), Verification and comparison of forecast skill between global seasonal forecast system version 5 and unified model during 2014, Atmosphere, 26, p59-72. [https://doi.org/10.14191/Atmos]
  • MacLachlan, C., and Coauthors , (2014), Global seasonal forecast system version 5 (Glosea5): A high-resolution seasonal forecast system, Quart. J. Roy. Meteor. Soc, 141, p1072-1084.
  • Madec, G., (2008), NEMO ocean engine: Note du Pole de modelisation, Institut Pierre-Simon Laplace, 27, p1288-1619.
  • Mogensen, K., M. A. Balmaseda, and A. Weaver, (2012), The NEMOVAR ocean data assimilation system as implemented in the ECMWF ocean analysis for System 4, ECMWF Technical Memorandum, No. 668, p59.
  • Rawlins, F., S. P. Ballard, K. J. Bovis, A. M. Clayton, D. Li, G. W. Inverarity, A. C. Lorenc, and T. J. Payne, (2007), The Met Office global four-dimensional variational data assimilation scheme, Quart. J. Roy. Meteor. Soc, 133, p347-362. [https://doi.org/10.1002/qj.32]
  • Reynolds, R. W., N. A. Rayner, T. M. Smith, D. C. Stokes, and W. Wang, (2002), An improved in situ and satellite SST analysis for climate, J. Climate, 15, p1609-1625. [https://doi.org/10.1175/1520-0442(2002)015<1609:aiisas>2.0.co;2]
  • Ryu, Y., J.-Y. Shin, W. Nam, and J.-H. Heo, (2012), Forecast of the daily inflow with artificial neural network using wavelet transform at Chungju Dam, J. Korea Water Resour. Assoc, 45, p1321-1330, (in Korean with English abstract). [https://doi.org/10.3741/JKWRA.2012.45.12.1321]
  • Scaife, A. A., and Coauthors , (2014), Predictability of the quasi-biennial oscillation and its northern winter teleconnection on seasonal to decadal timescales, Geophys. Res. Lett, 41, p1752-1758. [https://doi.org/10.1002/2013GL059160]
  • Tennant, W. J., G. J. Shutts, A. Arribas, and S. A. Thompson, (2011), Using a stochastic kinetic energy backscatter scheme to improve MOGREPS probabilistic forecast skill, Mon. Wea. Rev, 139, p1190-1206. [https://doi.org/10.1175/2010MWR3430.1]
  • Valcke, S., (2013), The OASIS3 coupler: A European climate modelling community software. Geosci, Model Dev, 6, p373-388. [https://doi.org/10.5194/gmd-6-373-2013]
  • Waters, J., D. J. Lea, M. J. Martin, I. Mirouze, A. Weaver, and J. While, (2014), Implementing a variational data assimilation system in an operational 1/4 degree global ocean model. Quart, J. Roy. Meteor. Soc, 141, p333-349. [https://doi.org/10.1002/qj.2388]
  • Williams, K. D., and Coauthors , (2015), The met office global coupled model 2.0 (GC2) configuration, Geosci. Model Dev, 8, p1509-1524. [https://doi.org/10.5194/gmd-8-1509-2015]
  • Won, D. J., Y.-S. Lee, Y. H. Kang, H. J. Ham, and D. J. Kim, (2015), Current operation system of high resolution global seasonal forecast system version 5 and verification in 2014, NIMR Numerical model development division Technical report, p88.

Fig. 1.

Fig. 1.
Weighted output schematic of hindcast.

Fig. 2.

Fig. 2.
Mean field of RMSE for 1week lead time of weekly ensemble prediction data average in 2014 and 2015 (top: h500, bottom: t850).

Fig. 3.

Fig. 3.
Time series of RMSE for 500 hPa geopotential height from 1 week lead time to 4 week lead time (top: Forecast, bottom: Hindcast).

Fig. 4.

Fig. 4.
Same as Fig. 3 but for 850 hPa temperature.

Fig. 5.

Fig. 5.
Same as Fig. 3 but for MSSS of 500 hPa geopotential height.

Fig. 6.

Fig. 6.
Same as Fig. 3 but for MSSS of 850 hPa temperature.

Fig. 7.

Fig. 7.
Same as Fig. 3 but for precipitation.

Fig. 8.

Fig. 8.
Same as Fig. 3 but for MSSS of precipitation.

Fig. 9.

Fig. 9.
Time series of Nino3.4 index each lead times from GloSea5 (red) and observation (black).

Table 1.

Information of GloSea5.

Information
Model
Configuration
Atmosphere UM8.0: Global Atmosphere 3.0
Ocean NEMO3.2: Global Ocean 3.0
Ice CICE4.1: Global CICE 3.0
Land JULES3.0: Global Land 3.0
Coupler OASIS3
Resolution Atmosphere N216L85, 0.83o × 0.56o, 85 layers
Top: ~85 km
Ocean ORCA tri-polar grid at 0.25o, 75 layers
Initial
Field
Forecast Atmosphere: KMA Initial Field (N512)
Ocean: NEMO VAR(UKMO)
Hindcast Atmosphere: ECMWF ERA-Interim
Ocean: Seasonal ODA reanalysis (UKMO)
Running date/
Ensemble member
Forecast 63 days/2 member
235 days/2 member
Hindcast 245 days
1996~2009 (14 years), 3 member/year

Table 2.

Ensemble member information of GloSea5 operated weekly.

Monday Tuesday Wednesday Thursday Friday Saturday Sunday
FCST
member
00 00 00 00 00 00 00
01 01 01 01 01 01 01
10 10 10 10 10 10 10
11 11 11 11 11 11 11
HCST
Year
(member)
1996(00) 2002(00) 2008(00) 2000(01) 2006(01) 1998(02) 2004(02)
1997(00) 2003(00) 2009(00) 2001(01) 2007(01) 1999(02) 2005(02)
1998(00) 2004(00) 1996(01) 2002(01) 2008(01) 2000(02) 2006(02)
1999(00) 2005(00) 1997(01) 2003(01) 2009(01) 2001(02) 2007(02)
2000(00) 2006(00) 1998(01) 2004(01) 1996(02) 2002(02) 2008(02)
2001(00) 2007(00) 1999(01) 2005(01) 1997(02) 2003(02) 2009(02)
Total members 10 Mem. 10 Mem. 10 Mem. 10 Mem. 10 Mem. 10 Mem. 10 Mem.

Table 3.

Initial dates used for a current operation on 2014/07/15 and date distance for weighted average ensemble of hindcast.

Field Initial date
FCST 20140708 20140709 20140710 20140711 20140712 20140713 20140714
HCST
(Distance)
0701(7) 0709(0.5) 0709(1) 0709(2) 0709(3) 0709(4) 0709(5)
0709(1) 0717(8) 0717(7) 0717(6) 0717(5) 0717(3) 0717(3)

Table 4.

Variable information of observation data used in this study.

Observation data Variable
KMA Analysis: FCST h500, t850
ERA-Interim: HCST h500, t850
GPCP: FCST, HCST prcp
OISST: FCST, HCST sst

Table 5.

A verification score of 500 hPa geopotential height for weekly ensemble prediction data of forecast and hindcast. Areas are Northern hemisphere (NH) and East asia (EA). The figure in parentheses represents the error range of 95% of the confidence level.

Verification Lead time +1 week +2 week +3 week +4 week +5 week +6 week +7 week
Area
FCST RMSE
(gpm)
NH 22.30
(± 0.70)
43.19
(± 1.71)
50.37
(± 2.33)
52.85
(± 2.54)
53.49
(± 2.46)
53.91
(± 2.41)
53.82
(± 2.23)
EA 13.75
(± 0.72)
26.02
(± 1.66)
31.86
(± 2.26)
34.11
(± 2.40)
35.72
(± 2.47)
36.74
(± 2.30)
36.94
(± 2.28)
Corr. NH 0.71
(± 0.01)
0.40
(± 0.02)
0.24
(± 0.03)
0.20
(± 0.02)
0.17
(± 0.03)
0.16
(± 0.03)
0.17
(± 0.03)
EA 0.71
(± 0.03)
0.46
(± 0.05)
0.29
(± 0.06)
0.26
(± 0.07)
0.24
(± 0.07)
0.23
(± 0.07)
0.22
(± 0.07)
MSSS NH 0.66
(± 0.03)
0.06
(± 0.05)
-0.24
(± 0.07)
-0.38
(± 0.07)
-0.46
(± 0.08)
-0.52
(± 0.09)
-0.56
(± 0.10)
EA 0.66
(± 0.04)
0.04
(± 0.10)
-0.36
(± 0.14)
-0.64
(± 0.17)
-0.86
(± 0.21)
-1.04
(± 0.26)
-1.11
(± 0.27)
HCST RMSE
(gpm)
NH 36.68
(± 1.35)
54.01
(± 2.10)
64.44
(± 2.57)
67.89
(± 2.76)
69.19
(± 2.82)
69.62
(± 2.81)
69.99
(± 2.76)
EA 23.68
(± 1.10)
33.57
(± 1.63)
40.50
(± 1.99)
43.92
(± 2.04)
45.27
(± 2.01)
45.79
(± 1.90)
46.44
(± 1.89)
Corr. NH 0.82
(± 0.01)
0.54
(± 0.01)
0.26
(± 0.01)
0.14
(± 0.01)
0.10
(± 0.01)
0.10
(± 0.01)
0.09
(± 0.01)
EA 0.85
(± 0.01)
0.62
(± 0.02)
0.35
(± 0.02)
0.19
(± 0.03)
0.13
(± 0.03)
0.12
(± 0.03)
0.11
(± 0.02)
MSSS NH 0.47
(± 0.03)
0.07
(± 0.03)
-0.24
(± 0.03)
-0.38
(± 0.03)
-0.46
(± 0.03)
-0.52
(± 0.04)
-0.57
(± 0.05)
EA 0.36
(± 0.03)
-0.08
(± 0.05)
-0.47
(± 0.06)
-0.72
(± 0.08)
-0.88
(± 0.10)
-1.00
(± 0.12)
-1.12
(± 0.14)

Table 6.

Same as Table 5 but for 850 hPa temperature.

Verification Lead time +1 week +2 week +3 week +4 week +5 week +6 week +7 week
Area
FCST RMSE
(gpm)
NH 1.24
(± 0.03)
2.02
(± 0.06)
2.30
(± 0.08)
2.41
(± 0.09)
2.46
(± 0.09)
2.47
(± 0.08)
2.48
(± 0.08)
EA 1.01
(± 0.06)
1.66
(± 0.11)
2.00
(± 0.15)
2.10
(± 0.17)
2.16
(± 0.17)
2.15
(± 0.17)
2.19
(± 0.18)
Corr. NH 0.68
(± 0.01)
0.38
(± 0.02)
0.24
(± 0.02)
0.19
(± 0.02)
0.16
(± 0.02)
0.15
(± 0.02)
0.16
(± 0.02)
EA 0.70
(± 0.03)
0.41
(± 0.05)
0.23
(± 0.06)
0.20
(± 0.06)
0.12
(± 0.06)
0.14
(± 0.06)
0.13
(± 0.06)
MSSS NH 0.45
(± 0.04)
-0.21
(± 0.07)
-0.52
(± 0.10)
-0.65
(± 0.10)
-0.72
(± 0.12)
-0.74
(± 0.12)
-0.75
(± 0.12)
EA 0.45
(± 0.06)
-0.19
(± 0.12)
-0.57
(± 0.14)
-0.73
(± 0.16)
-0.85
(± 0.18)
-0.90
(± 0.20)
-0.93
(± 0.19)
HCST RMSE
(gpm)
NH 1.88
(± 0.04)
2.59
(± 0.06)
3.03
(± 0.08)
3.17
(± 0.08)
3.21
(± 0.09)
3.24
(± 0.09)
3.25
(± 0.09)
EA 1.53
(± 0.17)
2.13
(± 0.11)
2.57
(± 0.14)
2.74
(± 0.16)
2.79
(± 0.17)
2.80
(± 0.17)
2.81
(± 0.17)
Corr. NH 0.79
(± 0.01)
0.51
(± 0.01)
0.24
(± 0.01)
0.13
(± 0.01)
0.10
(± 0.01)
0.09
(± 0.01)
0.09
(± 0.01)
EA 0.81
(± 0.01)
0.59
(± 0.02)
0.32
(± 0.02)
0.17
(± 0.02)
0.12
(± 0.02)
0.11
(± 0.02)
0.09
(± 0.02)
MSSS NH 0.20
(± 0.05)
-0.25
(± 0.06)
-0.59
(± 0.06)
-0.71
(± 0.07)
-0.76
(± 0.07)
-0.78
(± 0.07)
-0.80
(± 0.07)
EA 0.00
(± 0.10)
-0.46
(± 0.11)
-0.86
(± 0.10)
-1.03
(± 0.09)
-1.07
(± 0.09)
-1.06
(± 0.09)
-1.05
(± 0.08)

Table 7.

Same as Table 5 but for precipitation.

Verification Lead time +1 week +2 week +3 week +4 week +5 week +6 week +7 week
Area
FCST RMSE
(gpm)
NH 1.26
(± 0.04)
1.46
(± 0.05)
1.53
(± 0.05)
1.56
(± 0.05)
1.57
(± 0.05)
1.57
(± 0.05)
1.57
(± 0.06)
EA 1.94
(± 0.20)
2.26
(± 0.24)
2.34
(± 0.25)
2.47
(± 0.27)
2.51
(± 0.28)
2.54
(± 0.29)
2.54
(± 0.29)
Corr. NH 0.39
(± 0.01)
0.19
(± 0.02)
0.08
(± 0.02)
0.05
(± 0.01)
0.03
(± 0.01)
0.03
(± 0.01)
0.01
(± 0.01)
EA 0.40
(± 0.03)
0.20
(± 0.04)
0.09
(± 0.04)
0.05
(± 0.03)
0.04
(± 0.03)
0.02
(± 0.04)
0.04
(± 0.03)
MSSS NH -0.83
(± 0.08)
-1.12
(± 0.09)
-1.19
(± 0.10)
-1.23
(± 0.10)
-1.25
(± 0.10)
-1.21
(± 0.10)
-1.24
(± 0.10)
EA -0.74
(± 0.20)
-1.07
(± 0.23)
-1.15
(± 0.22)
-1.15
(± 0.21)
-1.15
(± 0.23)
-1.07
(± 0.20)
-1.15
(± 0.22)
HCST RMSE
(gpm)
NH 1.79
(± 0.05)
1.95
(± 0.05)
2.08
(± 0.05)
2.08
(± 0.06)
2.09
(± 0.06)
2.09
(± 0.06)
2.10
(± 0.23)
EA 2.75
(± 0.24)
2.97
(± 0.27)
3.14
(± 0.29)
3.25
(± 0.31)
3.30
(± 0.33)
3.33
(± 0.33)
3.36
(± 0.33)
Corr. NH 0.39
(± 0.01)
0.20
(± 0.01)
0.08
(± 0.01)
0.04
(± 0.01)
0.03
(± 0.01)
0.03
(± 0.01)
0.02
(± 0.00)
EA 0.39
(± 0.02)
0.22
(± 0.02)
0.10
(± 0.02)
0.06
(± .020
0.04
(± 0.020
0.04
(± 0.01)
0.02
(± 0.01)
MSSS NH -1.00
(± 0.09)
-1.15
(± 0.09)
-1.26
(± 0.09)
-1.27
(± 0.09)
-1.26
(± 0.10)
-1.26
(± 0.09)
-1.25
(± 0.09)
EA -0.91
(± 0.17)
-0.95
(± 0.16)
-1.03
(± 0.16)
-1.03
(± 0.15)
-1.06
(± 0.17)
-0.99
(± 0.14)
-1.02
(± 0.14)

Table 8.

verification score of Nino3.4 index for weekly ensemble prediction data.

Verification Lead time +1 week +2 week +3 week +4 week +5 week +6 week +7 week
Area
RMSE Nino3.4 0.11 0.11 0.12 0.14 0.16 0.18 0.21
Nino3 0.15 0.19 0.22 0.26 0.29 0.31 0.33
Nino4 0.11 0.14 0.18 0.22 0.25 0.28 0.31
Corr. Nino3.4 0.98 0.98 0.98 0.97 0.97 0.96 0.94
Nino3 0.93 0.92 0.90 0.88 0.85 0.85 0.84
Nino4 0.96 0.95 0.91 0.86 0.81 0.76 0.72