The Korean Meteorological Society 1

Atmosphere - Vol. 30 , No. 2

[ Article ]
Atmosphere - Vol. 30, No. 2, pp.103-113
Abbreviation: Atmos
ISSN: 1598-3560 (Print) 2288-3266 (Online)
Print publication date 30 Jun 2020
Received 30 Dec 2019 Revised 08 Apr 2020 Accepted 10 May 2020
DOI: https://doi.org/10.14191/Atmos.2020.30.2.103

앙상블 기반 관측 자료에 따른 예측 민감도 모니터링 시스템 구축 및 평가
이영수1), * ; 신설은1), 2) ; 김정한1)
1)(재) 한국형예보모델개발사업단
2)국가농림기상센터

A Monitoring System of Ensemble Forecast Sensitivity to Observation Based on the LETKF Framework Implemented to a Global NWP Model
Youngsu Lee1), * ; Seoleun Shin1), 2) ; Junghan Kim1)
1)Korea Institute of Atmospheric Prediction Systems, Seoul, Korea
2)National Center for Agro-Meteorology, Seoul, Korea
Correspondence to : * Youngsu Lee, Korea Institute of Atmospheric Prediction Systems, 4F, Park Square, 35 Boramae-ro 5-gil, Dongjak-gu, Seoul 07071, Korea. Phone: +82-2-6959-1658, Fax: +82-2-6919-2121 E-mail: yslee1985@gmail.com

Funding Information ▼

Abstract

In this study, we analyzed and developed the monitoring system in order to confirm the effect of observations on forecast sensitivity on ensemble-based data assimilation. For this purpose, we developed the Ensemble Forecast Sensitivity to observation (EFSO) monitoring system based on Local Ensemble Transform Kalman Filter (LETKF) system coupled with Korean Integrated Model (KIM). We calculated 24 h error variance of each of observations and then classified as beneficial or detrimental effects. In details, the relative rankings were according to their magnitude and analyzed the forecast sensitivity by region for north, south hemisphere and tropics. We performed cycle experiment in order to confirm the EFSO result whether reliable or not. According to the evaluation of the EFSO monitoring, GPSRO was classified as detrimental observation during the specified period and reanalyzed by data-denial experiment. Data-denial experiment means that we detect detrimental observation using the EFSO and then repeat the analysis and forecast without using the detrimental observations. The accuracy of forecast in the denial of detrimental GPSRO observation is better than that in the default experiment using all of the GPSRO observation. It means that forecast skill score can be improved by not assimilating observation classified as detrimental one by the EFSO monitoring system.


Keywords: Korean Integrated Model (KIM), Local Ensemble Transform Kalman Filter (LETKF), Ensemble Forecast Sensitivity to Observation (EFSO), ensemble data assimilation

1. 서 론

최근 들어 자료동화 기술의 발달과 기상 측기의 발전으로 인해 사용할 수 있는 관측 종 및 자료의 양이 급속도로 증가하고 있는 추세이다. 이러한 방대한 관측 자료들은 수치예보시스템의 자료동화 과정에서 관측 오차 및 예측 오차 공분산에 따라 최적의 분석장 생성에 활용되고 생성된 분석장은 대기 상태 예측의 초기 입력장으로 사용된다. 수치예보시스템에서 초기 입력장의 중요성은 시간이 갈수록 증가하고 있는 추세이고 보다 정확한 초기 입력장은 수치예보시스템의 성능 향상에 중요한 역할을 한다(Sienkiewicz, 1990; Schulze, 2007). 관측 자료의 품질 제어는 수치예보시스템의 정확도 유지와 성능의 갑작스러운 저하를 방지하기 위해 필수적인 과정이며, 관측 자료들이 수치예보 성능에 긍정적 혹은 부정적 영향을 주는지 판별하는 것이 중요하다. 개별 관측 자료의 사용 여부에 따른 예측 오차의 증감 여부 및 정량적 평가를 하여 관측 자료 별 예측 민감도를 파악하는 것이 예측 성능 향상을 위해 선행되어야 한다. 수치예보모델의 정확성 제고를 위해 개별 관측 자료가 실제 예측 오차에 미치는 영향을 정량적으로 평가하고 실시간으로 진단할 수 있는 모니터링 도구를 개발하는 것이 매우 중요하다.

관측 자료들이 수치예보 성능에 미치는 영향을 평가하는 방법으로 전통적으로 Observation System Experiments (OSEs)가 널리 사용되고 있다. OSEs는 자료동화 과정에서 평가를 원하는 관측 종들을 더하거나 제거함으로써 특정 관측 종의 영향을 판단할 수 있는 방법이다(Kelly et al., 2007). 하지만 이 방법은 관측 종 구성을 다르게 할 때마다 실험을 반복적으로 수행해야 하기 때문에 계산비용과 시간이 많이 소요되는 단점이 있다. OSEs 방법의 한계를 극복하기 위하여 수반모델을 이용해서 예보에 미치는 관측의 영향을 정량적으로 평가하는 Forecast Sensitivity to Observation (FSO) 방법이 제안되었다(Langland and Baker, 2004). 이 방법은 OSEs에 비해 한번의 모델 수행으로 자료동화에 사용된 모든 관측 종들의 영향 평가를 할 수 있고 많은 현업 기관들이 복잡한 자료동화 시스템의 더 나은 분석을 위해 FSO 방법을 채택해서 사용하고 있다(Zhu and Gelaro, 2008; Cardinali, 2009; Gelaro et al., 2010; Ota et al., 2013; Lorenc and Marriott, 2014; Sommer and Weissmann, 2014). Kalnay et al. (2012)은 FSO 방법에서 사용되는 수반 모델을 앙상블 예보 결과로 대체하여 사용하도록 변경하여 수반모델 없이 관측 영향을 평가할 수 있는 시스템인 Ensemble Forecast Sensitivity to Observation (EFSO)를 제안하였고 이 연구에서도 EFSO 방법을 한국형수치예보모델개발사업단(Korea Institute of Atmospheric Prediction System, KIAPS; 이하 사업단)에서 개발중인 한국형수치예보모델(Korean Integrated Model; 이하 KIM)에 적용하여 관측 자료의 예측 민감도 평가를 수행하였다.

EFSO 계산에 사용되는 수치 모델에 대한 내용은 2장에 자세히 소개하였으며, 3장에서는 EFSO 시스템이 정상적으로 구축되고 타당한 결과를 산출 하는 지 여부를 판단하기 위하여 수치예보 성능에 가장 부정적 영향을 준다고 계산된 GPSRO 관측 종을 제거하여 그에 따라 예보 성능이 향상되는지를 확인하였고 결론 및 요약은 4장에서 제시하였다.


2. 수치 모델 및 실험설계
2.1 KIM (Korean Integrated Model)

EFSO 모니터링 시스템 개발의 궁극적인 목적은 예보 모델 KIM의 예측 성능을 향상시키는 것이다. 현재 개발중인 KIM은 비정역학 전구 수치예보 모델로 분광 요소법과 육면체구 비정규격자에 기반하고 있다. 수평 이산화는 유한 요소법(Finite Element Method), 연직 격자는 hybrid sigma-pressure 좌표계를 사용하고 연직 이산화는 유한 차분법(Finite Difference Method)을 사용하며 시간 이산화는 time-split third-order Runge-Kutta (RK3) 방법을 사용한다(Hong et al., 2018). 이 연구에서 사용한 모델 해상도는 수평으로 약 50 km, 연직으로 91층으로 설정되어 있다. KIM에서 사용하는 물리과정에 대한 자세한 설명은 Hong et al. (2018)에 자세히 기록되어 있다.

2.2 KPOP (KIAPS Package of Observation Preprocessing)

자료동화를 통해서 최적의 분석 해를 얻어 초기장으로 사용하는 경우 관측 자료에 대한 적절한 품질관리와 편향 오차 제거가 중요하다. 이 연구를 위해 사용한 관측 종은 존데, 지면 기압, 항공기, Global Positioning System - Radio Occultation (GPSRO), Infrared Atmospheric Sounding Interferometer (IASI), Advanced Microwave Sounding Unit-A (AMSU-A), Cross-track Infrared Sounder (CrIS), Microwave Humidity Sounder (MHS), Advanced Technology Microwave Sounder (ATMS), Atmospheric Motion Vectors (AMV), Clear Sky Radiance (CSR) 등이다. 관측자료는 기상청으로부터 Binary Universal Form for the Representation of Meteorological data (BUFR) 포맷으로 자료를 수집하였다. 위성 복사 자료를 동화하기 위해 관측연산자인 Radiative Transfer for the Television Infrared Observation Vertical Sounder (RTTOV) 모델 버전 10.2를 사용하여 온도와 수분량 정보를 변환하였다. 그리고 적응 편향 오차 제거(Bias Correction) 기법(Harris and Kelly, 2001)을 적용하여 대기 질량 편향(air-mass bias)을 제거하였다.

위성 복사 자료의 솎아내기는 관측 특성이나 공간상관 오차를 기준으로 관측 종에 따라 개별적으로 이루어진다. 현재 수분량 정보를 제공하는 MHS 위성 자료는 온도 정보를 제공하는 AMSU-A 자료보다 더 높은 해상도로 솎아내기를 진행했을 때 정확도가 더 높은 것으로 나타나 위성 관측 종 별로 솎아내기를 다르게 적용하였다. 한편, 적외위성 자료인 IASI의 경우 지표면에 가까운 채널의 경우 오차가 높으므로 가중치 함수의 극대 값의 위치가 50~700 hPa에 해당하는 중층 이상 채널만을 선택하여 사용하였다. 그리고 CrIs의 경우 50~200 hPa에 해당하는 채널을 사용하였다. CSR 자료는 정지궤도 위성에서 수증기 영역에 해당하는 채널의 관측 자료를 제공받는데 Communication, Ocean, and Meteorological Satellite (COMS) 위성 자료만을 사용하였다. AMV의 경우 다양한 위성 관측 기기로부터 산출된 자료를 통해 얻는 정도로 정지 궤도 위성은 위도 60도까지, 극궤도 위성은 70도 이상의 자료를 얻고 있다. 연직으로는 100 hPa 고도까지 바람장 정보가 제공되고 있고 관측 오차의 경우 기준 높이에 따라 다르게 적용하여 활용하고 있다.

2.3 LETKF (Local Ensemble Transform Kalman Filter)

앙상블 자료동화 기법은 KIM에 결합된 LETKF 시스템(Shin et al., 2016, 2018)을 사용하였다. 이 시스템은 관측과 배경장의 차이를 1시간 간격으로 조밀하게 계산하여 정확도를 향상시키는 4차원 LETKF 알고리즘을 기초로 구축되었다. 분석 변수는 동서 바람(u), 남북 바람(v), 온도(T), 비습(q), 지면기압(ps)으로 모델 예단 변수와 분석 변수 간의 변환 과정이 포함되어 있다. 배경장 값을 관측 위치에서 추정하거나 관측 변수로 변환하여 비교하기 위해 KPOP에 포함된 관측 연산자를 이용하였다. 공간 국지화는 관측 공간에서의 국지화(Observation-space covariance localization)를 사용하였다(Miyoshi et al., 2007). 위성 복사 자료는 복사량의 투과 경도를 나타내는 가중치 함수를 연직 국지화 함수로 사용하였다. 앙상블 섭동 팽창 기법(ensemble perturbation inflation method)은 적응 곱셈 팽창 계수 기법(adaptive multiplicative inflation factor method)과 덧셈 팽창 계수 기법(additive inflation factor method)을 사용하여 시간에 따라 오차가 지속적으로 증가하여 참값에서 멀어지는(Filter divergence) 현상을 방지하고 안정적인 예보-분석 순환과정이 구동되도록 배경오차공분산 추정을 보완하였다. LETKF 프레임워크는 파이썬 언어 기반인 Cylc (https://cylc.github.io/cylc/) 소프트웨어를 사용하여 작업 스케줄을 제어하였다.

2.4 EFSO (Ensemble Forecast Sensitivity to Observation)

이 연구에서 구축한 EFSO 모니터링 시스템은 Kalnay et al. (2012)에서 제안된 알고리즘을 따르고 있다. Langland and Baker (2004)식(1)과 같이 FSO를 정의하였다.

etf-g12etf-etgTCetf+etg(1) 
etfxtf-xttruth,etgxtg-xttruth,C:energynorm(2) 

예측 오차는 동일한 목표 시점(valid time)으로 분석장과 배경장에서 각각 수치 적분한 결과와 참값의 차이로 정의되는데 FSO는 이 예측 오차 들 간의 차이를 통해서 추정된다. 다시 정리하면, etf는 분석장으로부터 시작한 예측 결과의 오차이고, etg는 배경장으로부터 시작한 예측 결과의 오차이다. 즉, etf는 관측 자료를 사용하여 분석 증분(analysis increment)이 배경장에 더해진 초기 조건으로 시작한 예측 오차이다, 따라서 식(1)의 결과가 음의 값을 가질 때, 자료동화가 예보의 정확도를 높이는 방향, 즉 예보 오차를 감소시키는 긍정적인 영향을 주는 것으로 판단할 수 있다. 식(1)을 이용하여 Kalnay et al. (2012)은 미분 연산이 포함되는 최소화 과정을 계산하는 대신에 앙상블 예측 및 Kalman gain matrix와 관측 증분(innovation)의 곱으로 이루어지는 분석 증분 등을 사용하여 각 분석 지점 j에서 생산되는 예측 정확도에 미치는 관측 자료 l의 영향을 추정할 수 있는 식(3)을 유도하였다.

etf-gj,l=12K-1δy0lρjR-1HX0aXtfTjCjjetf+etgjl(3) 

여기서, K는 앙상블 개수, δy0는 관측 값과 관측 공간에서 추정된 앙상블 평균값과의 차이(O-B), ρ는 지역화 함수(localization function), R-1은 관측 오차 공분산, X0a는 관측 공간에서의 분석장 퍼짐(spread), XtfT는 예보장 퍼짐이고 Cjj는 습윤 정적 에너지 놈(Moist static energy norm)을 기본적으로 사용하는데 수분량이 들어가는 항을 제외한 건조 정적 에너지 놈(dry static energy norm)에 해당하는 EFSO 추정도 정량적으로 구분하여 추가 분석하였다.

식(3)을 이용하여 관측 영향을 관측 민감도와 관측 증분의 곱으로 나타낼 수 있다. 이 식을 이용하여 자료동화에 사용된 각 관측 별로 예보에 미치는 영향을 한번에 계산할 수 있다.

2.5 실험 설계

LETKF 계산과 EFSO 수행 및 모니터링을 온라인으로 수행하는 경우 LETKF 과정 이후 EFSO 모니터링 시스템 계산 결과에 따라 부정적인 영향을 제거하여 자료동화를 수행하는 Proactive Quality Control (PQC) 실험을 수행하고 그 실험 과정은 다음과 같이 요약할 수 있다.

1. 앙상블 멤버 별 분석장을 이용하여 수치적분을 수행한 다음, 생성된 앙상블 예보장을 평균하는 과정이 수행된다. 이는 관측 자료 전처리 과정인 KPOP에서 각 앙상블 멤버 별로 동일한 관측 자료를 사용하기 위해 필요한 과정이다.

2. 계산된 앙상블 평균장을 이용하여 KPOP이 수행되고 정상적으로 종료된 이후 KPOP_MINI 과정이 진행되는데, KPOP_MINI에서는 KPOP에서 전처리한 관측 자료들과 각 앙상블 멤버에 관측 연산자를 적용하여 관측 공간에서 비교하게 된다.

3. 전처리 및 관측 연산자가 적용되어 준비된 관측 자료와 관측 공간에서의 배경장의 차이를 이용하여 LETKF 자료동화 과정이 수행되고 분석장을 산출한다. 분석장은 다음 시점에서 예보의 초기조건과 EFSO계산에 사용된다.

4. 만약 선택적으로 EFSO 계산을 수행하지 않는 경우에는 다음 시점으로 이동하여 단기(9시간) 예측과 자료동화 과정만을 반복적으로 수행하게 된다.

5. EFSO 계산 및 모니터링을 진행하는 경우, EFSO 계산에 필요한 예보장을 생성하기 위해 주어진 분석 시점(lead time)에 따라 앙상블 수치적분을 수행한다. 이 연구에서 사용한 분석 시점은 24시간이나 최근에 6시간으로 EFSO를 추정하는 연구가 제안되고 있다(e.g. Hotta et al., 2017). EFSO 분석이 종료되면 관측 종 별 예측 민감도가 계산되어 관측이 예측에 어떠한 영향을 주는지를 파악할 수 있다. 만약 일부 관측 종을 제거하는 실험을 수행하고자 한다면 특정한 관측 종을 제외하고 LETKF 자료동화를 다시 수행한 뒤 EFSO 계산을 수행하게 된다. 이러한 과정들은 파이썬 언어를 이용하여 순차적으로 수행되도록 구성하였으며 Fig. 1의 모식도를 통해 LETKF 수행 결과로 생산된 분석장에서 시작된 24시간 예보장과 6시간 전 분석장에서 시작하여 30시간 적분 한, 즉 자료동화 효과가 포함되지 않은 배경장에서 24시간 적분한 예보장의 오차를 자체 분석장을 사용하여 추정하고 EFSO 분석을 수행한 진행과정의 계산 흐름을 볼 수 있다.


Fig. 1. 
Schematic diagram of EFSO estimation. Both 24 h-forecasts from analysis and background are verified by using the analysis at after 4 cycle. The difference between the errors is due solely to assimilation of observations.

이 연구에서는 예보 성능에 관측 자료가 미치는 영향을 평가하기 위하여 사업단에서 개발하여 운영중인 LETKF 자료동화 시스템에 구축한 EFSO 모니터링 시스템을 이용하여 관측 자료 예측 민감도 분석을 진행하였다. EFSO 모니터링 시스템의 완결성을 검증하기 위하여 모니터링한 결과를 바탕으로 관측자료를 일부 제거하는 실험을 수행하였고 관측 자료 사용에 따라 예측 성능이 어떻게 달라지는 지를 통해 EFSO 모니터링 시스템의 완결성을 분석 및 검증하였다. 분석 기간과 사용한 수치 모델 등에 대한 정보는 Table 1에 정리하였다. EFSO 계산에는 ATMS, AMSU-A, IASI, CrIS, MHS와 CSR 등의 위성(Satellite) 관측 자료와 전통적(conventional) 관측 자료인 AMV, AIRCRAFT, SCATWIND, SONDE, GPSRO, TCBOGUS와 지면기압자료(SURFACE)를 사용하였고 해당 관측 종들의 자세한 설명 및 변수는 Table 2에 정리하였다. TCBOGUS 관측 종의 경우 실험 기간 동안 관측이 존재하지 않아 사용하지 않았다. 특정 기간을 선정하여 해당 기간 동안 예보 성능을 저해하는 GPSRO 관측 자료를 제외하는 실험을 진행하여 EFSO 모니터링 시스템을 통해 계산된 관측 자료들의 예측 민감도가 예보 성능에 어떠한 영향을 미치는지를 분석하였다.

Table 1. 
Experimental setting of our denial experiments.
KIM KPOP LETKF EFSO
Grid structure Cubed-sphere Lat/Lon Cubed-sphere
Resolution ~50 km ~50 km
Spin-up period 2018.12.22.1200 UTC~2019.01.13.0000 UTC
Forecast period 2019.01.12.0000 UTC~2019.02.06.0600 UTC
EFSO period 2019.01.12.0000 UTC~2019.02.05.0600 UTC
Denial experiment GPSRO 2019.01.13.0600 UTC~2019.01.15.0000 UTC

Table 2. 
Information for the various observations type.
Observation type Variables used Description
Sonde u, v, T, q Reports on pressure levels. q is only below 5 hPa. Height converted to corresponding pressure.
Surface T, q, rh at 2 m.
u and v at 10 m, Ps
Height adjustment into DA resolution topography. Optional horizontal thinning. Rejected over coastlines.
AIRCRAFT T, u, v Mostly AMDAR and AIREP. Thinning with 11-mandatory levels along the vertical, and 0.5-deg. along the horizontal.
AMV u, v Geostationary, polar and LEOGEO wind of IR, VIS, and WV channels.
SCATWIND u and v at 10 m Used if SST is warmer than 273 K, wind speed is lower than 25 m s-1, and the difference in Wd is lower than 90 deg.
AMSUA TOA brightness
temperature (TB)
MW temperature sounding of clear sky. Used only over ocean with channels 5~14. Offline adaptive iteration BC method applied.
MHS TB MW humidity sounding of clear sky. (All-sky radiance under construction) Used everywhere over ocean/land with channels 3~5.
ATMS TB Used only over ocean with channels 6~11 for temperature sounding and 18~20 for humidity sounding.
IASI TB IR temperature sounding of clear sky. Used only over ocean. Offline adaptive iteration BC method applied.
CrIS TB Same as for IASI.
CSR TB IR temperature image. Currently only COMS CSR used.
GPSRO Bending angle Uses banding angle with 2.5 km range tangent point drift and 200 m vertical resolution.


3. 결 과
3.1 EFSO 모니터링 결과

이 연구에서 구축한 EFSO 모니터링 시스템의 완결성을 검증하기 위하여 타 현업 기관에서 진행한 분류 방식에 따라 관측 종 별로 사용된 관측 자료 중에서 예측 성능에 긍정적/부정적 영향을 미치는 관측의 비율을 Fig. 2와 같이 정리하였다. 이를 위해 시작 시점인 2018년 12월 22일 1200 UTC부터 2019년 1월 13일 0000 UTC까지 6시간 간격으로 LETKF 자료동화 예측-동화 순환과정을 약 3주간 수행하여 시스템이 충분히 안정화(spin-up) 할 수 있도록 하고, 오프라인으로 2019년 2월 5일 0600 UTC까지 EFSO 계산 및 분석을 수행하였다. Figure 2에서 나타낸 관측 민감도를 추정하기 위해 사용한 에너지 놈은 습윤 정적 에너지(moist static energy)로 운동 에너지(Kinetic Energy, KE), 습윤 에너지(Moisture Energy, ME) 그리고 잠재에너지(Potential Energy, PE)을 합한 값이다. GPSRO 관측 자료를 제외하고 모든 관측 종에서 긍정적인 영향을 주는 관측 자료의 비율이 50% 이상으로 나타났다. 이는 영국 기상청에서 4차원 변분법을 사용한 자료동화 결과를 이용하여 추정한 비율(Lorenc and Marriott, 2014)이나 미국 연구기관, 캐나다 기상청 등에서 분석한 결과(Gelaro et al., 2010)와 유사한 정도로 나타나 EFSO 모니터링 시스템을 통한 추정 결과가 신뢰할 만한 것으로 판단된다. GPSRO는 비교적 정확한 관측 종으로 분류되고 있음에도 불구하고 부정적 영향을 주는 관측 비율이 높은 것은 전처리 과정 중에 오류가 있었음을 추측할 수 있는데 다음 단락에서 그러한 추측을 뒷받침할 수 있는 다른 결과와 함께 추가로 논의하였다.


Fig. 2. 
Fraction of beneficial observations impact by observation type from 2019.01.13.1800 UTC to 2019.01.15.0000 UTC.

관측 민감도를 그 총합과 더불어 남반구, 북반구, 적도 지역별로 구분하여 정량적으로 계산하여 관측 종 별로 그 값을 정리한 결과를 Fig. 3에 나타내었다. 관측 민감도의 총 합은 0을 기준으로 음의 값이 클수록 성능에 긍정적 영향을 주는 정도가 크고 양의 값이 클수록 부정적 영향이 크다는 것을 의미한다. Figure 3a의 검은색 실선을 기준으로 위쪽이 위성 복사 관측 자료, 아래쪽은 전통적 관측 자료이고 긍정적인 영향의 크기가 큰 관측 종부터 정리하였다. Figure 3a에 나타낸 것과 같이 위성 복사 관측 종 중에서는 ATMS가 긍정적인 영향을 가장 크게 주는 것으로 나타났고, 이어서 AMSU-A, CrIS, IASI 등의 순으로 나타났다. 전통적인 관측 중에서는 AMV, 지면기압자료(SURFACE), Scatwind, Sonde, Aircraft 순으로 긍정적인 영향을 주는 것으로 나타났다. 선택 기간 동안 예측 민감도의 총 합이 아닌, 매 순환과정마다 관측 종별 민감도를 분석하여 시간에 따라 변동하는 정도를 모니터링 한 결과를 Fig. 3b에 표출하였다. GPSRO 관측 자료를 제외한 나머지 관측 자료들이 0을 기준으로 근처에서 긍정적 영향을 주고 있지만 GPSRO 관측 자료는 매 분석시점마다 변동이 크게 나타나는 것을 확인할 수 있다. 이러한 결과는 일반적으로 GPSRO 관측 자료가 위성 복사 자료에 비해 지형 조건에 따른 영향을 적게 받고 관측 오차가 작아서 비교적 정확한 관측 자료라는 사실과 상반되는 결과이고 EFSO 모니터링 분석결과 예측 민감도의 합이 부정적 영향이 크게 나타나는 것은 GPSRO 관측 자료 전처리 과정 중 오류가 있거나 품질 관리 개선이 필요하다는 것을 의미한다. 이 연구에 포함하지 않았지만 EFSO 모니터링 시스템 결과를 참고하여 GPSRO 관측자료의 전처리 과정 중 지면 근처에서의 솎아내기를 개선한 이후에는 해당 관측 자료에 대한 예측 민감도가 긍정적 영향으로 바뀌는 것으로 나타났다. 이러한 결과는 이 연구에서 구축한 EFSO 모니터링 시스템에서 정량적으로 계산하는 개별 관측 자료의 예측 민감도가 신뢰할 수 있는 결과임을 의미하고 이 결과를 바탕으로 관측자료 전처리 과정을 개선하거나 관측 자료가 수치예보시스템 내에서 긍정적 혹은 부정적 영향을 주는 지를 수치적으로 파악하여 수치예보시스템의 예보 성능 유지 및 향상에 도움을 줄 것으로 생각된다.


Fig. 3. 
Result of EFSO monitoring system during 2019.01.13.0600 UTC to 2019.01.15.0000 UTC. GPSRO is the worst detrimental effect for forecast score used all of observations.

3.2 GPSRO 관측자료 제거 실험

Figure 3에서 확인했듯이 GPSRO 관측 자료를 제외한 나머지 관측 종들은 예보 성능에 긍정적 영향을 주고 있지만 GPSRO 관측 자료는 예보 성능을 저하시키는 것으로 나타났다. 지역별로 2019년 1월 13일 0600 UTC부터 2019년 1월 15일 0000 UTC까지 GPSRO 관측 자료의 해당 기간 민감도 총 합을 Table 3에 정리하였는데 북반구에서는 -0.0034로 긍정적 영향, 적도 지역과 남반구에서는 각각 0.1757과 0.1003으로 예보 성능에 부정적 영향을 주는 것으로 나타났다. 또한 관측 민감도의 총 합은 0.2726으로 예보 성능에 부정적 영향을 주는 것으로 나타났다. Figure 3b에서 확인할 수 있듯이 7 번의 순환과정 기간 동안 1월 14일 0600 UTC와 15일 0000 UTC 만이 예보 성능에 긍정적 영향을 주는 것으로 나타났다. 따라서 이 연구에서는 예보 성능에 부정적 영향을 주는 GPSRO 관측 종을 제거하여 예보 성능이 향상되는지를 확인하는 “denial”, 다른 표현으로는 PQC 실험을 수행하였다. 각 시점에 대하여 GPSRO 관측 제거 실험에 대한 지역별 EFSO 분석 결과 또한 Table 3에 정리하였다. 정량적으로 1월 13일 0600 UTC에서의 지역별 EFSO 분석 결과를 확인해보면 모든 GPSRO 관측 자료를 사용하는 default 실험의 경우, 북반구에서 해당 시점에서의 분석 결과의 합이 -0.0709로 긍정적 영향을 주는 것으로 나왔고 적도와 남반구는 각각 0.0082와 0.1350으로 예보 성능에 부정적 영향을 주는 것으로 계산되었다. Denial 실험 결과는 북반구에서 -0.0530으로 예보 성능에 긍정적 영향을 주고 있지만 default 실험에 비해 성능이 향상되지 않았다. 적도에서는 -0.1446으로 default 실험과 반대로 긍정적 영향을 주는 것으로 나타났고 남반구에서는 0.1254로 예보 성능 저하가 줄어든 것을 확인할 수 있다. Figure 4는 앞서 설명한 GPSRO 관측 자료 중 부정적 영향을 주는 관측 자료의 10%를 제외하는 denial 실험을 예보-분석 순환과정에 적용하여 수행하고 EFSO 분석 결과를 보였다. 관측 민감도의 총 합을 지역별로 나타내면 북반구에서는 -0.0874로 default 실험과 비교했을 때 더 긍정적 영향을 주고 적도 지역에서는 0.0065로 부정적 영향을 주는 값이 감소하였다. 하지만 남반구에서는 0.2433으로 denial 실험 결과가 오히려 더 부정적 영향을 주는 것으로 나타났다. 북반구와 적도 지역의 성능 향상으로 인해 예측 민감도의 총 합은 0.1624로 default 실험에 비해 향상된 결과를 보이고 있다(Fig. 4a). 순환과정 중 매 분석 시점 RMSD 결과를 확인해보면 default 실험에 비해 긍정적 영향을 주는 시점이 denial 실험에서2회 더 증가한 것을 확인할 수 있다(Fig. 4b). 2019년 1월 14일 1800 UTC에서의 GPSRO 관측 자료를 전부 사용한 경우(Fig. 5a)와 denial 실험한 경우(Fig. 5b)의 GPSRO 수평 분포도를 나타냈다. Figure 5a는 GPSRO 관측 종의 예보 성능에 대한 효과의 연직 및 수평 분포를 보여주고 있다. 긍정적 또는 부정적 영향을 주는 관측은 특정한 패턴없이 고르게 분포하고 있는데 강한 부정적 영향을 주는 관측 자료들이 전구적으로 긍정적 영향을 주는 관측만큼 상당히 다수 분포하는 것을 볼 수 있다. 매 분석시점마다 EFSO 분석을 실시하여 관측 민감도의 총합이 예보 성능에 부정적 영향을 주는 시점인 경우에 GPSRO 관측 자료 중 부정적 영향을 주는 관측 자료의 10%를 제외하고 자료동화를 수행하는 denial 실험 후 다시 EFSO를 분석하였는데 Fig. 5b에서와 같이 강한 긍정적 및 부정적 영향을 미치는 관측 자료가 상당 수 줄어들고 평형 상태에 가까워지는 것을 볼 수 있다. Figure 6은 기준 실험과 denial 실험 기간 동안에 사용한 관측 종들의 전체 개수를 각각 나타낸 것이다. 관측 종 별로 자료 총 개수를 비교해보면 전통적 관측 자료 중 AMV의 관측 개수가 가장 많은 것으로 나타나 이것은 Figs. 3, 4에서 보여준 총 EFSO 분석 결과의 합에서 AMV 관측 종이 예보 성능에 큰 영향을 주는 것과 관련이 있을 것으로 보인다. 따라서 관측 자료 개수에 의존하지 않고 개별 관측 종의 관측 민감도를 확인하기 위하여 간단하게 EFSO 분석결과를 관측 개수로 나누어 관측 종별, 지역별로 분석하였다(Figs. 7a, b). AMV 관측 종의 경우 예보 성능에 미치는 영향이 개별적으로는 약하지만 많은 수의 관측 개수로 인해 예보 성능에 가장 큰 긍정적 영향을 미치고 있고 지면기압자료(SURFACE) 관측 자료의 경우 적은 수의 관측 개수이지만 예보 성능에는 큰 영향을 주는 것으로 나타났다.

Table 3. 
The results of EFSO impact of GPSRO by regions and cycles. Bold text is indicated better EFSO impact than default experiment.
Date Default Denial GPSRO
NH TR SH NH TR SH
1.13
0600 UTC
-0.0709 0.0082 0.1350 -0.0530 -0.1446 0.1254
1.13
1200 UTC
0.1434 0.0736 -0.0417 0.0986 0.0420 0.0063
1.13
1800 UTC
-0.0621 -0.0308 0.1503 -0.0685 -0.0975 0.2334
1.14
0000 UTC
-0.0218 0.0783 0.1107 0.0234 0.3141 0.0011
1.14
0600 UTC
-0.0023 -0.0465 -0.2167 -0.0040 0.0554 -0.0815
1.14
1200 UTC
0.0195 0.1007 0.0703 -0.0709 0.0383 -0.0905
1.15
0000 UTC
-0.0093 -0.0079 -0.1076 -0.0130 -0.2012 0.0491
Sum -0.0034 0.1757 0.1003 -0.0874 0.0065 0.2433


Fig. 4. 
Denial 10% of detrimental GPSRO by EFSO monitoring system.


Fig. 5. 
Distributions of GPSRO before and after denial experiment at 2019.01.14.1800 UTC.


Fig. 6. 
Total number of each observations during specified period.


Fig. 7. 
Each of averaged EFSO impact by observations (a) default and (b) denial experiment. EFSO impact of observations is similar to denial experiment except GPSRO.

Figure 8에서는 Integrated Forecasting System (IFS) 대비 예보장 평균 제곱근 편차(Root Mean Square Deviation, RMSD)를 분석하였다. Default 실험(Case 1)은 GPSRO 관측 자료를 다 사용하는 것이고 붉은색 삼각형 실선 실험(Case 2)은 매 분석시점마다 개별 GPSRO 관측 자료의 EFSO 분석 결과가 전구 총 분석지점 합으로 상한 값 1000이 넘는 경우에 해당 관측 자료를 제외하도록 하는 실험이다. 한편, 파란색 엑스 실선 실험(Case 3)은 매 분석시점마다 GPSRO 관측 자료 중 부정적 영향을 주는 관측 자료를 10% 제외시키는 방법이다. 마지막으로 녹색 동그란 실선 실험(Case 4)은 각각의 분석시점에서 GPSRO 관측 자료의 EFSO 분석 결과가 부정적 영향을 주는 경우에만 관측 자료의 10%를 제외하는 실험이다. Figure 8에서 온도와 비습의 경우에는 순서도 일정하지 않고 가장 좋은 RMSD를 보이는 실험 방법 또한 시점마다 다르게 나타나고 있지만 동서 및 남북 바람의 경우에는 거의 대부분 시점에서 Case 1 < 2 < 3 < 4 순으로 RMSD가 좋게 나타났다. 따라서 GPSRO 관측 자료가 실험 기간 동안 예보 성능에 부정적 영향을 주는 것으로 분석된 결과가 실제 예보 성능 변화를 정확하게 반영하는 것을 확인할 수 있고 EFSO 모니터링 시스템의 완결성을 뒷받침해주고 있다. GPSRO 관측 종은 대기 중의 온도와 습도에 대한 정보를 가지고 있지만 이 연구에서 GPSRO 관측 종을 제외한 실험한 결과 온도와 습도에 관한 RMSD 보다는 바람 RMSD의 차이가 크게 나타났다. 바람장의 RMSD 값 자체가 온도나 습도의 RMSD보다 크기 때문에 개선된 관측 자료 사용에 따른 개선 효과가 더 크게 나타나는 것으로 추측하고 있으나 보다 정량적으로 상세한 분석을 향후 실험을 추가로 진행하여 확인하고자 한다.


Fig. 8. 
Result of RMSD (compared IFS) of forecast. Red-triangle line means that reject the several observations if the result of EFSO calculation is over than 1000. Green-circle line means that denial 10% of detrimental GPSRO only when overall EFSO of GPSRO is positive (detrimental).


4. 결론 및 요약

이 연구에서는 사업단에서 개발 및 운영중인 KIM을 포함하는 수치예보시스템에 EFSO 모니터링 시스템을 적용하고 이를 이용하여 관측 자료의 예측 민감도 평가를 수행하였다. 관측 자료의 예측 민감도를 추정하는 방법에는 OSEs나 FSO 방법이 있지만 이 연구에서는 FSO 방법에서 계산에 필요한 수반모델을 앙상블 예보 결과로 대체하여 사용하는 EFSO 방법을 사용하여 모니터링 시스템을 수행하였다. EFSO 모니터링 시스템의 완결성을 검증하기 위하여 2018년 12월 22일 1200 UTC 부터 자료동화 과정이 포함된 6시간 간격으로 LETKF 자료동화 예측-동화 순환과정 실험을 진행하여 2019년 1월 13일 0000 UTC까지 안정화 기간을 가지고 이후 지정한 기간에 대해 EFSO 분석을 실시하였다(2019년 1월 13일 0600 UTC~2019년 1월 15일 0000 UTC). 해당 기간 동안에는 GPSRO 관측 종이 특히 적도(20S~20N)와 남반구(20S~90S)에서 예보 성능을 저해하는 것으로 분석되었다. GPSRO 관측 종을 예보 성능이 저하되는 시점에서 부정적 영향을 주는 관측 자료 중 10% 제거하는 실험을 수행하였다. GPSRO 관측 종의 예보 성능에 대한 효과의 연직 및 수평분포를 분석한 결과, 기존의 GPSRO 관측 종을 모두 사용하는 경우에는 강한 긍정적 또는 부정적 영향을 주는 관측 자료들이 특정한 패턴없이 상당히 다수 고르게 분포하는 EFSO 분석 결과를 보이지만 관측 자료를 일부 제외하는 실험 이후에는 강한 긍정적 및 부정적 영향을 미치는 관측 자료가 상당 수 줄어들고 전체적으로 평형 상태에 가까워지는 것을 확인하였다. 예보장의 IFS 대비 RMSD를 비교하여 GPSRO 관측 종이 예보 성능에 어떠한 영향을 주는 지를 확인한 결과, 온도나 비습의 경우에는 실험 방법에 따라 가장 좋은 RMSD를 보이는 경우가 다르게 나타나지만 동서 및 남북 바람은 GPSRO 관측 자료 중 예보 성능이 저해되는 시점에서 부정적 영향을 주는 관측 자료의 10%를 제거하는 경우가 가장 좋은 RMSD를 보였다. 이 실험에 대한 결과는 이 연구에서 구축한 EFSO 모니터링 시스템이 관측 자료들이 예보 성능에 미치는 영향에 대해 비교적 정확하게 계산하고 있음을 의미하며 이 시스템을 이용하여 개별 관측 자료의 예측민감도를 파악하여 예보 성능의 갑작스러운 저하 방지 및 성능 향상을 기대할 수 있을 것이다.


Acknowledgments

이 연구는 기상청의 지원을 받는 한국형수치예보모델개발사업단의 연구과제를 통해 수행되었습니다.


References
1. Cardinali, C., 2009: Monitoring the observation impact on the short-range forecast. Q. J. R. Meteorol. Soc., 135, 239-250.
2. Gelaro, R., R. H. Langland, S. Pellerin, and R. Todling, 2010: The THORPEX Observation Impact Intercomparison Experiment. Mon. Wea. Rev., 138, 4009-4025.
3. Harris, B. A., and G. Kelly, 2001: A satellite radiance-bias correction scheme for data assimilation. Q. J. R. Meteorol. Soc., 127, 1453-1468.
4. Hong, S.-Y., and Coauthors, 2018: The Korean Integrated Model (KIM) system for global weather forecasting. Asia-Pac. J. Atmos. Sci., 54, 267-292.
5. Hotta, D., T.-C. Chen, E. Kalnay, Y. Ota, and T. Miyoshi, 2017: Proactive QC: a fully flow-dependent quality control scheme based on EFSO. Mon. Wea. Rev., 145, 3331-3354.
6. Kalnay, E., Y. Ota, T. Miyoshi, and J. Liu, 2012: A simpler formulation of forecast sensitivity to observations: Application to ensemble Kalman filters. Tellus A, 64, 18462.
7. Kelly, G., J.-N. Thepaut, R. Buizza, and C. Cardinali, 2007: The value of observations. I: Data denial experiments for the Atlantic and the Pacific. Q. J. R. Meteorol. Soc., 133, 1803-1815.
8. Langland, R. H., and N. L. Baker, 2004: Estimation of observation impact using the NRL atmospheric variational data assimilation adjoint system. Tellus A, 56, 189-201.
9. Lorenc, A. C., and R. T. Marriott, 2014: Forecast sensitivity to observations in the Met Office global numerical weather prediction system. Q. J. R. Meteorol. Soc., 140, 209-224.
10. Miyoshi, T., S. Yamane, and T. Enomoto, 2007: Localizing the error covariance by physical distances within a Local Ensemble Transform Kalman Filter (LETKF). SOLA, 3, 89-92.
11. Ota, Y., J. C. Derber, E. Kalnay, and T. Miyoshi, 2013: Ensemble-based observation impact estimates using the NCEP GFS. Tellus A, 65, 20038.
12. Schulze, G. C., 2007: Atmospheric observations and numerical weather prediction. S. Afr. J. Sci., 103, 318-323.
13. Shin, S., J.-S. Kang, and Y. Jo, 2016: The local ensemble transform Kalman filter (LETKF) with a global NWP model on the cubed sphere. Pure Appl. Geophys., 173, 2555-2570.
14. Shin, S., J.-S. Kang, and Coauthors, 2018: Real data assimilation using the Local Ensemble Transform Kalman Filter (LETKF) system for a global non-hydrostatic NWP model on the cubed-sphere. Asia-Pac. J. Atmos. Sci., 54, 351-360.
15. Sienkiewicz, J. M., 1990: An example of the importance of ship observations. Wea. Forecasting, 5, 683-687.
16. Sommer, M., and M. Weissmann, 2014: Observation impact in a convective-scale localized ensemble transform Kalman filter. Q. J. R. Meteorol. Soc., 140, 2672-2679.
17. Zhu, Y., and R. Gelaro, 2008: Observation sensitivity calculations using the adjoint of the Gridpoint Statistical Interpolation (GSI) analysis system. Mon. Wea. Rev., 136, 335-351.