Home

앞에서 분류한 겨울철 강수 유형 3가지에 따라 일강수량 산점도를 분석하였다. Figure 4는 모델의 일별/지점별 예측 일누적강수량과 AWS의 일별/지점별 관측 일누적강수량과의 산점도를 각 예측시간대별로 나타낸 것이다. 모든 강수 유형에서 양의 상관관계(correlation coefficient)를 보이고 있으며, 예측시간이 길어짐에 따라 양의 상관관계가 감소되는 경향도 보이고 있다. 각 유형별로 산점도의 분포를 보면 C 유형은 예측과 관측에서 모두 일누적강수량 20 mm 이하 영역에 집중되어 있는 것으로 보아 다른 유형에 비해 강수량이 적은 유형임을 알 수 있다. 또한 모델의 일누적강수량과 관측 일누적강수량 간의 상관계수는 예측시간 24 h, 48 h, 72 h 각각에 대해서 0.47, 0.41, 0.29의 상관관계를 보였다(Figs. 4a–c). 반면, L 유형은 일누적강수량 40 mm 영역 이하에 주로 분포하면서 예측시간에 따른 상관계수가 각각 0.76, 0.68, 0.66으로 C 유형에 비해 강한 상관관계를 보였다(Figs. 4d–f). 또한 O 유형은 일누적강수량 20~30 mm 영역 이하에 주로 분포하는 동시에 60 mm 부근의 빈도도 일부 나타나는 특징을 보이면서 예측시간별 상관계수가 각각 0.61, 0.52, 0.54로 3가지 유형 중 중간 정도의 상관관계를 보였다(Figs. 4g–i).

Fig. 4. 
Scatterplots of the daily precipitation obtained from C type, L type, and O type vs AWS precipitation data. Solid line depicts a least square regression line, and letter ‘R’ means correlation coefficient between each type of precipitation and AWS data. AWS, Automatic Weather Station.

산점도는 모델의 예측강수량과 관측강수량 두 가지 변량을 동일한 척도를 가지고 일별/지점별로 일대일 대응하여 비교한다는 점에서 관측강수량과 예측강수량 차이의 정도와 지점별 강수놓침(false negative)과 강수빗나감(false positive)의 빈도가 상관관계에 영향을 주는 주요 요인이 될 것이다. 이러한 점에서 강수 유형별 상관계수의 차이는 Fig. 3에 제시된 각 유형의 대표 사례에서 나타나는 강수의 공간분포와 강수강도 등으로 설명이 될 수 있다. C 유형은 주로 호남 서해안과 충청 일부에 비교적 약한 강수를 기록하는 전형적인 패턴을 가지고 있어서 강수량의 변동폭이 작고 강수영역이 좁은 특징이 있다(Fig. 3a). 따라서, 관측 대비 예측강수의 위치 및 강도 차이로 인한 과대 또는 과소모의 경향과 함께 지점별 강수놓침과 강수빗나감의 빈도가 다른 유형에 비해 많기 때문에 상관계수 값이 가장 낮은 것으로 추정할 수 있다. 반면 L 유형은 저기압이 위치한 지역을 중심으로 광범위한 지역에서 다양한 강도의 강수가 내리기 때문에 상대적으로 예측이 잘되고 있다(Fig. 3b). 또한 O 유형은 강수량의 변동폭은 크고 강수영역은 산맥의 풍상측인 동해안 및 영동지역으로 매우 좁게 형성되고 있어서(Fig. 3c), 지점별 강수빗나감의 빈도가 C 유형보다 많지 않아 각 유형별 상관관계 값이 Fig. 4와 같은 차이를 보인 것으로 판단된다.

강수 예측성능에 대한 정량적인 분석을 위해 양분 예보를 기반으로 한 검증 지수를 활용하였다. 또한 강수 유형별 일누적강수량을 비교한 산점도 분석을 보완하고자 강수량을 5개(0.1 mm, 1.0 mm, 5.0 mm, 10.0 mm, 20.0 mm day^–1) 임계값으로 나누어 각 정량 지수 분석을 수행하였다. Figure 5는 정량 지수를 산출하기 위한 분할표와 분석에 사용된 Bias, Equitable Threat Score (ETS), Symmetric Extreme Dependency Score (SEDS), Probability Of Detection (POD), False Alarm Ratio (FAR), Success Ratio (SR), 그리고 Critical Success Index (CSI)의 계산 방법에 대해 나타내고 있다.

Fig. 5. 
(a) The 2 × 2 contingency table and performance measures for (b) Bias, (c) ETS (Equitable Threat Score), (d) SEDS (Symmetric Extreme Dependency Score), (e) POD (Probability Of Detection), (f) FAR (False Alarm Ratio), (g) SR (Success Ratio), and (h) CSI (Critical Success Index).

Figure 6은 모델의 예측 일누적강수량과 AWS 관측 일누적강수량을 강수임계값 구간별로 비교해 Bias, ETS 및 SEDS를 계산한 것이다. 강수 검증에서 Bias는 관측된 강수에 대한 예측 강수 비율로 1 이상일 때 과대모의, 1 이하일 때 과소모의를 의미한다. Figure 6a에서 보는 바와 같이 C 유형의 경우 0.1 mm day^–1 이상 구간에 대해서 3배에 가까운 매우 큰 Bias를 가지는 것으로 나타나고, 임계값 10.0 mm day^–1까지 단계별로 높아짐에 따라 Bias는 점차 1에 가까워지는 특징을 보였다. 하지만, 20.0 mm day^–1 임계값의 24 h과 72 h 일누적강수량에서는 Bias가 분석되지 않았다. 따라서, 강수가 감지되는 정도의 매우 약한 강수 수준에서는 과대모의 경향이 매우 큰 반면, 강한 강수의 예측 또는 관측사례는 없었던 것으로 보인다. L 유형의 경우는 0.1 mm day^–1 이상 구간에서 약 1.5의 과대모의 경향을 보이지만 1.0 mm day^–1 임계값 이상 구간에서는 1에 가깝게 예측하는 것으로 나타나 3가지 유형 중 가장 Bias가 작은 특징을 보였다. 그러나 20.0 mm day^–1 임계값 이상 구간의 강수에 대해서는 24~48 h 이상 예측에서 과대모의 경향이 뚜렷하였다. O 유형의 경우 0.1~10.0 mm day^–1 임계값 구간에서는 1.5~2배 정도의 과대모의 경향이 일관되게 나타나지만 20.0 mm day^–1 임계값 이상에서는 오히려 과소모의 경향이 나타나는 특징을 보였다. 이처럼 각 유형별/강수임계값별 Bias 분석에서 L 유형의 Bias가 전반적으로 가장 작았으며, C 유형의 Bias가 가장 크게 나타났다. Figure 5b의 Bias 식에 의하면 Bias가 크다는 것은 각 강수량 임계값별 관측수(event observed)보다 예측수(event predicted)가 많다는 의미이다. 또한 분자의 a + b와 분모의 a + c 항에서 강수맞힘(hit)에 해당하는 a가 공통으로 포함되어 있으므로, Bias 크기는 예보를 하였는데 관측되지 않은 강수빗나감에 해당하는 b와 예보를 하지 않았는데 관측도 되지 않은 무강수맞힘에 해당하는 c의 값에 의존한다. 따라서, 5.0 mm day^–1 미만의 구간에서 C 유형과 O 유형이 모두 높은 Bias를 보이는 것은 무강수맞힘보다 강수빗나감의 수가 많기 때문이라고 볼 수 있다. 산점도 분석에서 추정한 바와 같이 비교적 좁은 영역에서의 약한 강수에 대한 강수빗나감이 많았음을 보여주는 것이다. 또한 20.0 mm day^–1 임계구간에서 각 유형별로 Bias의 방향이 일관되지 않고 편차가 매우 크게 나타나는 것은 각 유형별 예측수준 및 관측 샘플 수 차의 영향으로 추정된다.

Fig. 6. 
Bias, ETS, and SEDS of daily precipitation prediction (+24 h, +48 h, +72 h) from the Global model for classified precipitation cases, C type, L type, and O type over Korea peninsula against AWS precipitation data with thresholds of 0.1, 1, 5, 10, 20 mm day^–1. AWS, Automatic Weather Station.

ETS는 모델의 강수 예측 정확도를 평가하는 값으로 –1/3에서 1 사이의 값을 가지며 1은 완벽한 예보를, 0은 예측 능력이 없음을 의미한다. Figure 6b에서 보는 바와 같이 C 유형의 예측성은 3가지 유형 중 가장 낮은 값을 가지는 것으로 나타났다. 강수 유무를 판별하는 0.1 mm day^–1 임계구간에서도 0.2 내외의 ETS를 기록했으며, 강수량 임계값이 커질수록 급격히 ETS가 낮아져 10.0 mm day^–1 임계구간에서는 0.1 이하의 매우 낮은 예측성을 보였다. 20.0 mm day^–1 임계값에서는 ETS가 0.0으로 예측 능력이 없음으로 나타났다. 이는 앞의 산점도 분석에서 C 유형에서는 20.0 mm day^–1 이상의 강한 강수 사례가 상대적으로 적었으므로 샘플 개수의 영향을 받았을 가능성이 있다. L 유형은 3가지 유형 중 전반적으로 가장 높은 ETS를 보였는데, 특히 5.0, 10.0 mm day^–1 임계구간의 ETS는 0.4~0.5 이상의 값을 보여 예측 성능이 상대적으로 매우 우수한 것을 알 수 있었다. 다만, 20.0 mm day^–1 구간에서는 0.2 이하로 현저하게 예측성이 낮아지는 특징을 보였다. O 유형은 0.1 mm day^–1 구간에서 0.3 내외의 ETS를 보여 3가지 유형 중 예측성이 가장 좋은 것으로 나타났으며, 1.0 mm day^–1 구간에서는 L 유형과 유사한 수준의 양호한 성능을 보였다. 그러나 5.0, 10.0 mm day^–1 임계구간의 ETS는 L 유형보다 크게 낮아지는 특징을 보였다. 따라서, ETS로 본 전반적인 예측성능은 L 유형, O 유형, C 유형 순으로 보는데 무리가 없을 정도로 그 편차가 뚜렷하였다. ETS는 강수맞힘에 초점을 맞춘 TS (Threat Score)에서 우연히 예보가 적중하는 것을 제거한 지수이므로, 총예측수(a + b)와 총관측수(a + c)의 곱을 총표본수(n)로 나눈 값을 분자와 분모에서 각각 차감하여 계산한다. 따라서, 강수 예측성능을 알아보는 지수로 많이 쓰이고 있다. ECMWF (European Centre for Medium-Range Weather Forecasts)에서 제공하는 Forecast User Guide에서는 강수에 대한 ETS를 해석함에 있어서 기억해야 할 점을 다음과 같이 3가지로 언급하고 있다. 첫째, 지점별 관측(강수량계)값과 수치예보모델로부터 산출된 격자점의 값 사이의 공간적 불일치는 ETS를 감소시킨다. 둘째, ETS는 확연한 지리적 변동성을 가지고 있는데, 예를 들어 지형성 강수가 우세한 지역에서 ETS는 더 높은 경향이 있다. 셋째, 대류가 활발한 여름철에 ETS가 두드러지게 감소하는 등 계절순환이 확연하다(ECMWF, 2011). 이 3가지의 해석 상의 핵심 내용들을 보면 이 연구에서 다루고 있는 예측성능이 C 유형에서 상대적으로 낮게 나타나고 L 유형과 O 유형에서 상대적으로 높게 나타나는 것이 일부 설명될 수 있을 것으로 보인다.

한편, Hogan et al. (2009)은 양분 예보에 널리 사용되어온 ETS가 관측 샘플 수에 매우 민감하다고 지적하며, 샘플 개수의 영향을 최소화하여 비교적 공정한 것으로 알려진 SEDS에 의한 평가를 제안한 바 있다. 3가지 유형 모두에서 20.0 mm day^–1 이상의 임계구간에서는 현저히 ETS가 낮아지는 것으로 나타나고, 특히 C 유형의 경우 0.0의 값을 보여 예측성이 전혀 없는 것으로 평가되었는데, 겨울철 강수 유형 중 상대적으로 L 유형과 O 유형에서는 강한 강수 사례가 많았으므로 정확한 성능 판단을 위해서 샘플 개수의 영향을 최소화한 SEDS를 분석하여 추가적으로 강수 예측성을 평가하였다. SEDS는 ETS와 마찬가지로 1은 완벽한 예보, 0은 예보 성능이 없음을 의미한다. Figure 6c에서 보는 바와 같이 SEDS를 통한 강수 정확도 평가에서는 강수 유형 간 성능 차이가 ETS에 비해서 적게 나타났고, 샘플 개수의 영향이 있을 것으로 추정한 20.0 mm day^–1 임계구간에서 ETS가 크게 저하되었던 특징은 완화된 것을 확인할 수 있었다. 하지만, C 유형의 경우 0.1 mm day^–1 구간을 제외한 1.0, 5.0, 10.0 mm day^–1 구간에서는 3가지 유형 중 가장 낮은 SEDS 값을 나타내어 상대적으로 예측성능이 가장 낮음을 일관되게 보여주었으며, 20.0 mm day^–1 이상 구간에서 SEDS가 0.0 인 것으로 보아 관측 샘플이 없었던 것을 알 수 있었다. 반면, L 유형과 O 유형은 전 임계구간에서 비교적 우수한 강수 예측성능을 일관되게 보였다. L 유형은 5.0, 10.0 mm day^–1 임계구간에서는 0.6의 높은 SEDS를 나타내었으나, 약한 강수를 포함하는 0.1, 1.0 mm day^–1 구간에서는 비교적 낮은 성능을 보였다. 특히 0.1 mm day^–1 구간에서 3가지 유형 중 가장 낮은 성능을 보였다. O 유형은 모든 임계구간에서 0.5 이상의 높은 SEDS를 나타내고 있으며 0.1, 1.0, 20.0 mm day^–1 구간에서는 3가지 유형 중 가장 높은 값을 나타내 전반적으로 모든 강수 임계구간에 대한 성능이 양호한 것으로 판단할 수 있다. 강수량의 각 임계구간별로 SEDS를 비교한 것이기 때문에 어떤 유형의 예측성능이 비교적 양호한가의 명시적 판단을 하기에는 무리가 있어 보이는 것이 사실이다. 하지만, 전반적으로 C 유형의 경우가 다른 유형에 비해 Bias의 변동폭도 크고 예측성능이 낮은 것은 명확한 것으로 보인다.

Bias, CSI, POD, SR을 하나의 그래프에 표출한 performance diagram을 이용하여 강수 유형별 예측성능에 대한 종합적인 분석도 수행하였다. Figure 7에서 보는 바와 같이 그래프에서 y축은 POD, x축은 SR, 실선 곡선은 CSI, 점선은 Bias를 나타낸다. 또한 그래프의 y = x선을 기준으로 위로는 과대모의, 아래로는 과소모의를 의미한다. 따라서 그래프의 오른쪽 상단 모서리 부분으로 갈수록 예측성능이 가장 뛰어난 것임을 의미한다. 각 강수 유형과 임계값은 Fig. 7의 범례와 같이 기호와 색으로 구별하였다. 예측시간별로 표출한 그래프를 보면 모든 유형 및 예측시간에서 약한 강수로 갈수록 과대모의 경향이 뚜렷하고, 강한 강수로 갈수록 Bias가 1에 가까워짐을 알 수 있었다. C 유형의 경우 모든 예측시간에서 3가지 유형 중 CSI가 가장 낮게 나타났으며(0.3 이하), 약한 강수역인 0.1, 1.0 mm day^–1 구간의 Bias는 2 이상으로 3가지 유형 중 과대모의 경향이 가장 강함을 알 수 있다. 다른 두 강수 유형과 달리 5.0 mm day^–1 구간부터 CSI 값이 0.2 이하로 매우 낮게 나타났으며, 10.0 mm day^–1 구간은 0.1보다 조금 크거나 0.1 이하의 값을 보인다. L 유형은 전 예측시간에 걸쳐 3가지 유형 중 가장 높은 CSI를 나타내었고, 5.0 mm day^–1 구간까지 0.5 이상의 CSI, 1.3~2의 Bias를 기록해 다른 유형에 비해 예측성능이 가장 양호하였다. 10.0 mm day^–1 구간에서도 0.4 이상의 CSI와 0.6에 가까운 POD 값을 보이고 있어 예측성능이 유지되는 것을 알 수 있으며, 20.0 mm day^–1 구간에서는 0.3 이상의 POD 값으로 3가지 유형 중 가장 높은 POD를 보여주었다. O 유형은 C 유형과 L 유형의 중간 정도의 성능을 보이고 있는데 1.0 mm day^–1 이하 구간의 CSI는 0.4~0.5, 5.0 mm day^–1 구간의 CSI는 0.3에 가까운 값을 보여주었고 10.0 mm day^–1 구간은 C 유형과 비슷한 수치를 나타내었다. POD는 강수예보를 적극적으로 하면 값이 높아지는 특성을 가지고 있다. 강도가 약한 강수(예: 0.1, 1.0 mm day^–1)에서 상대적으로 POD가 높게 나타나고 있는데, 이는 GRIMs가 강수를 잘 모의하고 있다기 보다는 현재 대부분의 수치예보모델들이 갖는 문제점 중의 하나인 약한 강수를 과대모의하는 문제점이 GRIMs에서도 나타나고 있는 것으로 보인다. 또한 C 유형의 10.0, 20.0 mm day^–1 구간 CSI가 다른 유형에 비해 크게 낮은 것은 강수영역과 시점이 조금만 달라져도 다른 지수에 비해 변화 정도가 매우 큰 CSI의 특성이 반영된 것이라고 볼 수 있다.

Fig. 7. 
Performance diagram for each forecast time (a) 24 h, (b) 48 h and (c) 72 h. The curved isolines, with associated labels, represent the critical success index, and dashed solid lines represent the bias. The best scores are in the upper right corner; bias values close to one are typically considered optimal.