남한 강수 기후와 이분 범주 예보 검증 지수

1. 서 론

날씨 예보의 성능과 정확도 향상에 맞추어 예보 평가의 정밀도를 높일 필요가 있다. 정확한 예보 평가는 예보의 개선과 더불어 일반 사용자와 예보 기관의 상호 이해를 높인다. 기상 예보 생산자 및 공급자와 기상예보 사용자 사이의 깊은 이해와 신뢰는 기상 재해 예방과 피해 경감으로 이어질 수 있다.

날씨 예보의 성능 판단법은 평가 대상 기상변수와 검증 대상 기상 자료의 형태에 따라 다양하다(Brier, 1950; Hanssen and Kuipers, 1965; Gordon, 1982; Marzban, 1998; Gordon and Shaykewich, 2000; Atger, 2003). 수치 예보 모델 자료의 경우는 모델 전 영역을 대상으로 관측 자료와 비교하여 절대 차이, 평균값, 분산의 통계 분석을 통하여 모델 성능을 평가한다(Anthes, 1983; Tremblay et al., 1996; Petrik et al., 2011; Duc et al., 2013; Shahrban, et al., 2016). 지역별 예보는 해당 관측소의 관측치와 비교하여 예보 정확도를 검증한다(Stanski et al., 1989; Yates et al., 2006). 시공간 자료의 통계 처리를 통한 검증 방법은 수치 예보 모델과 지점별 예보의 정확도 평가에 공통으로 사용되어 왔다(DeGroot and Fienberg, 1983; Cherubini et al., 2001).

대한민국 기상청은 2019년 9월 기준으로 전국 관측소의 관측 값을 이용하여 연별 및 월별로 예보 정확도를 공표하고 있다. 최고 최저 기온에 대하여 예보와 관측 값의 평균 절대 오차를 계산한다. 강수의 경우는 예보한 강수 사건(event)에 대하여 해당 시간대의 강수 발생 유무(observed and no appearance)에 근거한 이분 범주 지수인 정확도(Accuracy or Proportion Correct, Acc)와 맞힘률(Probability of Detection or Hit Ratio)을 계산한다(http://www.weather.go.kr의 예보 평가 페이지). 기상청의 강수 예보의 목표 시간 간격은 6시간이며 오전 5시를 기준으로 매일 8회 3시간 간격으로 발표한다고 공지되어 있다(http://www.weather.go.kr/HELP/html/help_fct020.jsp).

Gordon and Shaykewich (2000)은 전세계적으로 동일한 평가 지수식을 사용하기 때문에 평가 자체는 객관적이라고 보았다. 앞의 견해는 수식 자체만을 감안하는 경우 합리적이다. 검증 지수를 효율적으로 사용하려면, 지구상 위치에 따른 지역 기후 특성을 감안할 필요가 있다. 예보 검증에 미치는 지역 기후의 영향을 다양한 검증 지수를 사용함으로써 파악 가능하다(Wilks, 2000; Nurmi, 2003; Hamill and Juras, 2006).

일례로 예보 정확도로 알려진 지수 Acc의 다음과 같은 편향성을 생각할 수 있다. 열대 우림에서는 매일 비가 온다고 예보하면 Acc 값은 완벽한 예보에 해당하는 1이 된다. 유사하게 사막의 경우는 비가 오지 않음을 예보하면 높은 점수가 예상된다. 해당 지역의 강수 기후를 고려할 때, 우리는 예보 검증 지수를 유익하게 활용할 수 있다(Atger, 2003; Mason, 2004; Hamill and Juras, 2006).

한반도의 경우 강수현상과 강수량은 농림 수산업과 밀접한 관련이 있어 대다수의 사람들이 강수현상과 강수량과 연관된 가뭄과 홍수에 민감하다. 여론 조사의 선택된 문항에 대한 응답 결과를 제시한다. 언급한 조사는 전국의 19세 이상을 대상으로 2019년 7월에 수행되었다. 조사 목적은 날씨 예보, 특히 당해 연도의 봄철 기상과 예보에 대한 일반인의 관심과 인식수준을 파악하는 것이었다.

Figure 1은 여론 조사의 특정 문항에 대한 응답 결과로 날씨 현상 중에서 강수현상을 중요하게 인식하는 사람들이 강수현상에 예민하며 동시에 강수량 예측 오류를 문제점으로 인식하고 있다. 응답 결과를 고려하여 강수예보에 대한 검증 지수식의 특성을 조사한다. 이를 근거로 예보자나 일반인이 쉽게 이해할 수 있고, 강수예보의 정확도 향상을 기대할 수 있는 방안을 모색한다.

Fig. 1.

Korean’s choice of meteorological variables revealed in the gallop polls by internet survey of 500 people or so whose ages are older than 19. The poll has been carried out for the Spring (March, April, and May) of the year 2019. The acronyms of Prp., T., W, H, S, and R means precipitation, temperature, wind speed, humidity, sand storm, and the remainder, respectively. The questions for the weather condition are (a) for the most concerned, (b) for the critical phenomenon, (c) the severely significant factor in Springtime, and (d) for the most unsuccessful element.

기존 이중 범주 예보 검증 지수식 중8개를 선정하였다. 남한의 강수 특성을 잘 반영하고 예보 업무 개선을 기대한 선정이다. 각 지수식이 기후 조건이나 예보자의 성향에 따라 다른 특성을 보일 수는 있다. 이 중 범주 검증식은 4개의 범주 변수를 공통으로 사용함으로 수식들 사이에 유사성과 대칭성이 존재한다. 대칭성 문제는 지수식 분석에서 취급하기로 한다.

본 논문에서는 월별 지역별 특성을 고려하지 않기로 한다. 전국적인 그리고 계절에 무관하게 1년9개월 자료를 분석하였다. 이유는 검증 대상을 남한 전체로 그리고 계절에 따른 지수 값의 변동성 보다는 일상적인 예보 정확도에 초점을 맞춘 결과이다.

이 논문의 구성은 다음과 같다. 제 2장에서 한국의 강수 기후 이해를 시도하였다. 시간 강수량 자료를 이용하여 시간 변동성과 분석 기간의 강수 사건들(events)에 대한 통계 값을 논의하였다. 제 3장에서는 이분 범주 강수 예보 검증식들의 특성과 상호 관계를 조사하였다. 4장에서 분석에 근거한 결론을 제시하였다.

2. 남한의 강수 기후

2.1 시간 강수량 자료

남한 강수현상의 기후학적인 특성을 분석하고자 기상청의 날씨 누리(https://data.kma.go.kr/data/grnd/)에서 시간 강수량 자료를 다운로드하였다. Figure 2는 관측소의 위치를 나타낸다. 선택한 12개 기상 관측소의 시간 강수량 자료를 이용하여 분석하였다. 시간 강수량이 제공되지 않는 일부 기간에 대하여는 대응하는 자동기상관측소(Automatic Weather Station) 자료로 보완하였다.

Fig. 2.

Position of the weather stations and their names whose hourly precipitation records we used for the analysis. The data covers the period from 1 January 2018 to 31 July 2019 for all the twelve stations.

분석하고자 하는 지수 값의 통계적인 안정성을 확보하려면 표본 수가 일정 값을 상회하여야 한다. 지수식의 이론 분석에 기반하여 한반도의 12관측소를 선정하였다. 남한의 강수 기후를 12개 관측소 자료로 대표하기에는 충분하지 않지만 관측소의 위치와 분석기간 동안의 균일하지 못한 강수 분포가 분석 결과에 미치는 영향은 미미할 것이다. 이유는 다음에 제시할 이분 범주 예보 검증 지수식의 특성 때문이다.

Figure 3에서 보인 시간 강수량 시계열은 다른 관측소의 시계열(그림 없음)과 비슷한 모습이다. 각 관측소 시계열의 유사성을 고려하여 본 논문에서는 제주 강수량만을 제시한다. 그림에서 강수 유무를 판단하기 위한 기준값(threshold value)을 변경함에 따라 강수유무의 횟수가 변할 수 있음을 직관적으로 인지할 수 있다. 그림의 시계열은 0.0mm로 표기한 흔적 강수(trace of precipitation)도 포함한 결과이다.

Fig. 3.

(a) Time series of the hourly amounts of precipitation at Jeju observation station for the period from 1 January 2018 until 31 July 2019 in the upper-panel. The lower panel (b) shows a portion of the above series just for the short period from the 17th to the 20th of July of year 2019.

만약에 강수 유무 기준 값을 0.1 mm hr^-1, 1.0 mm hr^-1, 5.0 mm hr^-1로 상향 조정하면 강수발생 회수는 순차적으로 감소한다(Table 1). 이러한 강수 출현 빈도의 변경은 예보 검증 지수 값을 변경할 가능성이 높다. 초기 분석에서 흔적 강수 사례를 포함하는 경우 0.0 mm 강수 사례의 빈도가 가장 높았다. 이처럼 낮은 강수 강도의 높은 빈도를 강수현상의 초기와 종료시에 흔히 관측되는 작은 강수량으로만 설명하기는 부족하다.

Table 1.

The number of precipitation times based on various threshold values of 0.0 mm hr-1, 0.1 mm hr-1, 1.0 mm hr-1, and 5.0 mm hr-1. The values are computed by using the hourly precipitation records of the twelve stations in South Korea and for the period from 1 January 2018 to 30 September 2019. The total number of the records is 183,744.

강수 적산 기간을 확장하더라도 해당 강수 유무 경계 값을 적산 시간에 비례하는 형태로 높이는 것은 타당하지 않다. 이유는 대부분의 강수현상이 1시간 정도 지속되는 관계로 1시간 이상의 시간 간격에 대한 강수는 다음과 같은 특성을 가진다. 순간적인 강수 강도가 기준 값보다 높고 나머지 확장된 기간에는 비가 아예 오지 않는 경우가 대부분이다. 즉 6시간 강수량을 생각하는 경우 몇 분 동안 흔적 혹은 1 mm 강수가 발생하였지만 나머지 시간에는 강수가 발생하지 않았다. 이러한 경우 일반적으로 강수 감지를 할 수 있다. 이는 6시간 총 강수량이 1mm인 경우 6시간 전체 기간동안 일률적으로 1 /6mm h r-1로 오는 경우와 다르다. 한반도에 나타난 강수현상의 시간적인 변동은 전자에 가깝다.

2.2 강수 적산 기간과 통계적 특성

한반도 강수현상의 단시간 변동성을 조사하였다. 현재 기상청의 강수량 예보 기준 시간 간격이 6시간임을 고려하여 시간 강수량 자료와 이를 6시간 간격 자료로 변환한 강수량 시계열 자료를 분석하였다.

위 히스토그램에서 1시간과 6시간 강수량 분포 모두 1mm 미만과 2.5mm 미만인 강수량의 빈도가 각기 85%(강수 관측 시간 26574회 중 22718회)와 79%(6시간 강수 관측 6864회 중 5412회)로 높다. 극히 예외적으로 시간 강수량 80mm와 6시간 강수량 180mm를 확인하였다. 따라서 1시간 혹은 6시간 간격의 강수량 시계열에 기반한 히스토그램으로부터 한반도의 강수 현상이 약한 강수가 대부분임을 짐작할 수 있다(Fig. 4).

Fig. 4.

Histograms of (a) hourly and (b) six-hourly precipitation amounts at the selected twelve stations and the analysis period from 1 January 2018 to 30 September 2019. The sub-interval of abscissa for the first bar convers the amount greater than equal to 0.0 mm hr-1 and less than 1.0 mm hr-1 in (a), and 0.0 mm (6 hours)-1 up to 2.5mm (6 hours)-1 in (b). In the both, the minor ticks include the value of the lower limit and exclude that of the upper limit.

한반도의 강수가 단속성임을 Fig. 5에서도 유추할 수 있다. 한반도의 강수 시계열 특성을 적산 시간 간격에 대하여 조사하기 위해서 시간 강수 자료를 기본 자료인 1시간부터 단계별로 적산 시간을 늘려 최대 10일간(240시간)까지 확장하였다. 통계 처리 기준이 0.0 mm hr^-1와 1.0mm hr^-1인 강수량의 최대 차이는 적산 시간 50시간에서 나타난다. 이러한 차이는 단속적인 강수가 2일 정도는 지속되지만 더 이상의 적산시간 확장은 강수가 없거나 흔적 강수 기록 시간을 더하는 효과에 기인한다고 이해한다. 현재로서 위의 원인에 대한 명확한 해석은 어렵다.

Fig. 5.

(a) The amounts and (b) the duration of precipitation for every time interval in hours from one hour up to 240 hours corresponding to 10 days. We calculate them from the hourly precipitations. The solid and dotted curves are from the hourly amounts larger than 0.0 mm and 1.0 mm, respectively. Panels (c) and (d) show the difference of precipitation intensity shown in (a) and percent duration in (b), respectively. For percent duration, refer to the main text.

강수 지속 기간의 상대적인 백분율은 각 적산 기간에 따른 강수 시계열에서 강수현상이 기록된 기간의 전체 분석 기간에 대한 비율이다(Fig. 5b). 강수 적산구간을 더 확장하면 비가 온 기간의 상대적인 비율이 80%에 도달하며(1.0 mm hr^-1 기준) 흔적 강수까지 고려한 경우 90%를 상회한다. 두 가지 다른 강수 기준값에 대한 강수 기간의 비율은 3일~5일 부근에서 뚜렷하다(Fig. 5d). 한반도의 위도(latitude)상 위치를 생각할 때, 우리의 분석 결과는 중위도 지방의 온대성 저기압의 통과 주기인 4일~7일과 어느 정도 일치한다(Lim and Wallace, 1991).

2.3 사건별 강수 특성

지금까지 일정한 시간 간격에 대한 강수량 분석을 벗어나 시간당 강수량을 재처리하여 강수 시작 시각, 지속 기간, 그리고 종료 시각을 고려하고자 강수현상을 사건(event)별로 분석하였다. 강수 강도의 히스토그램에서 5 mm hr^-1 미만의 강수 강도를 가지는 강수현상이 대부분이다(Fig. 6a). 최대 강수 지속 기간은 약 45시간이다(Fig. 6b).

Fig. 6.

Frequencies of (a) the total amounts and (b) the durations of precipitation events based on the hourly records of precipitation. Histogram (c) is for the duration of no precipitation time intervals. Panel (d) is the same as (c) but processing the events with no rain period less than 50 hours only. The abscissa represents the duration of the events of precipitation (b) and of no precipitation (c and d).

강수가 없는 기간, 주로 맑은 날씨의 지속 기간은 최대 860시간(35일)이나 되는 경우도 발생하였다. 그런데 맑은 기간의 히스토그램(Fig. 6c)에서 무강수 지속 1시간의 빈도수가 전체 무강수 사건(event of no rain)의 34%를 기록한다. 전체 무강수 사건 수 906회에 대한 Fig. 6d의 무강수 지속 시간 1시간의 빈도수 305로 추정한 값이다. 이는 강수 지속 기간 1시간의 전체 강수 사건에 대한 85%에 비하면 낮은 편이다. 그러나 전 분석 기간 중 강수 시간이 차지하는 기간이 작음을 고려하면 무강수의 단 시간 출현은 예상밖이다. 특히 이러한 경향성은 Fig. 6c와 Fig. 6d의 비교에서 의심의 여지가 없다. 장시간 비가 내리는 경우라도 비가 단절되는 현상이 빈번하게 발생한다고 해석할 수 있다. 통계적인 측면에서, 한반도 강수는 단속성이 뚜렷하다고 할 수 있다.

이처럼 한반도의 강수가 단속성이 강한 관계로 분석 전체 기간에 대한 강수 지속시간이 14%에 불과하다. 검증 지수식에 따라 한반도 강수 기후의 영향이 다를 수도 있을 것이다.

3. 이분 범주 검증 지수

이분 범주형 지수식 중에서 많은 예보 기관들이 사용하는 식을 분석 대상으로 하였다. 이중 범주 지수식은 현상의 예보와 관측에서 예보나 현상의 발생(유, existence)과 발생하지 않음(무, no existence)만을 포함하여 간단하다. 다만 지수식에 포함되는 범주 별 변수로 예보의 유무에 대한 현상의 발생 유무를 각각 고려하는 관계로 4개의 변수가 존재한다. 지수식에 사용하는 전체 표본 수를 감안하게 되면 실질적으로는 3개 변수 각각의 크기에 대한 지수 값과 이들의 변동성을 이해할 필요가 있다. 변동성에 대한 이해를 바탕으로 우리는 강수 기후의 영향을 적게 받으면서도 예보 성능 판단이 용이한 지수식을 찾고자 한다.

각 지수 계산을 위한 범주 변수를 추정하기 위한 예보와 현상의 유무 분류표(contingency table)를 Table 2에 제시한다. 우리의 범주 변수 표기법은 일반적인 표기법과 다르다. 그 동안 사용된 표기법(Table 1의 괄호안의 문자)과 제안한 표기법 사이에는 다음과 같은 관련성이 있다. 과거에는 예보상으로 예측(F)을 하고 강수현상이 발생(O)한 경우 분류표에서 FO가 된다. 그리고 예보로 강수를 예측하지 않았거나 현상이 발생하지 않을 경우 두 경우를 동일하게 X로 표기하였다.

Table 2.

The contingency table for the dichotomous states of precipitation. In the case of YY, the precedent character Y means the expected case in forecast of precipitation and following Y means the appearance of rainfall. Therefore, YY means the correct forecast. The sample number Ntot is equal to sum of YY, YN, NY, NN. In our assessment each sample is independent from the other events. The symbols inside the parenthesis show an example of the conventional notation of each categorical element.

본 논문에서 제안한 표기법은 예보와 현상을 심볼의 앞뒤(혹은 전후) 위치로 구분한다. 앞의 심볼 글자는 예보를, 뒤의 글자는 강수 현상의 발생 유무를 나타낸다. 예보상 예측의 유무와 현상 출현의 유무는 Y와 N으로 동일하게 표시한다. 내용상의 차이는 작지만, 우리의 방법이 기억에 유리하며 논리적이다. 기존 방법의 문자 X는 예보와 현상 중 어느 것과 연계되는지 불분명하다.

검토한 지수의 형식과 간단한 특성을 Table 3에 정리하였다. 지수식을 위한 전체 표본수가 결정되면 일반적으로 3개의 독립변수만으로 지수 값을 계산할 수 있다. 다만, POD와 POFD는 정의상 두개의 변수로 충분하다.

Table 3.

The verification formula for the skill scores of the forecast of atmospheric variables in two categorical states. In our analysis, the target variable is precipitation. The variables YY, YN, NY, and NN have been defined in Table 2.

본 표기법에 따르면 예보상 예측과 현상 발생의 유(Y)와 무(N)를 상호 교환하면 유무 사이의 대칭성을 볼 수도 있다. 예로, 강수 발생을 기준으로 계산하는 과경보 오류(Fr, False Alarm Rate)는 강수 발생 무를 기준으로 하는 미탐지률(Ur, Undetected Error Rate)과 동일하다. Table 2의 POFD 식에서 Y와 N을 교체하면 다음 관계성을 파악할 수 있다.

$$ POFD\left(Fr\right)=\frac{YN}{YN+NN}=>=\frac{NY}{NY+YY}=Ur$$

위와 같은 대칭성은 강수 탐지율에 초점을 맞춘 POFD는 무강수에 초점을 맞추는 Ur과 같음을 의미한다. 따라서, 강수 혹은 대상으로 하는 기상현상의 발생 빈도수가 기후학적으로 절반을 넘는 경우 발생(유)을 감안하기보다는 발생하지 않음(무)을 고려하여 지수 값을 산출함이 편리할 수도 있다.

Y와 N의 교환에 대하여 Acc는 자가 대칭을 이룬다. 심볼 유와 무(Y와 N)의 교체로 유도되는 수식은 원래의 수식과 동일하다. 여기서 거론하는 대칭성이라 함은 현상 발생을 조사함에 있어 해당 현상이 발생하지 않는 경우를 검토하는 것과 동일하게 되는지가 판단의 기준이 된다.

3.2 지수의 3차원 공간 분포

Figures 7, 8에서 BS와 POD를 제외하고 모든 지수들은 좌표상에서 YN(x축)과 NY(y축)의 좌표 값이 동일하고 YY(z)축을 포함하는 면에 대하여 대칭을 이룬다. 따라서 해당 지수는 예측 오류(missing or no detection)와 과경고 오류(false alarm)를 구분하지 않는다.

Fig. 7.

Three-dimensional distribution of index values as a function of YN (x-axis), NY (y-axis), and YY (z-axis). The space for index distribution occupies a volume with four faces as in (a). The other area of the right rectangle is not permitted; even values are shaded for visual purposes for all the panels except (a). All those values change from 0 (no event) to 1 (100% of events). The orientation of axis and scale bar are in a proper place of each panel.

Fig. 8.

As in figure 7, but (a) for mETS and (b) for mSS. We adjust their values to range from 0 to 1. Before rescaling, the ETS ranges from -1/3 to 1, and SS does -1 to 1.

강수 현상 출현을 기준으로 예보하는 경우 YN이 NY보다 빈번한 예보자나 기관은 과분하게 혹은 의욕적인 강수 예보를 한다고 생각할 수 있다. 이와 반대의 경우는 가능하면 비가 오지 않는 방향으로 강수 예보를 하는 경우이다. 후자는 소극적인 예보(conservative forecast)의 전형이다(Fig. 7b).

예보상의 오류나 과경고가 있는 경우 Acc보다는 TS의 지수 값이 상대적으로 작다(Figs. 7c, d). 강수 발생 횟수가 낮을수록 차이는 더 뚜렷하다. 범주 변수의 변동 범위(Fig. 7a)와 지수 값 0.6인 등치면의 좌표상 위치를 생각하면 앞서 지적한 차이점을 인지할 수 있다.

ETS와 SS지수는 기후학적인 요소를 제거하는 관계로 강수현상 발생건수가 거의 없거나 반대로 매일 비가 오는 조건하에서는 최고 값(적색)에 근접한다. Figure 8의 mETS와 mSS는 실질적으로 ETS와 SS와 동일하다. 다만 각 지수 값들이 0에서 1 사이가 되도록 조정하였다. 이러한 조정은 각기 다른 지수 값의 직접적인 비교보다는 표출의 편의성을 도모함이 목적이다.

3.3 지수의 2차원 공간 분포

각 지수의 3차원 공간에서의 값이나 분포로부터 예보의 효율성을 구체화하기에는 무리가 따른다. 즉 3개 변수의 변동에 따른 각 지수 값의 추적이 어렵다. 맞힘률 POD는 전체 표본 중 맞은 예보 수를 예보 성적으로 취급함으로 다른 지수에 비하여 직관적이다. BS 지수 값이 1이라고 가정하고 Acc, TS, ETS, SS의 지수 값을 POD와 Pc의 함수로 표현하였다. 계산 결과를 Fig. 9에 제시한다.

Fig. 9.

The distribution of the values of Acc, TS, ETS, and Skill Score as a function of POD and Pc, where we presume BI to be 1. Pc and POD are in unit %, and the values of each index are in the decimal digits.

TS를 제외한 Acc, ETS, 그리고 SS의 지수 값은 전반적으로 POD 값과 비례한다. 즉 POD 값의 증감에 따라 해당 지수의 값도 비슷하게 상승 혹은 하강한다. 강수현상의 발생 횟수가 적은 경우, 즉 Pc값이 낮을 수록 Acc 값은 ETS나 SS 지수값에 비하여 크다(Fig. 9).

비가 자주 오는 기후에 해당하여 Pc가 1에 접근하는 경우 ETS와 SS의 예보 정확도 분해능은 Acc에 비하여 극히 저조하게 된다. 사실상 Pc가 0.5를 상회하게 되면 강수 현상보다는 강수가 발생하지 않는 무강수(no rain) 혹은 맑은 기상상태에 대한 예보 적중률을 계산할 필요가 있다.

3.4 지수와 Pc 기여도

기후학적 강수 빈도(Pc)가 약 20%인 경우에 POD 0.5는 Acc 값 0.9를 상회하며 TS는 Pc에 종속되지 않으며 그 값은 POD보다 적은 0.3 정도이다. 반면 mETS와 mSS는 POD와 비교하여 낮은 값을 가진다. 하지만, 각 지수 값의 직접적인 비교는 적절치 않다. 모든 지수 값을 0부터 1 사이로 조정한 관계로 그 대소를 비교할 수는 있다. 하지만 이러한 조정은 동일 좌표상에 각각의 지수를 표시하고자 하는 표출의 편리성때문임을 재차 강조한다.

앞에서 보여준 2차원 분석에서 강수 기후 요소의 영향을 파악할 수 있지만 좀 더 구체적으로 보기 위해서 POD 값이 0.3, 0.5, 0.7, 0.9에 대한 Acc, TS, mETS, mSS의 지수를 계산하였다. 앞에서 확인하였듯이 Pc의 기여가 Acc에서 가장 뚜렷하며 TS에서는 Pc와 무관하고 ETS, SS에 대하여는 영향이 상대적으로 적다. 여기서 가장 중요한 사항은, 기후학적 영향은 예보 성능 자체와 연관되며 예보 성능이 낮을수록 기후 조건의 영향력이 증가한다 ( Fig. 10).

Fig. 10.

The curves of index values as a function of Pc are for (a) Acc, (b) TS, (c) mETS, and (d) mSS. For calculations, we assume BI to be 1 as in Fig. 9, which means YN = NY. The curves in dotted, solid, dashed, and dash-dotted are for the POD values of 0.3, 0.5, 0.7, 0.9 in order. The mETS and mSS are the same as ETS and SS but for rescaling their values to change from 0 to 1.

4. 결 론

분석 대상 기간 동안의 강수 현상은 단속성으로 약한 편이었다. 특히 1시간 강수의 횟수와 지속 시간1시간의 무강수 빈도수가 타 지속 시간의 빈도수에 비하여 월등히 많았다. 이는 저기압이나 태풍과 같은 장시간 강수를 동반하는 기상 상태 하에서도 시간 단위강수량 관측에 의하면 연속적이기보다는 단속성 강수가 일반적임을 의미한다. 정규 시간단위 분석과 강수사건별 분석은 유사한 결과를 보인다(Figs. 5, 6 참조).

예보와 현상의 유무 범주를 활용하는 모든 검증지수는 계산상 필요한 전체 표본 수와는 이론적으로 무관하다. 이는 기후학적인 조건이 동일하고 예보 성능이 일정한 경우라면 항상 성립한다. 따라서, 검증을 위한 표본수의 시·공간적 축소나 확대가 통계적으로 의미 있는 지수 값 변동을 유발하기는 어렵다.

각 지수 값은 대상 지역과 예보자의 능력에 따른 개별적인 특성을 반영하는 관계로 주어진 지수의 값 자체나 상대적인 변동성의 비교는 유익하다. 다른 지수들의 값들을 단순 비교하게 되면 각 지수의 특성을 간과하게 된다. 따라서 상이한 지수식으로부터 산출한 값들을 상호 비교하려면 많은 주의를 기울여야 할 것이다. 실례로 BI는 1을 기준으로 예보의 보수성이 나 진보성을 표현할 수 있는 대표적인 지수이다. 이러한 BI 값 1은 Acc 값 1과의 직접 비교는 무의미하지만 그 자체 값의 활용도는 높다.

조사한 검증 지수 모두의 장단점을 고려할 때 각 지수식의 절대적 우열을 논함은 무의미하다고 본다. 다만 한반도의 강수 특성과 강수 예보 성능 향상을 고려하여 제안하고자 하는 지수는 BI와 SS이다. BI는 예보자의 편향성 판단에 최적인 지수이다. 동일 성능의 예보 정확도에 대하여 mETS는 Acc와 mSS에 비하여 낮게, TS에 비하여 높은 지수 값을 보인다. 예보 정확도가 높은 영역에서 단위 예보 변동성에 대한 ETS의 변동이 SS에 비하여 크다. 따라서 예보 성능의 개선 수준을 판단하기에는 SS보다는 ETS가 더 적절하다.

Acknowledgments

이 논문은 기상기술원의 KMI2018-09710 연구지원 계획의 2차연도 연구비로 이루어졌다. 본 논문의 완성에 도움을 준 종관기상학 연구실의 우덕모 연구원과 김현경 연구원에 감사의 마음을 전한다.

References

• Anthes, R. A., 1983: Regional models of the atmosphere in middle latitudes. Mon. Wea. Rev., 111, 1306-1330. [https://doi.org/10.1175/1520-0493(1983)111<1306:RMOTAI>2.0.CO;2]
• Atger, F., 2003: Spatial and interannual variability of the reliability of ensemble-based probabilistic forecasts: Consequences for calibration. Mon. Wea. Rev., 131, 1509-1523 [https://doi.org/10.1175//1520-0493(2003)131<1509:SAIVOT>2.0.CO;2]
• Brier, G. W., 1950: Verification of forecasts expressed in terms of probability. Mon. Wea. Rev., 78, 1-3. [https://doi.org/10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2]
• Cherubini, T., A. Ghelli, and F. Lalaurette, 2001: Verification of precipitation forecasts over the Alpine region using a high density observing network. ECMWF Tech. Memo. No. 340, 18 pp.
• DeGroot, M. H., and S. E. Fienberg, 1983: The comparison and evaluation of forecasters. J. Roy. Stat. Soc. DSta., 32, 12-22. [https://doi.org/10.2307/2987588]
• Duc, L., K. Saito, and H. Seko, 2013: Spatial-temporal fractions verification for high-resolution ensemble forecasts. Tellus A, 65, 18171 [https://doi.org/10.3402/tellusa.v65i0.18171]
• Gordon, N. D., 1982: Evaluating the skill of categorical forecasts. Mon. Wea. Rev., 110, 657-661. [https://doi.org/10.1175/1520-0493(1982)110<0657:ETSOCF>2.0.CO;2]
• Gordon, N. D., and J. Shaykewich, 2000: Guidelines on Performance Assessment of Public Weather Services. WMO/TD No. 1023, 62 pp.
• Hamill, T. M., and J. Juras, 2006: Measuring forecast skill: is it real skill or is it the varying climatology? Q. J. Roy. Meteor. Soc., 132, 2905-2923. [https://doi.org/10.1256/qj.06.25]
• Hanssen, A. W., and W. J. A. Kuipers, 1965: On the relationship between the frequency of rain and various meteorological parameters. KNMI Meded. Verhand, 81, 2-15.
• Lim, G. H., and J. M. Wallace, 1991: Structure and evolution of baroclinic waves as inferred from regression analysis. J. Atmos. Sci., 48, 1718-1732. [https://doi.org/10.1175/1520-0469(1991)048<1718:SAEOBW>2.0.CO;2]
• Marzban, C., 1998: Scalar measures of performance in rare-event situations. Wea. Forecasting, 13, 753-763. [https://doi.org/10.1175/1520-0434(1998)013<0753:SMOPIR>2.0.CO;2]
• Mason, S. J., 2004: On using “climatology” as a reference strategy in the Brier and ranked probability skill scores. Mon. Wea. Rev., 132, 1891-1895. [https://doi.org/10.1175/1520-0493(2004)132<1891:OUCAAR>2.0.CO;2]
• Nurmi, P., 2003: Recommendations on the verification of local weather forecasts (At Member States). ECMWF Tech. Mem. No. 430, 19 pp.
• Petrik, R., M. Baldauf, H. Schlunzen, and A. Gassmann, 2011: Validation of a mesoscale weather prediction model using subdomain budgets. Tellus A, 63, 707-726 [https://doi.org/10.1111/j.1600-0870.2011.00528.x]
• Shahrban, M., J. P. Walker, Q. J. Wang, A. Seed, and P. Steinle, 2016: An evaluation of numerical weather prediction based rainfall forecasts. Hydro. Sci. J., 61, 2704-2717 [https://doi.org/10.1080/02626667.2016.1170131]
• Stanski, H. R., L. J. Wilson, and W. R. Burrows, 1989: Survey of common verification methods in meteorology. WMO World Weather Watch Tech. Rep. No. 8, WMO/TD No. 358. 81 pp.
• Tremblay, A., S. G. Cober, A. Glazer, G. Isaac, and J. Mailhot, 1996: An intercomparison of mesoscale forecasts of aircraft icing using SSM/I retrievals. Wea. Forecasting, 11, 66-77. [https://doi.org/10.1175/1520-0434(1996)011<0066:AIOMFO>2.0.CO;2]
• Wilks, D. S., 2000: Diagnostic verification of the climate prediction center long-lead outlooks, 1995-98. J. Climate, 13, 2389-2403. [https://doi.org/10.1175/1520-0442(2000)013<2389:DVOTCP>2.0.CO;2]
• Yates, E., S. Anquetin, V. Ducrocq, J.-D. Creutin, D. Ricard, and K. Chancibault, 2006: Point and areal validation of forecast precipitation fields. Meteor. Appl., 13, 1-20. [https://doi.org/10.1017/S1350482705001921]