시정과 습도 관측자료를 이용한 자동 현천 관측 정확도 향상 연구
Abstract
Present weather plays an important role not only for atmospheric sciences but also for public welfare and road safety. While the widely used state-of-the-art visibility and present weather sensor yields present weather, a single type of measurement is far from perfect to replace long history of human-eye based observation. Truly automatic present weather observation enables us to increase spatial resolution by an order of magnitude with existing facilities in Korea. 8 years of human-eyed present weather records in 19 sites over Korea are compared with visibility sensors and auxiliary measurements, such as humidity of AWS. As clear condition agrees with high probability, next best categories follow fog, rain, snow, mist, haze and drizzle in comparison with human-eyed observation. Fog, mist and haze are often confused due to nature of machine sensing visibility. Such ambiguous weather conditions are improved with empirically induced criteria in combination with visibility and humidity. Differences between instrument manufacturers are also found indicating nonstandard present weather decision. Analysis shows manufacturer dependent present weather differences are induced by manufacturer’s own algorithms, not by visibility measurement. Accuracies of present weather for haze, mist, and fog are all improved by 61.5%, 44.9%, and 26.9% respectively. The result shows that automatic present weather sensing is feasible for operational purpose with minimal human interactions if appropriate algorithm is applied. Further study is ongoing for impact of different sensing types between manufacturers for both visibility and present weather data.
Keywords:
Visibility present weather sensor, observation, Critical Success Index (CSI), calibration, comparison observations1. 서 론
현천(현재일기)은 현재의 기상 상태를 나타내는 것으로 대기의 혼탁도와 강수상황을 알 수 있는 대표적인 지표로서 국민의 건강과 경제활동에 직접적인 영향을 주는 요소이다(Park et al., 2012). 또한 교통 안전에 영향을 미칠 뿐만 아니라 종관 기상 시스템을 이해하고 예보하는 데 있어서 중요하다.
다양한 형태의 기상을 관측하는 방법은 훈련을 받은 관측자의 시각과 청각을 통한 관측이다. 하지만 이러한 관측자들을 유지하는 비용과 고해상도 관측의 필요성으로 점점 자동 관측 시스템을 늘리고 있는 추세이다. 자동 관측 장비는 시정, 기온, 이슬점, 풍속, 비와 눈의 구별 등 현천의 객관적 분석이 가능하지만, 기상 현상 관측의 정밀도는 장비에 포함된 계기 및 알고리즘의 정교성에 따라 다르게 나타난다. 한편 자동 관측이 모든 기상 이벤트를 관측하는 것은 어렵지만 중요한 유형들을 관측할 수 있으므로, 정확한 알고리즘이 적용 된다면 자동 시정현천계가 충분한 훈련을 받은 관측자를 대체 할 수 있다(WMO, 2014).
시정은 대기를 통해 전망이 가능한 정도를 측정하는 것으로 중요한 물리량인 대기의 투명도는 기상광학거리(MOR, Meteorological Optical Range)로 물리적인 측정이 가능하다. 기상광학거리(MOR)는 색온도 2,700 K 백열등에서 방출된 평행광선의 광선속(Luminous flux)이 원래 값의 5%까지 감소하는데 필요한 대기의 통과 거리를 의미한다(WMO, 2006). 여기서 시정은 일기분석 외에 도로교통의 시정장애 또는 대기오염관리 등의 자료로 이용되며 특히 항공기 이착륙에 매우 중요한 기상요소이며 대기의 안정도를 나타내는 하나의 기준이 된다(KMA, 2016). 최근 대기오염의 정도가 심해짐에 따라 체감 대기 오염의 지표가 되는 시정에 대한 관심이 증가하고 있으며, 시정 악화에 따른 원인 규명 및 방지 대책 마련을 위한 연구가 활발해지고 있다(Lee et al., 2006). 시정은 대기오염과 같은 인위적 요인과 함께 강수, 안개, 박무, 상대습도, 황사와 같은 자연적 요인이 복합적으로 연관되어 나타난다(Jung et al., 1992). 이때 시정거리 감소에 영향을 미치는 기상관련 변수는 상대습도, 강수량, 운량 등이 있다고 알려져 있다(Kim, 1998).
기상청은 안개 및 시정 관측을 위해 2009년부터 시정현천계를 도입하기 시작하여 2017년 총 291개의 시정현천계를 전국에서 운영하고 있다(Fig. 1). 시정과 현천은 목측에 의존하여 관측되어왔으며, 시정은 목측을 대체할 수 있는지 검증을 통하여 2017년부터 자동 관측되고 있다. 반면에 현천의 경우 자동관측이 아닌 유인관측소인 22개 지점만 목측에 의해 제공된다. 목측은 관측자의 숙련도에 따라 달라질 수 있으며, 시정현천계에 비해 목측 관측지점은 총 22개소로 상대적으로 적은 관측 밀도를 가진다(Fig. 2). 현재 운영되는 자동 시정현천계의 현천 정확도를 높인다면 목측에 10배 이상의 조밀한 현천 관측이 기대된다. 해외의 경우 네덜란드 기상청은 시정현천계의 강수유형판별을 위한 품질개선 연구를 수행 하면서 Parsivel 등 우적계 관측과 비교하였다(de Haij and Wauben, 2010). 정성적인 현천 판별은 하나의 정량적인 자동시정현천계 관측으로 대체하기 어려우며, 강수유형판별 및 짙은 안개 판별 오류 개선을 위해 AWS 습구온도 및 우적계 등 추가적인 관측 값의 활용을 제시하였다.
본 연구에서는 시정현천계의 현천 관측품질을 분석하고 가용한 부가적인 기상관측을 활용한 개선방법을 제시하여 현천 자동화 가능성을 확인하고자 하였다.
2. 자료 및 방법
연구에 사용된 시정현천계는 시정과 현천을 측정하는 광학센서이다. 이때 시정현천계는 적외선을 방사하여 전방 산란되는 대기 중의 입자 및 에어로졸에 의해 산란되는 광원의 양을 측정, 시정을 산출한다. 현천은 센서에서 측정되는 광원의 양과 센서에 탑재된 온·습도센서, 수감부와 송신부 사이에서 관측된 빗방울 입자들의 강수율을 종합하여 처리하는 자체 알고리즘을 통해 WMO 4680 자동현천 관측 코드로 현재일기 코드를 산출한다. 매분 현재일기 자료를 생산하기 위하여 10~15초 간격으로 관측자료를 수집해 가장 많은 빈도를 나타낸 현재일기 코드를 매분 자료로 사용한다(KMA, 2016).
유인관측소에 설치된 시정현천계는 Vaisala와 Biral사 제품 2종이 있다. Vaisala사의 PWD22 모델은 전방 산란 방식으로 관측 공간부피는 100 cm3이며 온도 센서와 강수센서를 포함하고 있다. 적외선을 조사하여 산란된 신호를 얻어서 입자의 크기 및 속도의 광학 신호와 강수센서 신호의 비를 측정하고, 이 값을 이용하여 온도 정보에 따라 현천을 판별한다. Biral사 VPF-730 모델은 전방 산란 방식으로 관측 공간부피는 400 cm3 전·후방 산란을 이용하여 입자의 크기와 낙하속도로 강수유형을 구분한다. 연구에서 사용된 관측 장비는 Fig. 3과 같고 PWD22 시정현천계와 VPF-730 장비의 자세한 사양은 Table 1과 같다.
본 실험은 목측과 시정현천계의 관측의 비교를 위해 기상청에서 운영 중인 22개 유인관측소 중 시정현천계 2종 장비가 설치된 19개 지점(서울, 백령도, 인천, 수원, 북춘천, 북강릉, 울릉도, 청주, 대전, 광주, 목포, 흑산도, 여수, 제주, 안동, 포항, 부산, 울산, 창원)을 선택하여 분석하였으며(Fig. 2), 2009년~2016년동안 약 8년간의 목측자료와 시정현천계 현천 자료를 사용하였다. 유인관측소의 목측 현천 자료는 주간의 경우 1시간 간격, 그리고 야간의 경우 3시간 간격(18시, 21시, 00시, 03시, 06시) 관측을 하므로 일일 8회(매 3시간) 균일 관측시간 간격을 사용하였다. 목측은 관측기준시간 전 10분 동안의 현천을 기록하였다. 목측의 경우 WMO (2014) 지침에 따라 상대습도와 시정을 기준으로 박무, 연무, 안개를 판별한다. 또한, 시정의 경우 관측지점의 특성을 고려한 시정도를 마련하고 시정의 기준으로 사용하여 본 연구에서 목측 기준자료로 활용하였다. 시정현천계 현천 자료는 목측자료 기준시간으로부터 이전 1시간 동안의 1분 자료중 가장 많이 판정된 현천 자료를 사용하였다. 이는 목측과 현천 자료간의 시간적 차이에 의한 불확실도를 최소화 하는 조건으로 판단된다. 목측과 계측의 현천코드 비교를 위해 WMO 유인코드인 4677 코드를 시정현천계에서 사용 중인 4680 코드로 변환하여 분석하였다.
시정현천계의 현천 판정은 제작사의 자체 판정 알고리즘을 사용하며 상세 방법은 공개되어 있지 않다. WMO (2014)는 목측의 객관성을 높이고자 연무, 박무, 그리고 안개를 구분하는 조건을 제시하고 있다. 현천을 결정하는 기상요소는 시정, 습도, 기온, 풍속, 이슬점 등이 있고, 이 중 시정이 가장 중요한 요소이다. 본 연구에서는 판정 기준을 가장 중요한 판정 요소인 상대습도와 시정의 조합으로 연무, 박무, 안개의 자동현천관측의 개선에 사용되었다(Table 2). 상대습도센서는 시정현천계에 장착 되어있지 않으므로 지점별 1분 AWS의 정시자료를 이용하였다. 시정현천계의 현천코드가 안개로 나타난 경우 시정이 1 km 이상일 때 시정현천계 기기오류로 판단해 값이 없음으로 처리하여 분석에서 제외하였다. 박무는 시정이 1 km 이하이며 상대습도가 80% 이상일 때 박무를 안개로 판정하였다. 시정이 1 km 초과 10 km 미만이며 상대습도가 75% 미만일 때 Table 2의 연무와 박무 판별기준에 따라 박무는 연무로 판정하였고, 연무의 경우 시정이 1 km 이하이며 상대습도가 80% 이상일 때 연무를 안개로 판정하였다. 시정이 1 km 초과 10 km 이하이며 상대습도가 75% 이상일 때 연무를 박무로 정정하였다(KMA, 2016).
3. 결 과
3.1 시정현천계 자료와 목측자료 비교
2009년부터 2016년 까지 약 8년간의 목측을 통한 현천자료와 시정현천계의 현천 값의 빈도수를 비교하였다(Fig. 4a). x축은 목측 관측을 나타내며 y축은 시정현천계 코드이다. Figure 4a의 격자점 내의 숫자는 목측 관측과 시정현천계의 현천이 일치하는 횟수를 나타낸다. 청천(clear)의 경우 목측이 청천으로 관측했을 때 시정현천계는 연무(haze), 박무(mist), 비(rain)로 오측을 하는 경향을 보인다. 이슬비(drizzle)는 목측과 시정현천계의 현천이 일치 하지 않고 다른 현천코드를 나타낸다. 이는 de Haij and Wauben (2010)의 연구에서 시정현천계의 이슬비를 포함한 약한 강수 판별의 정확도를 높이고자 우적계를 활용한 내용과 일치한다. 또한 목측이 연무와 박무 일 때 시정현천계는 그 두 가지 현천의 판별을 혼동하는 것으로 확인되었다.
시정현천계로부터 판정된 현천의 적중률과 그 특성을 판단하기위해 Table 3의 스코어 계산조건으로 적중률(CSI; Critical Success Index), 성공률(POD; Probability of Detection), 그리고 실패율(FAR; False Alarm Rate)을 구해 목측자료와 비교 분석을 실시하였다(Kok, 2000). 성공률(POD)의 경우 값이 높을수록 시정현천계의 현천관측 적중률이 높으며 실패율(FAR)은 부적중률을 나타내며 100에 가까울수록 적중률이 낮다. 적중률(CSI)은 성공지수로 시정현천계가 목측과 일치한 경우를 스코어로 나타낸 값이다. 여기서 적중률(CSI)은 성공률(POD)과 실패율(FAR)의 함수이며 POD > 100 – FAR의 경우 실패율(FAR)이 더 큰 영향을 주고 반대의 경우 성공률(POD)이 적중률(CSI)에 더 큰 영향을 미친다. 즉, 같은 적중률(CSI)이라도 성공률(POD)과 실패율(FAR)의 비중에 따라 적중률(CSI)의 원인과 특성을 가늠할 수 있다(Gerapetritis and Pelissier, 2014).
Figure 5는 두 가지 종류의 시정현천계를 합한 19개 지점 목측을 기준으로 시정현천계의 스코어 계산을 진행하여 적중률(CSI), 성공률(POD), 실패율(FAR)을 구하였다. 청천(clear)의 경우 높은 적중률(CSI)을 보이며 성공률(POD)이 높은 반면 실패율(FAR)은 낮아 목측과 시정현천계의 결과가 가장 잘 일치한다. 반면 연무(haze)의 낮은 성공률(POD)과 높은 실패율(FAR)은 낮은 적중률(CSI)의 모든 조건에 해당한다. 박무(mist)의 경우 성공률(POD)이 높으나 실패율(FAR)이 50%까지 도달하여 적중률(CSI)이 약 40%에 머무른다. 이러한 적중률(CSI)은 POD > 100 – FAR로 실패율(FAR)을 개선 하는 것이 CSI에 더 큰 영향을 준다고 볼 수 있다. 또한, 안개(fog) 역시 적중률(CSI)이 낮은 경향을 보여 시정현천계의 제작사 알고리즘으로 산출된 현천은 정확도의 개선이 필요하다.
3.2 시정현천계 현천코드(연무, 박무, 안개) 보정
연무, 박무, 안개의 경우 대기의 물 입자의 크기와 밀도에 따라 구분되나, 시정현천계만으로는 이러한 미세한 차이를 구분하기 어려운 것으로 보인다. 시정현천계에 사용된 센서는 일반적으로 온·습도 등 다른 기상관측 장비보다 장비 별 감도의 차이가 나는 경향이 있다(Merenti-Välimäki et al., 2001).
목측과 비교하여 시정현천계의 현천 보정은 WMO (2014)에서 제시한 목측 지침을 기반한 시정과 대기습도를 고려한 기준(Table 2)으로 시정현천계의 현천보정을 수행하였다. Figure 4b는 보정된 시정현천계 현천을 contingency matrix로 나타내고, 보정 전 현천과 비교하였다. 청천(clear)의 경우 시정현천계에서 연무(haze)와 박무(mist)로 판단한 오류 값들이 현저히 감소하였다. 비(rain)와 이슬비(drizzle)는 보정에 의한 영향이 크지 않았다. 안개(fog)의 경우 보정 전과 보정 후 연무(haze)와 박무(mist)로 오측하는 빈도가 감소하였다. 그리고 연무(haze)는 보정 전 박무(mist)로 오측하는 빈도(6,726)가 많았으나, 보정 후에는 빈도(656)가 90% 감소되었다. 박무(mist) 를 연무(haze)로 판정하는 빈도는 보정 후 약 80% 이상 정확도가 증가하였다. 보정 전 시정현천계의 연무(haze), 박무(mist), 그리고 안개(fog)의 오측은 습도와 시정을 기준으로 판정된 보정을 적용한 이후 정확도 개선이 확인되었다.
보정 전후의 적중률(CSI)을 현천코드에 따라 비교하였다(Fig. 6). 연무(haze)의 경우 보정 전 8.0%로 낮은 적중률(CSI)을 보였으나, 보정 후 70% 이상의 적중률(CSI)을 보였다. 박무(mist) 는 보정 전 약 40%의 적중률(CSI)이 약 80% 이상으로 개선되었다. 안개(fog) 역시 약 50%에서 75%로 적중률(CSI)의 개선을 확인하였다. 시정현천계의 현천 보정이 습도와 시정 조건만으로 수행되어 강수(rain)와 이슬비(drizzle), 그리고 강설(snow)의 개선효과는 보이지 않았다.
3.3 보정 후 시정현천계 현천코드 장비간 특성 비교 연구
Figure 7은 목측을 기준으로 두 장비 각각의 적중률(CSI)을 구하여 비교하였다. 19개 지점 중 PWD22 모델은 12개 지점, VPF-730 장비는 7개 지점에 설치되어 있으며, PWD22와 VPF-730의 적중률(CSI)은 청천(clear)의 경우 88 %와 84%, 강수(rain)은 70%와 60%, 강설(snow)의 경우 64%와 55%, 이슬비(drizzle)의 경우가 모두 4%로 각각 나타났다. 강수(rain)와 이슬비(drizzle)의 경우 성공률(POD)은 차이가 크지 않았으나 실패율(FAR)에서 상대적으로 큰 차이를 보여 장비 별 오차가 확인되었다. 반면, 청천(clear)과 강설(snow)은 성공률(POD)과 실패율(FAR)에서 큰 차이를 보이지 않았다. 이 중 가장 낮은 적중률(CSI)을 보인 이슬비(drizzle)는 이전 연구로 보고된 시정현천계의 약한 강수 판별 문제를 확인할 수 있었다(Merenti-Välimäki et al., 2001).
본 연구를 통해 보정 후 가장 큰 개선결과를 보인안개(fog), 연무(haze), 박무(mist)의 PWD22와 VPF-730의 적중률(CSI)은 안개(fog)의 경우 각각 50%와 43%이며, 연무(haze)의 경우 2%와 15%, 박무(mist)의 경우는 42%와 22%로 확인되었다. 안개(fog)는 성공률(POD)는 비슷하나 실패율(FAR)에서 약 20%의 차이를 보여 적중률(CSI)은 장비간 차이가 원인으로 판단된다. 연무(haze)와 박무(mist)는 성공률(POD)에서 큰 차이를 보여 장비간 현천관측의 차이를 확인할 수 있었다.
관측지점의 관측환경이 시정현천계의 제작사 별 현천 차이에 미치는 영향을 확인하고자 관측지점 별 안개(fog), 연무(haze), 박무(mist)의 적중률(CSI)을 분석하였다(Fig. 8). 연무(haze)의 경우 PWD22 장비는 모든 지점에서 상대적으로 균일한 성공지수를 보여 관측 지점의 영향은 미미한 것으로 보이며, 낮은 성공률(POD)과 함께 연무(haze)에 대한 과소 판정이 보여 PWD22는 연무(haze) 판정이 취약하다. VPF-730 장비는 관측지점 별 차이가 있었으나 PWD22에 비해 높은 적중률(CSI)을 나타내 제작사간 차이를 보였다. 박무(mist)의 경우 PWD22와 VPF-730 장비 모두 지점별 차이가 보였으나 장비 별 적중률(CSI)은 큰 차이를 보인다. 시정현천계 제작사 별 차이의 원인으로는 시정과 현천 알고리즘으로 판단된다. 시정은 제작사간 관측원리의 차이, 관측지점 별 장비 주변 시설물이나 지형 등의 영향과 거미줄이나 광학계 오염 등으로 인한 원인이 될 수 있으며, 제작사 별 현천 알고리즘의 차이가 원인이 될 수 있다.
제작사 별 현천 차이가 보정 후 개선되는지 확인하기 위해 두 제작사의 시정 값과 지점 별 습도 값을 이용하여 Table 2의 현천 판정 기준으로 보정된 현천을 산출했다. Figure 9는 PWD22(12지점)과 VPF-730(7지점)의 보정 전/후의 평균 적중률(CSI)을 비교하였다. 보정 전 제작사 별 안개(fog), 연무(haze), 박무(mist)가 50% 이하의 적중률(CSI)를 보였으나 보정 후 65% 이상 적중률(CSI)로 개선 되어 이슬비(drizzle)을 제외한 모든 현천이 50% 이상의 적중률(CSI)로 현천을 판정하였다. 보정 전과 후의 차이를 현천 별 빈도수로 확인하기 위해 contingency matrix로 비교하였다(Figs. 10, 11). 제작사 차이는 관측 지점별 특성을 비교하기 위해 도심, 전원, 그리고 해안지역의 대표지점을 선정하였다. PWD22는 서울(108), 안동(136), 그리고 목포(165) 지점을 선정하고, VPF-730는 인천(112), 창원(155), 그리고 여수(168)지점을 선택하였다. x축은 목측 관측을 나타내며 y축은 시정현천계 코드이다. 보정 전 PWD22는 연무(haze)에 대한 과소 판정으로 박무(mist)에서 큰 오차가 보였고, VPF-730은 큰 오차를 보이지 않았다. 박무(mist)는 PWD22 장비에서 비교적 정확한 결과를 보였으나 VPF-730은 과소 판정으로 큰 오차가 발견되었다.
보정 후 PWD22와 VPF-730 장비 모두 보정 전 안개(fog), 연무(haze), 박무(mist)에 대한 과소 또는 과대 판정된 현천 오차가 개선되었다. 지점 별 차이 역시 보정 후 균일한 현천 개선효과를 보였다. 다만, 보정 후 VPF-730 장비는 강수(rain)의 잘못된 판정이 남아 있어 PWD22과의 제작사간 차이를 보인다. 시정과 습도를 기반으로 한 같은 보정기준을 적용한 결과 두 제작사의 현천의 동일한 개선을 확인하였다. 이는 시정현천계의 제작사 별 현천 오차는 제작사 간 시정의 차이보다 현천 알고리즘의 차이가 더 큰 것으로 판단된다.
4. 요약 및 고찰
시정현천계를 통한 현천 자동화를 위해 시정현천계(PWD22, VPF-730)로 부터 산출된 현천 자료의 성능검증을 수행하고, 현천 관측의 자동화를 위해 현천 관측의 정확성과 신뢰성을 개선하는 연구를 수행하였다. 전통적으로 목측을 통해 수행된 현천관측의 객관성을 높이기 위해 WMO는 시정과 습도를 이용한 현천분류 기준을 제시하였다(WMO, 2014). 시정현천계의 현천 관측값을 장비 간 특성비교와 현천 자동화에 대해 검증을 하였다. 그 결과 모든 지점에서 청천 사례일 때 적중률(CSI)이 높았으며, 다음으로 강수(rain), 강설(snow), 안개(fog), 박무(mist), 연무(haze), 이슬비(drizzle) 순이었다.
시정현천계 관측 장비 별로 연무(haze)와 박무(mist)의 관측특성이 다른 것으로 확인되었다. 이는 제작사별 측정 원리와 현천 판정 방법의 차이를 함께 고려해야 될 것으로 보인다. 지상관측 자료를 활용하여 시정현천계 현천코드(연무, 박무, 안개)를 보정하였고, 목측자료와 보정 전/후의 비교로 현천 자동화를 통한 관측품질 개선 가능성에 대해 연구하였다. 관측지점의 시정과 자동기상관측장비의 습도 값으로 현천코드 조건을 제시하였고, 이를 기반으로 현천 분류를 재시도하여 보정 값을 산출하였다. 습도 값의 분류 기준은 목측자료와 자동 현천 값의 비교를 통해 산정하였다. 그 결과 보정 후 연무, 박무, 안개의 검증지수 정확도가 향상되었다. 시정현천계 관측 장비 간 비교에서는 보정 전 연무, 박무의 관측특성이 다르게 나타났으며 보정 후에는 검증지수가 연무 61.5%, 박무 44.9%, 안개 26.9%로 개선되는 것을 확인하였다.
목측을 통한 현천코드와 시정현천계의 시정 및 자동기상관측장비의 습도 값의 상관관계를 통해 개선된 현천코드를 제시하였다. 장비의 시정 값을 사용하는 제작사 별 현천코드에 반해, 시정 값과 장비 주변의 습도를 고려한 본 연구의 현천코드가 목측에 가까운 결과를 보였다. 특히, 연무, 박무, 안개의 경우 시정현천계 자동화가 가능한 정도로 정확도가 개선되는 결과를 보였다. 향후 시정현천계를 활용한 자동 현천 관측을 위해 현천 종류 별(비, 눈, 이슬비 등) 정확도 연구를 추가로 수행할 계획이다(Wauben, 2002). 현천 관측을 목측에서 계측으로 전환하려면 신뢰도 높은 자료 생산이 필수적이다. 따라서 현업용 지상관측자료를 활용한 품질관리 기술이 개발된다면 목측 관측지점의 10배 이상의 시정현천계 관측과 도로 시정계를 통합하는 고해상도 현천 관측체계 구축에 따른 고품질 기상자료 제공이 가능할 것으로 사료된다.
Acknowledgments
이 연구는 기상청 국립기상과학원 『위험기상에 대한 감시·분석·예측 개발 및 활용연구』(1365003083)의 지원으로 수행되었습니다.
REFERENCES
- de Haij, M., and W. Wauben, 2010: Investigations into the improvement of automated precipitation type observations at KNMI. The WMO Tech. Conf. on Meteorological and Environmental Instruments and Methods of Observation, Helsinki, Finland, TECO2010.3.2. [Available online at https://www.wmo.int/pages/prog/www/IMOP/publications/IOM-104_TECO-2010/3_2_DeHaij_Netherlands.pdf, ]
- Gerapetritis, H., and J. M. Pelissier, 2004: The critical success index and warning strategy. Preprints, 17th Conference on Probability and Statistics in the Atmospheric Sciences, Seattle, WA, Amer. Meteor. Soc., 2.10 [Available online at https://ams.confex.com/ams/84Annual/techprogram/paper_70691.htm, ]
- Jung, Y.-S., T.-G., Kim, and J.-S., Jung, 1992: On relationship of low visibility to air pollution in cities. J. Korean Soc. Atmos. Environ., 8, 1-6 (in Korean with English abstract)
- Kim, M.-S., 1998: Affecting factors on variations and longtrends of the atmospheric visibility in the metropolitan area of Taegu. J. Korean Soc. Environ. Admin., 4, 97-107 (in Korean)
- KMA, 2016: Guidelines for ground weather observation. Korea Meteorological Administration, 282 pp (in Korean)
- Kok, C. J., 2000: On the behaviour of a few popular verification scores in yes/no forecasting. Scientfic report WR-2000-04, Koninklijk Nederlands Meteorologisch Instituut, KNMI, 73 pp
- Lee, Y.-S., and S.-Y. Kim, 2006: Distribution characteristics and trends of visibility in Korea. J. Climate Res., 1, 23-38 (in Korean with English abstract)
- Merenti-Välimäki, H.-L., J. Lönnqvistm, and P. Laininen, 2001: Present weather: comparing human observations and one type of automated sensor. Meteorol. Appl., 8, 491-496 [https://doi.org/10.1017/S1350482701004108]
- Park, S.-Y., S.-J. Jo, H.-N. Yoo, and Y.-J. Kim, 2012: A study on visibility and present weather by comparing PWD22 with eye measurement. Proc. Korean society for Atmospheric Environment. Conf., 68-68 (in Korean)
- Wauben, W. M. F., 2002: Automation of visual observations at KNMI; (I) comparison of present weather. Extended Abstract, Symposium on Observations, Data Assimilation, and Probabilistic Prediction, Orlando, Florida, Amer. Meteor. Soc., J3.1 [Available online at https://ams.confex.com/ams/annual2002/techprogram/paper_27237.htm, ]
- WMO, 2014: Guide to Meteorological Instruments and Methods of Observation. 2014 editon updated in 2017, World Meteorological Organization, 1177 pp