Current Issue

기후모델 실험을 통해 산출된 대용량 기후변화 시나리오 자료의 체계적인 관리와 활용을 위하여 구축된 CEDS는 다음과 같은 기능을 갖도록 설계되었다.

• - 여러 운영체제에서 다양한 옵션을 이용한 검색 및 관리 기능 구현
• - 오픈 소스 기반 소프트웨어를 사용한 자료 저장·추출·백업
• - 국제표준 포맷 기반 메타정보 구성과 자료변환 및 품질 보증
• - 기후자료의 특성을 반영한 데이터 정렬 및 포맷변환 기능

기후변화 시나리오 산출과 관련하여 수치모델의 수행 및 모의 결과 분석, 재분석자료를 사용한 연구는 대부분 슈퍼컴퓨터 및 공용서버 등에서 리눅스 운영체제를 활용하여 수행된다. 이는 기후모델자료 후처리와 저장의 관점에서 효율적이기 때문이다. 따라서, CEDS는 리눅스 환경에 최적화시켰으며, 일반적으로 알려진 윈도우 환경에서도 이미지 변환 등의 작업이 가능하도록 구축하였다. 또한, Helper utilities 기능을 이용하여 UM모델 출력 포맷인 FieldsFile (ff)의 자료를 Post-Processiong (pp), Gridded Binary (grib), NetCDF(Rew and Davis, 1990) 형식으로의 변환이 가능하도록 하였다. Figure 1은 CEDS의 기능 흐름도를 보여주고 있다.

Fig. 1. 
Functional flow chart of CEDS (Climate & Environment Data System).

CEDS는 검증된 오픈 소스 기반 소프트웨어를 기반으로 구축되었다. 기후모델에서 산출되는 자료는 40 Petabytes의 대용량 NAS 스토리지에 저장되고, 이 자료에 대한 메타정보를 별도로 저장하는 데이터베이스를 두었다. 이러한 메타정보는 자료 검색 시 사용자가 필요로 하는 자료를 빠르게 반환하도록 돕는다. 데이터베이스로는 카산드라가 이용되었다. 분산 시스템으로 구성된 CEDS 적합하며, 장점인 Memory Mapping 기능으로 데이터 처리속도를 상향하고자 하였다(Lakshman and Malik, 2010). 이와 더불어, 강력한 검색기능을 가지고 있는 검색엔진 소프트웨어 엘라스틱서치(Elasticsearch)를 사용하였다. 엘라스틱서치는 데이터베이스 시스템에서는 다루기 어려운 전문(Full Text) 검색이 가능하다(Gormley and Tong, 2015). 전문검색은 데이터의 전체 문장에서 검색어를 추출하여 저장하고 이를 이용하여 검색하는 기능이다. 또한 추후에 시스템의 규모가 늘어나더라도 쉽게 시스템을 확장할 수 있으며, 데이터 유실을 방지하는 장점을 가지고 있다. 정확하고 빠른 검색 결과를 반환하는 엘라스틱서치는 검색 시스템에 널리 사용되고 있어 그 성능이 이미 검증된 소프트웨어이다. 카산드라와 더불어, 기후모델자료의 특성과 통합관리시스템의 목적에 잘 부합되며, 동반상승효과를 가져올 수 있는 조합으로 판단된다.

CMIP에 참여하는 각 연구기관에서 생산·제출한 기후변화 시나리오 자료는 ESGF (Earth System Grid Federation) 분산 데이터저장소에 저장된다. 여기에 저장된 시나리오 자료는 다양한 목적을 위해서 참여한 기관에 공유하게 된다. 이에 각 기관에서 제출하는 자료는 국제표준자료 포맷의 기준에 적합해야 하며(Williams et al., 2011), 자료의 품질 보증 과정을 통한 검증이 필요하다. CEDS에서는 이러한 CMIP6 자료 제출에 필요한 후처리 과정과 품질 보증 과정을 시스템에 연동하여, CEDS 자료 업로드 명령의 옵션으로 추가하였다.

CMOR (Climate Model Output Rewriter, https://cmor.llnl.gov/) 라이브러리를 이용하여 개발된 후처리 과정은 CMIP에서 정한 규칙에 따라 제출 변수를 NetCDF 형식의 국제 표준 자료로 변환할 수 있도록 해준다. 변환된 자료는 국제 표준 규격 및 각 프로젝트 규칙을 준수하고 있음을 검사하는 품질 보증 과정을 거쳐야 자료에 대한 신뢰성을 확보할 수 있다. 품질 보증 과정에 사용한 도구는 독일의 기후컴퓨팅센터에서 개발한 유틸리티인 QA-DKRZ (Quality Assurance-Deutsches Klima Rechen Zentrum)이며, 변환자료의 메타정보를 검증하는 역할을 한다. 이러한 과정을 CEDS에 연동함으로써 자료 산출에서의 사용자 개입을 최소화 하여 사용의 편의성을 개선하고 발생 가능한 오류 및 불편함을 해소할 것으로 보여진다. 사용자가 환경설정을 통해서 지정할 수 있도록 시스템을 구축함으로써, 제출목적의 시나리오 자료뿐만 아니라 연구목적으로 수행되는 모델자료들도 CEDS를 통하여 관리·활용될 수 있도록 실용성을 향상시켰다.

시스템 사용자가 자료를 저장하고 활용하는데 있어 효율성을 주기 위해 디렉토리 구조를 체계화하였다(Table 2). CEDS에 저장되는 자료를 CMIP 제출 자료와 실험 자료로 구분하고, CMIP 제출 자료는 publish/으로 지정한 후 그 하위에 CMIP5/, CMIP6/, CORDEX/를 두어 자료가 저장되도록 하였다. CMIP에 제출되는 자료는 자료 제출에 있어 준수해야 하는 명명규칙이 존재한다. 이에 하위에 입력되는 자료는 CMIP에서 요구하는 디렉토리 명명규칙 및 파일명 규칙을 이용하여 저장되도록 하였다. 실험자료는 자료를 산출하기 위하여 구동되는 모델명인 KACE/, UKESM/, HadGEM3-RA/를 최상위 디렉토리로 하여 분류하였다. 그 하위에는 실험자에 의해 지정되는 [Job id]로 구분하였고, 그 하위의 자료는 a(대기자료)/, o(해양자료)/, i(해빙자료)/로 분류하였다. 모델 수행에 필요한 자료는 work/에 저장된다. 디렉토리 구조는 사용자가 직관적으로 판단가능 하도록 하여 자료의 저장 및 사용에 있어서 혼동을 주지 않도록 설정하였다.

이에 추가하여, CEDS에서는 각 파일이나 디렉토리에 대한 메타정보를 저장해 활용함으로써 자료 활용에 도움을 주고, 다양한 기후자료들의 특성에 맞게 자료를 관리할 수 있도록 하였다. 대용량의 데이터에서 필요한 자료를 검색하는 일반적인 방법은 파일이나 디렉토리 명을 구분하여 키워드로 사용하는 것이다. 그러나 정확한 이름을 구분하지 못한다면 요청하는 자료를 검색하는데 많은 시간과 노력이 요구된다. 이러한 경우 메타정보를 이용한다면 사용자는 원하는 정보를 손쉽게 반환 받을 수 있다. 기후모델자료는 CMOR 과정을 통해 국제표준 포맷의 기준에 해당하는 메타정보가 입력되기도 하나(Taylor et al., 2012), CMOR 과정을 거치지 않는 실험자료의 경우에는 별도의 정보가 파일에 입력되지는 않는다. 전자의 경우 CEDS에서는 파일이 저장될 때 시스템이 자동으로 읽어서 메타정보를 저장하고, 후자의 경우는 사용자가 직접 입력할 수 있도록 하였다. 이미 입력된 메타정보를 삭제하거나 추가하는 기능도 있으며, 이 기능을 활용해 메타정보의 설계 및 구성이 가능하다. 기후모델자료는 실험 기간과 같은 정보 이외에도 모델의 해상도, 사용된 기후강제력, 하위 시뮬레이션 규정 복사강제력, 하위 시뮬레이션 규정 사회경제 강제력, 자료산출기관 등 실험을 구분할 수 있는 다양한 메타정보가 사용될 수 있다. 다양한 자료가 갖는 많은 정보를 일일이 메타정보로 구분하는 것은 어려운 작업이다. 이에 기후자료의 메타정보에 대한 내용을 분류하여 세분화 하였다. Table 3은 모델자료의 메타정보를 범용성과 필수성에 따라 총 4가지로 구분한 내용이며, 각 타입별로 여러 개의 key (property)와 value를 지정할 수 있도록 설계하였고, 국립기상과학원의 CEDS에 적용한 내용을 Table 4에 표기하였다. 표에 나타나는 속성 이외에도 추후에 실험에 따라 필요한 메타정보는 추가될 수 있다. 시스템 사용자가 기후 분석에 필 요한 자료를 추출하기 위해서 이러한 잘 정의된 메타정보를 이용한다면 대용량 데이터베이스에서도 신속하고 정확한 결과의 반환이 가능함을 알 수 있다.

CEDS는 3대의 서버를 클러스터로 구성하여 운영하는 분산 시스템으로 구축하였고, 카산드라 데이터베이스, 검색 서버, 웹 서버의 세가지 요소를 병렬화 하여 구동되도록 구성하였다. 병렬화는 하나의 컴포넌트에 문제가 발생할 경우 전체 서비스에 문제가 생기는 SPOF (Single Point of Failure)를 방지하여 시스템의 안정성을 높이고, 시스템의 성능을 향상시키기 위한 방안으로 적용되었다. CEDS는 하나의 서버에서 세션에 데이터를 저장하면 클러스터 내의 다른 서버로 데이터가 자동 복제되어 데이터 손실을 방지할 수 있으며, 서버에 문제가 생겼을 경우 다른 서버를 통해 작업을 복구하여 계속 진행할 수 있는 장점이 있다.

저장되는 데이터의 증가와 시스템에 접근하는 사용자의 증가되는 경우 I/O요청에 대한 응답 시간이 길어지게 된다. 이에 소프트웨어 로드 밸런서를 두어 시스템의 성능을 높이고자 하였다. HAproxy는 고가의 하드웨어 로드밸런서를 대체하기 위한 오픈소스 로드 밸런싱 소프트웨어로 시스템의 오류 없이 오랜 시간운영 가능한 고가용성을 위해 설계되었다. CEDS에서는 이를 이용하여 많은 사용자들이 동시에 접근하여 작업을 수행하는 경우 발생 가능한 서비스 지연에 대비하고자 한다. 적절한 로드 밸런싱 알고리즘을 사용하여 유휴중인 서버에 사용자를 배치하여 응답시간을 단축시킨다. CEDS 내 서버들의 작업을 가능한 한 균등하게 분배되도록 하고, 이는 적절한 분산 처리를 통해 전체적인 시스템의 성능을 높일 수 있다.

CEDS는 시스템 안정성과 성능 향상을 위하여 3대의 서버를 클러스터로 구성한 분산 병렬 처리 시스템 이다. 본 논문에서는 하나의 노드로 구성된 병렬화 이전 시스템과 3대의 노드로 구성된 병렬화 이후 시스템의 성능을 비교하는 실험을 설계하고 결과를 고찰하여 시스템의 성능 및 신뢰도 향상을 가져오는 병렬화의 효과에 대하여 살펴보았다. Table 5는 성능 측정을 위한 실험환경을 보여준다. 각 노드는 버추얼박스를 이용하여 구성하였고, 정확한 측정을 위해 별도의 독립된 환경에서 구동되었다. 성능 측정을 위한 도구로는 아파치 JMeter를 사용하였다. JMeter는 10여년 이상 사용되고 있는 오픈소스 소프트웨어로 CEDS에서 사용하는 HTTP(S), TCP 등의 프로토콜을 모두 지원한다. 사용방법이 많이 복잡하지 않아 적용에 어려움이 없고, 여러 어플리케이션, 서버들을 지원하여 성능테스트를 수행할 수 있다(Halili, 2008). 서버의 부하테스트 수행을 위해서는 옵션 값의 설정이 필요하다. 전체 Thread가 모두 실행되는데 필요한 시간인 ‘Ramp-up Period’와 실행하고자 하는 Thread의 개수값 ‘Number of Threads’, 사용자가 요청하는 반복 작업의 수를 나타내는 ‘Loop Count’를 설정하고, 대량의 검색 요청을 전송하여 성능 차이를 확인하였다. 이 실험은 클러스터로 구축된 병렬화 시스템의 에러율이 0%인 최대 수용량을 기준으로 모의 환경을 구성하였기에 이에 맞추어 ‘Ramp-up Period’와 ‘Number of Threads’를 설정하였다. Figure 6은 실험 결과를 보여주고 있다. 성능평가 결과, 평균 응답 속도는 병렬화 이전의 1,142.75 ms에서 병렬화 이후에는 629.25 ms로 약 81% 향상을 보여주었고, 서버가 처리하는 초당 요청 수를 나타내는 처리량은 304.8건에서 468.3건으로 약 34% 이상 향상됨을 보여주었다. 이러한 개선된 성능은 시스템을 사용하는 사용자의 만족도를 높여 결과적으로 병렬화가 시스템의 안정성, 성능뿐만 아니라 사용자 서비스 면에서도 우수하다는 것을 확인할 수 있다. 성능 개선에 대한 비율은 (p₁ − p₂)/p₂ 수식을 이용하였다(p₁ 병렬화 이전의 성능, p₂ 병렬화 이후의 성능).

Fig. 6. 
Performance comparison between before and after the construction of parallel and distributed systems (a) Average response time (b) Throughput.

체계적으로 저장된 자료를 활용하는 경우 자료를 새로 생성하는데 필요한 시간과 비용을 줄일 수 있다. 또한 이러한 정보는 사용자의 필요에 맞게 가공되어 가치 있는 정보의 산출도 가능하게 한다. 잘 보관된 자료의 활용을 돕기 위해서는 원하는 자료를 손쉽게 찾을 수 있어야 한다. 자료의 양이 증가할수록 요청자료를 찾아내는 것은 많은 시간을 요구한다. 이에 CEDS는 메타데이터를 활용하는 것뿐만 아니라 검색엔진을 구동하여 필요한 데이터를 빠르게 반환 받을 수 있도록 하였다.

본 논문에서는 CEDS에 구현된 검색 기능을 이용하여 쿼리를 처리하고 이를 사용자에게 반환하는데 걸리는 시간을 평가하였다. 동일한 키워드를 이용하여 자료의 개수가 10⁶ 인 경우와 자료의 양을 10배 증가시킨 10⁷ 인 경우의 검색요청에 대한 반환 속도를 비교하였다. 실험은 CEDS가 설치되어 있는 서버에서 수행하였고, 3대의 서버는 인텔 Xeon E5-2690V4 @ 2.6 GHz 서버로 140 GB의 메모리로 구성되어 있으며, CentOS Linux 7 OS가 설치 되어 있다. 3대의 서버 모두 동일한 컴퓨팅 환경을 갖추고 있다. Figure 7은 20개의 쿼리를 이용하여 200회 반복 수행한 후 요청 반환 시간의 평균을 내어 비교한 결과를 보여주고 있다. CEDS는 다중 키워드를 이용한 검색이 가능하며 사용된 키워드의 수는 한 개에서부터 최대 13개로 구성하여 성능을 확인하였다. 요청된 쿼리에 의해 의해 반환되는 결과가 많을수록 속도가 느리게 나타나기는 하지만 대체적으로 1초(1,000 ms) 이내의 반환 속도를 보이며, 데이터양이 10배 늘어났음에도 큰 차이를 보이지 않고, 비슷한 속도로 반환하는 좋은 결과를 보였다. Figure 8은 반환되는 결과와 반환 시간의 상관도를 보여주는 산점도 그래프이다. 요청 쿼리에 대한 결과 개수에 의해 응답 시간이 영향을 받는 것을 볼 수 있다. 저장 자료의 개수에 의해 반환하는 결과가 다르지만, 그 차이는 앞서 설명한 것과 같이 최대 1.5초 이내의 빠른 응답시간을 갖는다. 100만개 이하의 검색 결과를 나타내는 경우는 0.8초 이내의 짧은 응답 시간을 보여주고, 1초 이상의 반환 시간이 나타나는 경우는 100만개 이상의 결과를 반환하기 때문인 것으로 나타났다. 따라서 CEDS를 이용하는 이용자가 실험명, 변수명, 기간 정보 등 찾고자 하는 정보에 대한 보다 세분화된 검색어를 이용한다면 반환되는 결과의 개수가 줄어들고, 이에 짧은 시간 내에 정확하게 원하는 정보를 찾아내어 연구에 활용할 수 있을 것이다.

Fig. 7. 
Return time comparison between Million dataset and 10 million dataset.

Fig. 8. 
The scatter plot of the correlation between numbers of results and return time.