Guide to improve the skill of Probability of Precipitation Forecast from the Medium-Range Ensemble Prediction System

다국어 초록 (Multilingual Abstract)

The calibration method and the optimal probability threshold were proposed in order to improve the skill and utility of an ensemble-based Probability of Precipitation (PoP) forecast. The raw ensemble PoP forecasts were derived from the Japan Meteorological Agency (JMA) medium-range Ensemble Prediction System (EPS). In terms of 0.5, 1, 2, 3, 6, 12, 24, 48, and 72 mm day-1 precipitation thresholds, the 24-hour accumulated PoP forecasts were verified as a function of forecast time up to 9 days from January 2003 to December 2004.
Comparison between the raw and the calibrated PoP forecasts was carried out by using several skill measurements: reliability, the relative operating characteristic, and the Brier skill score. It is found that the raw PoP forecasts were evidently biased, exhibiting over-forecasting to the light rainfall events and under-forecasting to the heavy rainfall events. The 5-day calibrated PoP forecasts of the 1 mm day-1 precipitation threshold provide the excellent reliability close to the perfect reliability. In addition, the relative operating characteristics and the Brier skill scores also show that the calibrated ensemble forecasts are superior to the raw ensemble forecasts. In terms of the threshold of 48 mm day-1, the calibration provides less skill because of the rarity of the events screened by the threshold of 48 mm day-1.
Skill comparisons among the control forecast, the ensemble mean forecast, and the deterministic ensemble forecast selected by the optimal probability thresholds (perfect bias (bias=1) or maximum equitable threat score) were carried out. Both deterministic ensemble forecasts selected by optimal probability thresholds show better skill than the control and the ensemble mean forecasts. The monthly variations of the bias and the equitable threat scores for 5-day deterministic ensemble forecasts selected by two optimal probability thresholds are investigated from January 2003 to December 2004. It is found that the under-forecasting tendency is prevail to all precipitation thresholds and the tendency is stronger according to the increase of the precipitation threshold. The amplitude of the equitable threat score is decreasing as increasing the precipitation thresholds. In case of the thresholds of 1 and 6 mm day-1, the seasonal variability, that the equitable threat score decreases in summer and increases in winter, is evidently found. In case of the threshold of 48 mm day-1, the different seasonal variability, that the score becomes higher from March to June, is observed.
To take full advantage of the rare event data and to give the warning of them in advance, the potential index was developed on the basis of the climatology in terms of the observed precipitation and the calibrated PoP forecasts. The skill of the normalized potential index (NPI) was measured by the hit rate, the false alarm rate, and the forecast limit as a function of forecast days up to 9 days in January, April, July, and October 2003 and 2004. It is found that the normalized potential index can effectively describe the potential risk of the forecast event up to 9 days. It is also found that the hit rate is larger than the false alarm rate for 2 years. For more detail assessment, the frequency distribution of daily accumulated precipitation events is investigated. The relatively small frequency among the bins from 6 to 72 mm day-1 precipitation thresholds is found compared with other frequency distributions. In addition, the frequency distributions of the observed precipitation events in October 2003 and July 2004 also show the similar histograms.

국문 초록 (Abstract)

중기 앙상블 강수 확률 예보 기술과 유용성을 향상시키기 위한 방법으로 앙상블 예보 보정법, 최적 확률 스레솔드, 잠재 지수 등이 연구되었다. 먼저 사용된 앙상블 예보 시스템은 24개의 멤버와 1개의 컨트롤 예보로 구성되어 있으며, 초기 섭동장 생산을 위하여 브리딩법이 사용되었다. 사용된 강수 스레솔드는 0.5, 1, 2, 3, 6, 12, 24, 48, 72 mm day-1이며, 24시간 누적 강수에 대하여 예보 9일째까지 보정 전후의 스킬 비교 및 최적 확률 스레솔드와 잠재 지수의 우수성을 평가하였다. 모든 평가는 2003년 1월부터 2004년 12월까지 2년 동안 월 단위로 수행되었다.
먼저 앙상블 평균 예보의 스킬 한계를 산출하기 위하여 RMSE(root mean square error)와 아노말리 상관 계수를 사용하였다. RMSE와 아노말리 상관 계수는 모두 봄, 가을에 높은 예보 기술을 보이고 여름에 가장 낮은 예보 기술을 보였다. 예보 스킬 한계는 뚜렷한 스킬의 계절 변동 특성 때문에 계절마다 차이를 보이지만 약 예보 5일까지는 스킬이 유지되는 것으로 나타났다.
따라서 강수 확률 예보 검증은 예보 5일째를 기준으로 수행되었으며, 사용된 9개의 강수 스레솔드 중 1 mm day-1와 48 mm day-1에 대하여 스킬을 비교 검증하였고 한 달 동안 150개 지점에 대하여 검증을 수행하였다. 강수 확률 예보 기술은 신뢰도, 분해능, Brier 스킬 스코어 등을 사용하여 평가되었다. 1 mm day-1 강수 스레솔드에 대한 신뢰도 분석 결과, 모델 바이어스에 의하여 많은 강수를 추정하는 경향이 뚜렷하게 나타났으며, 48 mm day-1 강수 스레솔드에 대해서는 강수를 과소 추정하는 경향이 뚜렷하였다.
본 연구에서 이러한 바이어스를 효과적으로 제거하기 위한 앙상블 보정법을 제시하였다. 확률 예보 보정을 위하여 1971년부터 1996년까지 강수 게이지에 의하여 관측된 강수량을 기후값으로 사용하였으며, 2002년 7월부터 2004년 6월까지 앙상블 모델 강수 예보 결과를 모델 기후값으로 사용하였다. 보정 결과 1 mm day-1 스레솔드에 대한 강수 확률 예보의 신뢰도가 상당히 개선되는 것으로 나타났다. Brier 스킬 스코어 역시 보정 전의 확률 예보 결과와 비교하여 뚜렷한 향상을 보였다. 48 mm day-1 스레솔드에 대하여 보정된 강수 확률 예보 결과는 1 mm day-1 스레솔드에 비하여 스킬 효과가 낮거나 거의 스킬 향상 효과를 보이지 않았다. 이러한 원인은 샘플의 수가 충분하지 않기 때문에 나타나는 것으로 호우와 같이 높은 스레솔드에 대한 앙상블 강수 확률 예보의 기술을 향상시키기 위해서는 낮은 확률에 대해서 민감하게 반응하는 지수가 요구된다.
확률 예보와 결정론적 예보는 각각 장단점을 가지고 있다. 확률 예보의 경우 다양한 정보를 제공하는 반면 사용자가 확률 예보에 대한 지식이 부족할 경우 오히려 판단을 내림에 있어 혼란을 가중시킬 가능성이 크다. 결정론적 예보는 하나의 예보만을 말하는 것으로 예보를 사용하는 유저는 직관적으로 판단을 내릴 수 있다. 앙상블 예보에서는 앙상블 평균 예보라는 결정론적 예보를 제공하여 왔다. 앙상블 평균 예보의 경우 컨트롤 예보에 비하여 보다 향상된 예보 기술을 가지고 있다.
본 연구에서는 단순 앙상블 평균 예보가 아닌 최적 확률 스레솔드를 구하고 그에 따른 결정론적 예보에 대한 기술을 평가하고자 한다. 최적 확률 스레솔드는 바이어스가 1인 경우와 equitable threat score (ETS)가 최대가 되는 확률로 구해진다. 두 최적 확률 스레솔드를 이용한 최적 예보와 앙상블 평균 예보 그리고 컨트롤 예보의 바이어스와 ETS를 각각 예보 시간별로 계산하였다. 컨트롤과 앙상블 평균 예보에 비하여 최적 예보가 우수한 예보 기술을 보였으며, 두 최적 확률 스레솔드에 대한 예보 기술 평가에서는 ETS가 최대가 되는 확률 스레솔드를 사용한 최적 예보가 조금 더 향상된 예보 기술을 보였다.
극한 기상 현상과 같이 빈도가 낮은 사례에 대한 잠재적 위험도를 제공하기 위한 잠재 지수(Potential Index) 연구가 수행되었다. 잠재 지수는 관측된 강수의 기후 빈도와 보정된 강수 확률 예보의 빈도를 사용하여 개발된 지수로 강수의 기후학적 상대적인 강도에 민감하게 반응하는 특징을 가지고 있다. 양의 방향으로 무한대 크기를 가지는 잠재 지수를 정규화 하였고 정규화된 잠재 지수에 대한 스킬 평가를 수행하였다.
스킬 평가에 사용된 스코어는 적중률과 오보율을 사용하였으며 2003년과 2004년 1월, 4월, 7월, 10월에 대하여 예보 9일째까지 스킬의 변화를 조사하였다. 월별로 적중률의 변화는 다양하게 나타났으며, 예보 후반부로 갈수록 적중률이 더 높아지는 사례도 나타났다. 오보율의 성장율은 월별로 차이는 있지만 예보 시간별로 점차 커지는 것으로 나타났다. 예보 기술의 한계는 적중률과 오보율이 같아지는 예보 시점으로 정의되며, 정규화된 잠재 지수의 예보 기술 한계는 거의 예보 9일까지 달하는 것으로 나타났다.
2003년 1월부터 2004년 12월까지 예보 5일째의 잠재 지수에 대한 적중률과 오보율을 분석하였으며, 2003년 5월, 10월과 2004년 7월이 특히 예보 적중률이 0.4 미만으로 낮게 나타났다. 위의 3달의 경우 바이어스 역시 크게 나빠지는 것으로 나타났으며, 실제 관측된 강수 분포를 보면 전체적으로 강수의 빈도가 약한 달이었음을 알 수 있다. 특히 6~48 mm day-1 사이의 강수 분포가 다른 달에 비하여 작은 것으로 나타났다.

목차 (Table of Contents)

• Contents = i
• List of Figures = v
• List of Tables = xxi
• Abstract = xxiii
• Chapter1 Introduction = 1
• 1.1 Background = 1
• 1.2 Model description = 5
• 1.3 Perturbation method = 8
• 1.4. Data description = 14
• Chapter2 Evaluation of raw ensemble prediction system = 18
• 2.1 Evaluation of ensemble-mean rainfall forecast = 18
• 2.1.1 Root mean square error = 19
• 2.1.2 Anomaly correlation = 23
• 2.2 Evaluation of 5-day probability of precipitation forecast = 28
• 2.2.1 Reliability = 29
• 2.2.2 Resolution = 33
• 2.2.3 Brier score = 38
• 2.2.4 Contingency table = 44
• 2.2.5 Bias = 47
• Chapter3 Evaluation of calibrated ensemble prediction system = 50
• 3.1 Calibration method = 50
• 3.1.1 Introduction = 50
• 3.1.2 Methodology = 51
• 3.2 Evaluation of calibrated probability of precipitation forecast = 54
• 3.2.1 Reliability = 54
• 3.2.2 Reliability and resolution = 56
• 3.2.3 Brier skill score = 61
• 3.3 Ensemble spread and outliers = 66
• 3.4 Spatial distribution of calibrated precipitation = 70
• Chapter4 Optimal probability thresholds = 78
• 4.1 Introduction = 78
• 4.2 Methodology of optimal probability threshold = 80
• 4.3 Equitable threat score = 83
• 4.4 Skill evaluation of the ensemble forecast selected by the OPT = 85
• 4.4.1 Bias score of the OPT (perfect bias (bias=1)) = 85
• 4.4.2 Equitable threat score of the OPT (perfect bias (bias=1)) = 96
• 4.4.3 Bias score of the OPT (ETSmax) = 108
• 4.4.4 Equitable threat score of the OPT (ETSmax) = 118
• 4.4.5 Monthly variation of the bias and ETS for 2 years = 128
• 4.4.6 Comparison of the OPTs of bias=1 and ETSmax = 138
• Chapter5 Potential index = 141
• 5.1 Introduction = 141
• 5.2 Definition = 143
• 5.3 Skill of the normalized potential index = 146
• Chapter6 Summary and discussions = 155
• 6.1 Skill of the raw probability of precipitation forecasts = 156
• 6.2 Skill of the calibrated probability of precipitation forecasts = 161
• 6.3 Normalized potential index = 165
• 6.4 Conclusions = 167
• REFERENCES = 169
• APPENDIX = 175
• Abstract (Korean) = 237