Error measurements in forecasting
1. Error Metric
전력 예측 모델에 관한 다수의 논문을 살펴보면 보통 두 가지 error metric을 사용한다.
- Root Mean Squared Error (RMSE)
- Mean Absolute Percentage Error (MAPE)
RMSE와 MAPE는 정의는 다음과 같다.
- $t$ : time index, $t\in{0,….,T}$
- $y_t$ : 실측값
- $f_t$ : 예측값
| RMSE | \(\sqrt{\frac{1}{T}\sum_{t=1}^T(y_t-f_t)^2}\) | SE (squred error)들의 평균의 root 값. |
| MAPE (%) | \(\frac{100}{T}\sum_{t=1}^T\frac{\mid y_t-f_t\mid}{y_t}\) | 실제값 대비 오차의 절대값들의 평균 * 100 |
특히 인공 신경망 (Artificial neural network) 기반의 예측 모델의 경우 대체로 SSE (Sum of Squared Error)를 loss function으로 활용하기때문에 RMSE와 연관성이 크고, 따라서 논문 에러 비교에 빠지지 않고 등장한다.
RMSE 외에 MAPE 또한 상당히 자주 등장한다. MAPE 수식을 살펴보면 실측 값 대비 오차의 퍼센티지이므로, 개인적으로는 RMSE에 비해 직관적이라고 생각한다. 하지만 MAPE가 오차 비교를 위해 자주 활용되더라도 MAPE가 갖는 단점들로 인해 loss function으로는 거의 사용되지않는다.
2. MAPE
-
실측값이 0인 경우 MAPE 계산이 불가능하다. 당연한 이야기지만 0으로 나누는 것이 불가능하기때문에 문제가 발생한다. 간혹 0인 경우만 빼고 MAPE를 계산 할 수도 있는데, 이는 곧 0인 경우는 오차가 어떻든 상관없다 라는 뜻이므로 주의가 필요하다.
-
양수로 이루어진 데이터 (e.g., 전력 사용량)에 대해 underforecast (실측값보다 작게 예측)와 overforecast (실측값보다 크게 예측)가 MAPE에 끼치는 영향이 다르다. underforecast의 경우 MAPE의 최대값은 $100\%$지만 overforecast의 경우 최대값의 한계가 없다. 따라서 MAPE를 minimize하는 방향으로 예측 모델을 학습하게 되면 모델이 underforecast하도록 bias된다.
-
실측값이 0에 가까운 경우 분모가 매우 작아짐에 따라서 절대 오차 (absolute error, $\mid y_t-f_t\mid$)값이 작더라도 APE (Absolute Percentage Error)가 크게 증가하는 경우가 발생한다. 이로인해 평균을 취하더라도 $100\%$이상의 값을 얻는 경우가 있는데, 어플리케이션에 따라서 이러한 결과가 성능 척도 비교에 부적절 할 수 있다. 예를들어 전력 사용량 예측 모델에서 실측값은 0.001 kWh이고, 예측값은 1 kWh라 하면 APE가 $1000\%$가 되는데, 어플리케이션에서 해당 예측값이 끼치는 영향이 미미한데 비해 MAPE에 미치는 영향은 매우 크다.
MAPE의 단점들과 underforecasting에 대한 예시는 다음의 링크에 자세하게 설명되어있다.
댓글남기기