[Machine Learning] 회귀 알고리즘 평가지표

회귀 알고리즘 평가지표

• RSS(Residual Sum of Squares) : 댠순 오차
• MSE(Mean Square Error), MAE(Mean Absolute Error) : 절대적인 크기
• R^2(결정계수) : 크기에 의존적이지 않음

회귀 알고리즘은 얼마나 우리가 원하는 만큼 모델이 데이터를 잘 나타내는지를 평가한다.

 

그 중 많이 사용되는 4가지에 대해서 알아보겠다.

 

 

RSS(Residual Sum of Squares)

RSS는 실제 값과 예측 값의 단순 오차 제곱 합을 의미한다.

RSS는 가장 간단한 방법으로 다른 방법들보다 직관적인 해석이 가능하다.

하지만 오차를 그대로 이용하기 때문에 크기에 의존적이다.

---

MSE(Mean Square Error)

우리말로 번역하면 평균 제곱 오차이다.

 

MSE는 실제값과 예측값의 차이를 제곱하여 평균낸다.

 

단점

오차를 제곱하기 때문에 이상치에 민감하다.

(큰 오차가 있는 경우 해당 오차가 더 커진다.)

 

 

---

MAE(Mean Absolute Error)

우리말로 표현하면 평균 절대 오차이다.

 

MAE는 실제갑과 예측값의 오차의 절댓값을 평균낸다.

 

장점

이상치에 덜 민감하여, 이상치가 있는 데이터를 다룰 때 안정적인 성능 평가를 제공

 

단점

모든 오차가 동일하게 처리되기 때문에, 이상치가 중요한 상황에서는 부적합

 

---

R² (결정계수)

• SSR(Sum of Squared Residuals) : 모델의 예측 값과 실제 값의 제곱 오차의 합
• SST(Total Sum of Squares) : 실제 값과 평균 값 간의 제곱 오차의 합

 

R²는 모델이 실제 값과의 차이를 설명할 수 있는 비율을 나타낸다.

 

다른 평가지표와 다르게 데이터의 크기에 영향을 받지 않고, 0보다 작으면 성능이 좋지 않고, 1에 가까우면 성능이 좋다는 것을 의미한다.

 

장점

• 예측의 결과를 1에 가깝고 말고의 차이로 보다 쉽게 이해 가능
• 다양한 회귀 모델에 사용 가능

 

단점

• 변수의 개수에 민감
• 과적합이 발생하면 R²의 값이 높아짐