[ML] MSE, MLE 차이

 

헷갈리는 개념들을 정리해 둔다. 

INTRO

지도 학습 문제는 종속변수의 타입에 따라 다음 두 가지로 나뉜다. 

(1) 종속변수가 '연속형 변수'인 회귀 문제 --> 선형회귀 (Linear regression) 

(2) 종속변수가 '이산형 변수'인 분류 문제 --> 로지스틱 회귀 (Logistic regression), ect 

1. MSE (Mean Squared Error)

MSE는 선형 회귀 문제에서 주로 사용되는 비용함수다. 수식은 다음과 같다. 

MSE는 선형회귀에서 사용되는 또 다른 비용함수 MAE(mean absolute errors)보다 더 흔히 사용되는데, 그 이유는 계산이 더 용이하기 때문이다. (MSE is preferred over MAE mainly because it is to calculate the defivatives(미분값)). 

2. MLE (Maximum Likelihood Estimation, 최대우도추정) 

MLE는 로지스틱 회귀 문제에서 주로 사용되는 비용함수다. 

MLE는 각 관측치가 서로 '독립'이라고 가정해 확률을 기반으로 구한다. 

따라서 확률 관점(?)에서 이야기하자면, 다음과 같다. 

최대우도추정(maximum likelihood estimation)이란 모수(parameter)가 미지의 θ인 확률분포에서 뽑은 표본(관측치) x들을 바탕으로 θ를 추정하는 기법입니다. 여기에서 우도(likelihood)란 이미 주어진 표본 x들에 비추어 봤을 때 모집단의 모수 θ에 대한 추정이 그럴듯한 정도를 가리킵니다. 우도 L(θ|x)는 θ가 전제되었을 때 표본 x가 등장할 확률인 p(x|θ)에 비례합니다. (출처 : ratsgo's blog)