[Machine Learning] Likelihood와 L2 Loss에 대해서

Likelihood와 L2 Loss

논문 읽을 때마다 헷갈리는 인공신경망의 likelihood에 대해 리마인드하기 위해 작성함.

0. Nomenclature

• 어떤 확률 변수 $X$.

1. L2 loss

2. Likelihood

어떤 확률이 $\theta$라는 파라미터에 의해 결정 될 때, likelihood는 특정 파라미터 $\theta$일 때 $x$의 확률.

likelihood는 $\theta$에 대한 함수이다.

• Discrete case : $\mathcal{L}(\theta\mid x)=P_\theta(X=x)$
• Continuous case : $ \mathcal{L}(\theta\mid x)=f_\theta(x)$, $f_\theta$는 $\theta$에 의해 결정되는 pdf.

likelihood는 plausibility of parameter $\theta$, given specific observed data. probability는 plausibility of (random) observed data