머신러닝 - 12. 단순 선형 회귀 (Simple Linear Regression)

단순 선형 회귀

< 수식 1 - 단순 선형 모델 공식 >

 

 단순 선형 회귀(Simple Linear Regression)는 하나의 특성과 연속적인 타깃 사이의 관계를 모델링한다. 이를 수식으로 나타내면 위와 같다. 흔히 보던 일차방정식의 수식과 다를 것이 없다. 즉 특성과 타깃의 관계를 가장 잘 나타내는 직선 그리와 같다. 위 수식을 굳이 풀어쓰자면, b는 y 절편을 뜻하고 w1은 가중치를 뜻한다. 쉽게 생각하여, 단순 선형 회귀의 목적은 타깃을 가장 잘 예측하는 적절한 w와 b 값을 찾는 것이다.

---

단순 선형 회귀 모델의 학습

< 그림 1 - 회귀 직선의 예시인 그림 1.A (左)와 회귀직선과 샘플 사이의 오프셋을 나타낸 그림 1.B (右) >

 

 위 그림 1.A에서 세가지 직선 A, B, C 중에서 어느 직선이 타깃을 가장 잘 예측한다고 생각하는가. 샘플들의 중간을 가로지르는 B가 특성과 타깃 사이의 관계를 가장 잘 나타낸다고 여길 것이다. 어림짐작이 아닌, 수식으로 이러한 직선을 구하는 방법으로는 무엇이 있는가.

 

 선형 회귀 직선 모델의 파라미터를 추정하는 방법을 최소 제곱법(Ordinary Least Squares, OLS)이나 선형 최소 제곱법(Linear Least Squares)등으로 이야기한다. 최소 제곱법의 손실함수로 MSE, 최적화 함수로 경사하강법을 사용한다. 이렇게 단순 선형 회귀 모델은 오차(Offset, Residual 등으로 부름)의 제곱의 합이 최소가 되는 방향으로 가중치를 학습한다.