로지스틱 회귀란 로지스틱 회귀(Logistic Regression)는 종속 변수와 독립 변수 간의 관계를 구체적인 함수로 나타내는 모델이다. 좀 더 자세히 설명하자면 수치형 설명변수 X와 연속형 숫자로 이루어진 종속변수 Y 간의 관계를 선형으로 가정한다. 구현하기 쉽고 선형적으로 구분되는 클래스에 뛰어난 성능을 내는 분류 모델이다. 이때, 독립 변수와 종속 변수가 각각 1개인 경우 단순 선형 회귀라고 한다. 기본적으로 이진 분류를 위한 선형 모델이지만(클래스 레이블이 2개), 이 이상의 범주를 가지는 문제는 다항 로지스틱 회귀(Multinomial Logistic Regression)나 소프트맥스 회귀(Softmax Regression)으로 손쉽게 다중 클래스 설정으로 일반화할 수 있다. 로지스틱 회귀는..

데이터 스케일링이란 머신러닝에서 특성 스케일링(Feature Scaling)이라고도 부르는 데이터 스케일링은 독립적인 변수들이나 특성을 정규화(normalize) 하는 것을 이야기한다. 데이터 스케일링이 필요한 이유는 무엇일까. 그것을 쉽게 이해하기 위하여 한 가지 예시를 들어보자. 피아니스트의 실력을 예측하기 위해 키, 손가락 길이, 몸무게와 같은 신체 정보를 특성으로 하여 기계 학습을 시킨다고 가정하자(물론 피아니스트의 실력이라는 것은 정량적으로 측정하기 어렵지만). 키는 150~190cm 사이의 값을 가질 테지만 손가락은 4~15cm 사이의 값을 가지게 될 것이다. 이 경우 예측 값 y를 계산할 때 손가락의 길이보다 신장이 더 큰 영향을 미칠 수 있다. 이런식으로, 만약 어떤 특성 x1과 x2가 있..

적응형 선형 뉴런이란 적응형 선형 뉴런(ADAptive LInear NEuron, ADALINE, 이하 아달린)은 초창기 단일층 신경망으로써, 프랑크 로젠블랫의 퍼셉트론에 기반을 둔 좀 더 발전된 ANN(Artificial Neural Network)이 할 수 있다. 스탠포드 대학의 버나드 위드로우 교수와 그의 박사 과정 학생이었던 테드 호프가 1960년 개발하였다. 아달린과 기존 퍼셉트론(멕컬록-피츠)의 차이점은 학습 방식에 있다. 아달린은 가중치를 업데이트 하는데 단위 계단 함수(Heaviside Step Function, Unit Step Function) 대신에 선형 활성화 함수를 사용한다. 아달린의 선형 활성화 함수 σ(z)는 단순 항등 함수(Identity Function)로써, σ(z) = ..

평균 제곱 오차란 평균 제곱 오차(이하 MSE)는 말 그대로, 오차(Error) 값들을 제곱한 값의 평균을 뜻한다. 여기서 ^y는 예측한 값을 뜻하고, y는 실제 값을 의미한다. MSE의 계산에 지수함수가 들어가다보니, 오차값이 커질수록 변화량이 급격히 커진다. 평균 절대 오차(Mean Absolute Error, MAE)에 비해서 특이값이나 이상치(outlier)에 대해 민감하다는 특징이 있다. 반면 MAE는 이상치에 대해 강건하다. 머신러닝에서는 손실 함수로 이용된다. 이를 나타낸 것이 위의 수식 2이다. 수식 1과 다른 것처럼 보이나, 사실상 같은 수식이다. 이러한 손실 함수를 최소로 하는 최솟값을 찾아가는 과정으로 경사 하강법과 같은 알고리즘을 이용한다.

경사하강법이란 함수의 미분값을 이용하여 함수의 최솟값을 찾는 알고리즘이라 설명할 수 있다. 경사하강법은 1차 근삿값 발견용 최적화 알고리즘이다(출처: 위키피디아). 쉽게 말하면, 함수위의 어떤 점에서 시작하여 그때그때 더 y값이 작아지는 방향으로 조금씩 계속해서 좌우로 이동하며 최솟값을 탐색하는 기법이다. 머신러닝에서는 손실 함수(목적 함수, 비용 함수등으로 부름)의 최적화(optimization) 기법에 사용된다. 흔히 경사하강법을 산을 내려가는 과정에 비유하고는 한다. 여러분이 산 위에서 내려가고자 하는데, 눈을 다쳐서 한 치 앞도 내다보기 어려운 상황이라 가정하자. 여러분은 손을 전후좌우로 더듬어서 좀 더 경사가 낮은 곳을 향해 조금씩 나아가려 할 것이다. 이것이 바로 경사하강법이다. 수학적으로 설..

퍼셉트론이란 퍼셉트론이란 프랑크 로젠블랫이 MCP 뉴런(맥컬록-피츠 뉴런)을 기반으로 고안된 학습 규칙, 알고리즘으로써 일종의 인공 신경망(Artificial Neural Network, ANN)이다. 퍼셉트론은 여러 층으로 이루어져 있고, 각 층은 노드들의 묶음이며, 노드는 수학적으로 뉴런을 모방한 것이다. 층들은 입력층, 은닉층, 출력층으로 이루어져 있다. 이때, 입력층과 출력층으로만 이루어져 있는 구조를 단층 퍼셉트론이라 한다. 반대로 은닉층이 2개 이상인 경우에는 심층 신경망(Deep Neural Network, DNN)이라 한다. 이 글에서 다루는 퍼셉트론은 로젠블랫이 고안한 초창기 단층 퍼셉트론이다. 인공 뉴런의 수학적 정의 인공 뉴런 아이디어는 0과 1 두 개의 클래스가 있는 이진 분류 작업..