데이터 스케일링이란 머신러닝에서 특성 스케일링(Feature Scaling)이라고도 부르는 데이터 스케일링은 독립적인 변수들이나 특성을 정규화(normalize) 하는 것을 이야기한다. 데이터 스케일링이 필요한 이유는 무엇일까. 그것을 쉽게 이해하기 위하여 한 가지 예시를 들어보자. 피아니스트의 실력을 예측하기 위해 키, 손가락 길이, 몸무게와 같은 신체 정보를 특성으로 하여 기계 학습을 시킨다고 가정하자(물론 피아니스트의 실력이라는 것은 정량적으로 측정하기 어렵지만). 키는 150~190cm 사이의 값을 가질 테지만 손가락은 4~15cm 사이의 값을 가지게 될 것이다. 이 경우 예측 값 y를 계산할 때 손가락의 길이보다 신장이 더 큰 영향을 미칠 수 있다. 이런식으로, 만약 어떤 특성 x1과 x2가 있..

적응형 선형 뉴런이란 적응형 선형 뉴런(ADAptive LInear NEuron, ADALINE, 이하 아달린)은 초창기 단일층 신경망으로써, 프랑크 로젠블랫의 퍼셉트론에 기반을 둔 좀 더 발전된 ANN(Artificial Neural Network)이 할 수 있다. 스탠포드 대학의 버나드 위드로우 교수와 그의 박사 과정 학생이었던 테드 호프가 1960년 개발하였다. 아달린과 기존 퍼셉트론(멕컬록-피츠)의 차이점은 학습 방식에 있다. 아달린은 가중치를 업데이트 하는데 단위 계단 함수(Heaviside Step Function, Unit Step Function) 대신에 선형 활성화 함수를 사용한다. 아달린의 선형 활성화 함수 σ(z)는 단순 항등 함수(Identity Function)로써, σ(z) = ..

퍼셉트론이란 퍼셉트론이란 프랑크 로젠블랫이 MCP 뉴런(맥컬록-피츠 뉴런)을 기반으로 고안된 학습 규칙, 알고리즘으로써 일종의 인공 신경망(Artificial Neural Network, ANN)이다. 퍼셉트론은 여러 층으로 이루어져 있고, 각 층은 노드들의 묶음이며, 노드는 수학적으로 뉴런을 모방한 것이다. 층들은 입력층, 은닉층, 출력층으로 이루어져 있다. 이때, 입력층과 출력층으로만 이루어져 있는 구조를 단층 퍼셉트론이라 한다. 반대로 은닉층이 2개 이상인 경우에는 심층 신경망(Deep Neural Network, DNN)이라 한다. 이 글에서 다루는 퍼셉트론은 로젠블랫이 고안한 초창기 단층 퍼셉트론이다. 인공 뉴런의 수학적 정의 인공 뉴런 아이디어는 0과 1 두 개의 클래스가 있는 이진 분류 작업..