적응형 선형 뉴런이란 적응형 선형 뉴런(ADAptive LInear NEuron, ADALINE, 이하 아달린)은 초창기 단일층 신경망으로써, 프랑크 로젠블랫의 퍼셉트론에 기반을 둔 좀 더 발전된 ANN(Artificial Neural Network)이 할 수 있다. 스탠포드 대학의 버나드 위드로우 교수와 그의 박사 과정 학생이었던 테드 호프가 1960년 개발하였다. 아달린과 기존 퍼셉트론(멕컬록-피츠)의 차이점은 학습 방식에 있다. 아달린은 가중치를 업데이트 하는데 단위 계단 함수(Heaviside Step Function, Unit Step Function) 대신에 선형 활성화 함수를 사용한다. 아달린의 선형 활성화 함수 σ(z)는 단순 항등 함수(Identity Function)로써, σ(z) = ..

평균 제곱 오차란 평균 제곱 오차(이하 MSE)는 말 그대로, 오차(Error) 값들을 제곱한 값의 평균을 뜻한다. 여기서 ^y는 예측한 값을 뜻하고, y는 실제 값을 의미한다. MSE의 계산에 지수함수가 들어가다보니, 오차값이 커질수록 변화량이 급격히 커진다. 평균 절대 오차(Mean Absolute Error, MAE)에 비해서 특이값이나 이상치(outlier)에 대해 민감하다는 특징이 있다. 반면 MAE는 이상치에 대해 강건하다. 머신러닝에서는 손실 함수로 이용된다. 이를 나타낸 것이 위의 수식 2이다. 수식 1과 다른 것처럼 보이나, 사실상 같은 수식이다. 이러한 손실 함수를 최소로 하는 최솟값을 찾아가는 과정으로 경사 하강법과 같은 알고리즘을 이용한다.

경사하강법이란 함수의 미분값을 이용하여 함수의 최솟값을 찾는 알고리즘이라 설명할 수 있다. 경사하강법은 1차 근삿값 발견용 최적화 알고리즘이다(출처: 위키피디아). 쉽게 말하면, 함수위의 어떤 점에서 시작하여 그때그때 더 y값이 작아지는 방향으로 조금씩 계속해서 좌우로 이동하며 최솟값을 탐색하는 기법이다. 머신러닝에서는 손실 함수(목적 함수, 비용 함수등으로 부름)의 최적화(optimization) 기법에 사용된다. 흔히 경사하강법을 산을 내려가는 과정에 비유하고는 한다. 여러분이 산 위에서 내려가고자 하는데, 눈을 다쳐서 한 치 앞도 내다보기 어려운 상황이라 가정하자. 여러분은 손을 전후좌우로 더듬어서 좀 더 경사가 낮은 곳을 향해 조금씩 나아가려 할 것이다. 이것이 바로 경사하강법이다. 수학적으로 설..

퍼셉트론이란 퍼셉트론이란 프랑크 로젠블랫이 MCP 뉴런(맥컬록-피츠 뉴런)을 기반으로 고안된 학습 규칙, 알고리즘으로써 일종의 인공 신경망(Artificial Neural Network, ANN)이다. 퍼셉트론은 여러 층으로 이루어져 있고, 각 층은 노드들의 묶음이며, 노드는 수학적으로 뉴런을 모방한 것이다. 층들은 입력층, 은닉층, 출력층으로 이루어져 있다. 이때, 입력층과 출력층으로만 이루어져 있는 구조를 단층 퍼셉트론이라 한다. 반대로 은닉층이 2개 이상인 경우에는 심층 신경망(Deep Neural Network, DNN)이라 한다. 이 글에서 다루는 퍼셉트론은 로젠블랫이 고안한 초창기 단층 퍼셉트론이다. 인공 뉴런의 수학적 정의 인공 뉴런 아이디어는 0과 1 두 개의 클래스가 있는 이진 분류 작업..

머신러닝(Machine Learning, ML) 기계학습은 컴퓨터가 데이터를 분석하여 학습하는 알고리즘이나 기술을 뜻하며, 인공지능의 한 분야이다. 쉽게 말해, 주어진 데이터에서 유의미한 규칙등을 컴퓨터가 스스로 찾아내고 학습하는 것을 말한다. 머신러닝 알고리즘 유형 머신 러닝의 모든 개념에 대해서 자세하게 짚고 넘어가면 글의 내용이 너무 늘어나므로, 이 글에서는 각 유형에 대해 간략하게만 설명하고 넘어간다. 1. 지도 학습(Supervised Learning) 레이블(Label)된 훈련 데이터로 모델을 학습시키는 방법. 입력 값 X와, 그에 대한 Label Y로 이루어져 있다. 쉽게 말해 문제와 정답을 모두 알려주고 공부시키는 방법이라 할 수 있다. 지도 학습은 크게 분류와 회귀의 두 카테고리로 나누어..

인공지능의 역사 대분류 - 1970년대: 1차 인공지능 붐 - 1980년대: 2차 인공지능 붐 - 이후 인공지능 겨울의 시대를 보냄 - 2010년대: 제프리 한턴을 필두로 한 연구자들이 딥러닝(심층학습)을 실현하는 방법을 공해하며, 인공지능이 실용화되는 시기가 도래함. 기타 - 1958년: 신경생물학자 프랭크 로젠블라트가 노의 뉴런처럼 연결된 인공 신경망인 '퍼셉트론'을 개발. 딥러닝의 기반이 됨. - 1969년: MIT교수 마빈 민스키가 퍼셉트론의 근본적 한계를 증명함. 이는 인공지능의 겨울을 촉발함. 인공지능이란 인공지능의 정의를 명확하게 내리기는 어려움. 따라서 인공지능의 정의에 대해 크게 고집할 필요가 없다. 매우 넓은 의미에서 인공지능을 설명하자면 '인간과 마찬가지로 생각하고 판단을 하는 프로그..