회귀 regression

supervised learning & unsupervised learning

 

regression vs classification

즉, 회귀 ; 예측하고자 하는 타켓이 수치형, 연속형 변수일 경우

분류 ; 예측하고자 하는 타켓이 범주형, 이산형 변수일 경우

 

1. 회귀 regression

회귀란 독립변수 x로 종속변수 y를 예측. 주어진 피쳐와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것.

데이터를 가장 잘 설명하는 회귀식 찾기

독립변수 : x 예측 변수, 설명, 특성 변수

종속변수 : y 반응 변수, 레이블, 타겟 등으로 불림

 

선형회귀

H(x) = Wx + b 에서 최적의 w와 b를 찾기

복잡한 관계 표현을 위해 비선형을 요구하는 것이 바로 딥러닝

 

선형회귀 vs 비선형 회귀

linear regression is for establish hypothesis model and find the ideal W and b

H(x) = Wx + b

H(hypothesis), W(weight), B(bias)

 

최소제곱법

근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법

RSS(잔차 제곱합)을 최소화하는 w,b를 구하는 방법

gradient descent (경사하강법) : RSS의 gradient 벡터가 0이 되도록 하는 방법

 

 

 

2. 비용 함수 Cost Function

경사하강법

학습률이 너무 작으면 알고리즘이 수렴하기 위해 반복을 많이 진행해야 하므로 시간이 오래 걸림

학습률이 지나치게 크면 cost값이 발산함

따라서 적당한 값 찾아내는 것이 중요

 

최소 제곱법

회귀 계수의 추정으로, SSE의 두 계수로 편미분하여 연립방정식을 푸는 방법

 

loss function & cost function

- 손실 함수 : 한 개의 data에 대한 오차(loss)

- 비용 함수 : 모든 data에 대한 오차의 평균 = Mean Squared Error

 

경사하강법 (gradient descent)

머신러닝, 딥러닝 학습은 결국 비용 함수를 최소화하는 매개변수인 w와 b를 찾는 optimizer / 최적화 알고리즘을 수행

이 과정을 training, learning이라고 함.

가장 기본적인 optimizer algorithm이 경사하강법

임의의 랜덤값 w 값을 정한 뒤, 맨 아래 볼록한 부분을 향해 점차 w의 값을 수정해나간다. 경사 하강법에서 중요한 파라미터는 스텝의 크기로, 학습률 하이퍼파라미터로 결정된다.

이때 학습률이 너무 작으면 알고리즘이 수렴하기 위해 반복을 많이 진행해야 하므로 시간이 오래 걸리고

지나치게 크면 cost 값이 발산한다. 따라서 적당한 값을 찾는 것이 중요하다 (일반적으로 0.1이나 0.01과 같은 값을 사용)

 

다중 회귀 (multivariate linear regression)

변수(feature)가 2개 이상인 데이터의 결과를 예측하는 것

회귀 계수를 추정하는 법은 단순 선형 회귀계수가 동일

다중 회귀 분석 시 독립변수간 상관관계가 높아 발생하는 다중공선성(multicollinearity) 문제 처리가 필요

🤍 이는 분산 팽창 지수 (variation inflation factor, VIF)로 확인 가능

🤍 vif>10인 변수는 삭제하는 것을 권장

 

3. 규제

과대 적합을 감소시키기 위해 모델을 규제

선형 회귀 모델에서는 보통 모델의 가중치를 제한함으로써 규제를 가함

하이퍼 파라미터인 a는 모델을 얼마나 많이 규제할지 조절

 

4. 성능 평가