[AI, 머신러닝] Regression 회귀 알고리즘

회귀 알고리즘 : 어떤 특정한 숫자 값을 예측하는 문제.

 

y = ax + b

 

y : 종속 변수

x : 독립 변수 

 

a : x의 기울기

b : x의 절편 

 

x에 의해 y가 변함

 

---

Regression 

• Ordinal Regression : 데이터 내 상대적 순서나 랭킹 예측
  ex) 강연 참석자의 선호도, URL즐겨 찾기 순서
• Poisson Regression : 어떤 이벤트가 발생할 횟수 예측, 이산분포를 따르며 음의 정수값, 실수값 안됨
  ex) 비행기 탑승에 따른 병원 방문 횟수
• Fast Forest Quantile Regression : 값의 분산/분포 예측
  ex) 성적 예측을 통한 학생들의 발달 단계 평가
• Linear Regression : 일반적인 선형 회귀
• Bayesian Linear Regression : Bayesian 접근법을 적용한 것. 확률을 배제하면서 적용시킨다.
• Neural Network Regression : 신경망 회로를 이용하며, 복잡한 데이터에서 뛰어남 / 유연한 모델이기 때문에 어떻게 하면 가장 최적의 알고리즘이 될 수 도 있지만 어렵다.
• Decision Forest Regression : 의사결정트리 모델을 활용, 이진 트리를 활용해 이진트리를 숲처럼 / 오버 피팅 가능성이 높다. 
  ex) 비선형 문제에 사용
• Boosted Decision Tree : 이전의 트리에서 일어났던 결과를 종속적으로 이어받아 계산에 영향을 미침. 
  정확도를 높히기엔 좋지만 메모리 사용이 크다. 
  ex) 앙상블 모델에 활용

 

---

다양한 Linear Regression

 

Multiple Linear Regression : 여러개의 독립변수가 합쳐져 있는 회귀

 

Polynominal Linear Regression : x의 차수가 늘어나. (조금 휜 선형으로)