1. 선형 회귀분석과 Elastic Net(예측모델)

혼공머신에서 공부했기 때문에 추가내용만 서술..

1-1. feature 조합을 자동으로 선택하는 알고리즘

• 전진 선택법(Forward Selection): 절편만 있는 모델에서 시작하여 유의미한 독립변수 순으로 변수를 차례로 하나씩 추가하는 방법. 이전 변수 집합에 비해 새로운 변수를 추가했을 때 모델 적합도가 기준치 이상 증가하지 못했을 때 종료. 한 번 선택된 변수는 다시 제거되지 않음.

• 후진 제거법(Backward Elimination): 모든 독립변수가 포함된 상태에서 시작하여 유의미하지 않는 순으로 설명변수를 하나씩 제거하는 방법. 기존 변수 집합에서 어느 한 변수를 제거했을 때, 모델 적합도가 기준치 이상 감소하는 경우에 더 이상 변수를 제거하지 않고 종료.

  → 전진 선택법보단 오래 걸릴 수 있지만 안전한 방법임.

• 단계적 선택법(Stepwise Selection): 전진 선택법과 후진 제거법의 장점을 더한 방법. 처음에는 전진선택법과 같이 변수를 하나씩 추가하기 시작하면서, 선택된 변수가 3개 이상이 되면 변수 추가와 제거를 번갈아 가며 수행.

  → 오래 걸리지만 최적의 변수 조합을 찾아낼 수 있는 가능성이 높음.

1-2. Elastic Net

• Ridge와 Lasso의 최적화 지점이 다른데, 이 두 정규화 항을 결합하여 절충한 모델. Ridge는 변환된 계수가 0이 될 수 없지만 Lasso는 0이 될 수 있다는 특성을 결합한 것!
• Ridge와 Lasso의 혼합비율($r$)을 조절하여 0에 가까울수록 Ridge와 같아지며, 1에 가까울 수록 Lasso와 같아짐.
• 독립 변수를 이미 잘 정제해서 중요할 것으로 판단되는 변수들만 선별해서 모델에 넣은 상태면 Ridge의 비율을 높이는 것이 좋고, 변수 선택 없이 주어진 독립변수를 모두 집어넣은 상태라면 Lasso의 비율을 높이는 것이 좋음.

2. 로지스틱 회귀분석

3. 의사결정나무와 랜덤 포레스트(예측/분류 모델)

• 장점
  • 모델이 직관적이고 어렵지 않기 때문에 해석의 용이성 측면에서 높은 평가를 받음.
  • 제약이 많은 관리 시스템에도 의사결정 나무의 룰을 심어주면 간단하게 분류나 예측을 구현할 수 있음.
  • 비선형 모델이기 때문에 회귀분석과 같이 데이터의 선형성, 정규성, 등분산성 등이 필요하지 않음.
• 단점
  • 명목형 변수는 예측 데이터에 있는 정보가 학습 데이터에 없으면 예측이 불가능함.
  • 학습데이터에 과적합될 확률이 높음. → 일반화 성능이 줄어듦.

4. 선형 판별분석과 이차 판별분석(분류 모델)

4-1. 판별분석이란

• 판별분석(Discriminant analysis): 로지스틱 회귀분석처럼 질적 척도로 이루어진 종속변수를 분류할 때 쓰이는 기법
  • 성능 면에서 로지스틱 회귀분석보다 우수함 → 30% 적은 데이터로도 로지스틱 회귀분석과 유사한 성능을 낼 수 있음.
  • 독립변수들이 정규분포를 따르지 않더라고 활용이 가능한 모델
• 범주의 개수에 따라
  • 두 집단 판별분석
  • 다중 판별분석