1. 결측값 처리

• 결측값의 비중이 1% 미만으로 매우 작다면 무시하고 분석해도 무방함.

1-1. 무작위 여부에 따른 결측치

• 완전 무작위 결측(MCAR: Missing Completely at Random) : 순수하게 결측값이 무작위로 발생한 경우

  → 결측값을 포함한 데이터를 제거해도됨.

• 무작위 결측(MAR: Missing at Random): 다른 변수의 특성에 의해 해당 변수의 결측치가 체계적으로 발생한 경우

  • ex) A마트의 전국 체인 매출 정보 중, 특정 체인점의 POS기기에 오류가 나서 해당 체인점에 해다 하는 매출 정보에 결측값이 많이 나타난 경우

• 비무작위 결측(NMAR: Missing at Not Random): 결측값들이 해당 변수 자체의 특성을 갖고 있는 경우

  • ex) A마트의 고객정보 데이터에서 ‘고객 소득’변수에서 결측값들 대부분이 소득이 적어서 소득을 공개하기 꺼려해서 결측이 발생한 경우. → 실제값이 무엇인지 확인할 수 없으므로 비무작위 결측을 구분하는 것은 어려움.

1-2. 결측값 처리 방법

• 표본 제거 방법(Completes analysis): 결측값이 심하게 많은 변수를 제거하거나 결측값이 포함된 행을 제외하고 분석을 진행 → 가장 간단함
• 평균 대치법(Mean Imputation): 결측값을 제외한 온전한 값들의 평균을 구한 다음, 그 평균 값을 결측값들에 대치
  • 최빈값, 중앙값, 최댓값, 최솟값 대치도 있음.
  • 표본 제거 방법의 단점을 어느정도 보완
  • 관측된 데이터의 평균을 사용하기 떄문에 통계량의 표준오차가 왜곡되어 축소되어 나타나고 p-value가 부정확하게 됨.

→ 위의 두 방법은 완전 무작위 결측이 아닌 경우 적절하지 않은 방법!!!

• **보간법(**interpolation): 시계열 데이터에서 사용. 전 시점, 다음 시점의 값으로 대치하거나 전 시점과 다음 시점의 평균값으로 대치.

• 회귀 대치법(regression imputation): 추정하고자 하는 결측값을 가진 변수를 종속변수로 나머지 변수를 독립 변수로 하여 추정한 회귀식을 통해 결측값을 대치

  • 결측된 변수의 분산을 과소 추정하는 문제를 가지고 있음.

• 확률적 회귀 대치법(stochastic regression imputation): 회귀식에 확률 오차항을 추가함. 관측된 값들을 변동성만큼 결측값에도 같은 변동성을 추가.

  • 이 방법도 어느 정도 표본오차를 과소 추정하는 문제를 가지고 있음.

• 다중 대치법(multiple imputation): 단순대치를 여러 번 수행하여 n개의 가상적 데이터를 생성하여 이들의 평균으로 결측값을 대치. → 최근에 많이 사용!!!!!!

  • 대치 단계: 가능한 대치 값의 분포에서 추출된 서로 다른 값으로 결측치를 처리한 n개의 데이터셋 생성
    • 몬테카를로 방법
    • 연쇄방적식을 통한 다중 대치
  • 분석 단계: 생성된 각각의 데이터셋을 분석하여 모수의 추정치와 표준오차 계산
  • 결합 단계: 계산된 각 데이터셋의 추정치와 표준오차를 결합하여 최종 결측 대치값 산출

  

  → 가상적 데이터는 5개 내외 정도만 생성해도 성능에 큰 문제가 없음.

2. 이상치 처리

• 이상치: 일부 관측치의 값이 전체 데이터의 범위에서 크게 벗어난 아주 작거나 큰 극단적인 값을 갖는 것.
• 전체 데이터의 양이 많을수록 튀는 값이 통곗값에 미치는 영향력이 줄어들어 이상치 제거의 필요성이 낮아짐.

2-1. 이상치 처리 방법