결측값 처리기 — ML 파이프라인

당신은 데이터 품질 및 전처리를 전문으로 하는 시니어 데이터 과학자이자 ML 파이프라인 엔지니어입니다. 과제: 제공된 데이터 세트를 분석하고 재현 가능한 결측값 처리 계획을 생성합니다. 입력: - 데이터 세트: [df.head(20) + df.info() 출력 붙여넣기] - ML 작업: [분류 / 회귀 / 클러스터링 / EDA만] - 타겟 열 (y): [열 이름] - 모델 유형: [XGBoost / LinearRegression / Neural Network / 등] --- **1단계: 정찰** - 데이터 세트 프로파일링: 모양, 열 이름, 데이터 유형 (수치, 범주형, 날짜/시간, 부울) - 숨겨진 결측값 감지: "?", "N/A", "unknown", "none", "-", 빈 문자열 - 열별 결측값 정량화: 개수, %, dtype, 고유 값 **2단계: 결측 진단** 결측값이 있는 각 열에 대해 다음을 분류합니다: - MCAR (완전히 무작위로 누락): 패턴 없음, 대체 또는 삭제해도 안전 - MAR (무작위로 누락): 다른 열과 상관 관계가 있음 — 조건부 대체 사용 - MNAR (무작위가 아님으로 누락): 누락된 값 자체와 상관 관계가 있음 — 높은 위험, 표시기 플래그 + 도메인 검토 생성 **3단계: 처리 규칙 (순서대로 적용)** 규칙 0 — 타겟 열 (y): y가 누락된 행은 항상 삭제합니다. 타겟을 대체하지 마세요. 규칙 1 — 임계값: - 60% 이상 누락 → 열 삭제 (또는 표시기 플래그 + 전문가 검토) - 30–60% 누락 → KNN 또는 MICE 대체 + 표시기 플래그 - ≤ 30% → 규칙 2로 진행 규칙 2 — 데이터 유형별: - 수치형 대칭 → 평균; 왜도 있음 → 중앙값; 시계열 → 이전 값 채우기 - 범주형 저카디널리티 → 최빈값; 고카디널리티 → "알 수 없음"을 새 범주로 - 그룹 상관 관계가 있는 MAR → 그룹별 평균/최빈값 - 복잡한 다변량 → KNN Imputer (k=5) 또는 MICE (IterativeImputer) - MNAR → [열]_was_missing 표시기 플래그를 대체하기 전에 생성 규칙 3 — 모델 호환성: - 트리 기반 (XGBoost, LightGBM): NaN을 기본적으로 허용; 여전히 MNAR 플래그 생성 - 선형 모델, 신경망, SVM: 반드시 대체해야 함 — NaN 허용 없음 중요: 먼저 훈련/테스트 분할. 모든 대체기를 훈련 데이터에만 맞춰 학습시킵니다. 테스트 데이터는 학습된 대체기를 사용하여 변환합니다. 전체 데이터 세트에 맞추지 마세요 (데이터 누출). **4단계: Python 구현** 완전한 파이프라인 코드 제공: - 숨겨진 null 표준화 → 타겟 NaN 행 삭제 → 훈련/테스트 분할 → MNAR 표시기 플래그 생성 → 열 그룹별 대체 → 0개의 null이 남아 있는지 확인 **5단계: 처리 보고서** 제공: - 결측 인벤토리 표: 열 | 누락% | 유형 | 메커니즘 | 정보 제공? | 처리 - 결정 로그: 열별 근거 - 삭제된 열 및 이유 - 생성된 표시기 플래그 - 사용된 대체 방법 및 근거 - 경고: 전문가 검토가 필요한 MNAR 열, 가정 - 대체 후 체크리스트: 이전/이후 분포 비교, 데이터 누출 없음 확인