결측치, 이상치, 중복값

데이터 분석을 시작하면 가장 먼저 마주하게 되는 문제는
데이터가 생각보다 깔끔하지 않다는 사실이다.

데이터 전처리에서 반드시 확인해야 할 값들

현실의 데이터는 항상 완전한 형태로 존재하지 않는다.
분석을 위해 데이터를 살펴보면

• 값이 비어 있는 경우가 있고
• 유난히 튀는 값이 존재하며
• 같은 데이터가 반복해서 나타나는 경우를 쉽게 발견할 수 있다.

이러한 데이터의 상태를 각각
결측치(Missing Value), 이상치(Outlier), 중복값(Duplicate)이라고 한다.

이 값들은 단순한 오류라기보다는
데이터 수집과 저장 과정에서 자연스럽게 발생한 결과이며,
이를 확인하지 않고 분석을 진행할 경우
통계 결과나 모델 성능에 직접적인 영향을 미칠 수 있다.

따라서 데이터 분석 과정에서는
본격적인 전처리나 모델링에 앞서
결측치, 이상치, 중복값의 존재와 특성을 먼저 확인하는 과정이 필요하다.

---

1. 결측치(Missing Value)란?

기본 개념

결측치란 데이터 테이블에서
특정 변수의 값이 비어 있거나 기록되지 않은 상태를 의미한다.

결측치는 다음과 같은 이유로 발생할 수 있다.

• 사용자가 값을 입력하지 않은 경우
• 측정 장비의 오류 또는 측정 불가
• 데이터 수집 과정에서의 누락

---

결측치 예시

위 그림은 데이터 테이블에서 일부 값이 비어 있는 결측치의 예시이다.
특정 컬럼에 결측값이 집중되어 있거나,
행 단위로 불규칙하게 결측이 발생한 모습을 확인할 수 있다.

---

결측치에 대한 추가 설명

결측치는 단순히 값이 없다는 문제를 넘어
분석 결과 자체를 왜곡할 수 있다.

• 통계량 계산 시 표본 수가 달라질 수 있고
• 모델 학습 과정에서 오류가 발생할 수 있으며
• 데이터 분포를 잘못 해석하게 만들 수 있다

따라서 EDA 단계에서는
결측치를 바로 처리하기보다는
어디에, 얼마나, 어떤 형태로 존재하는지를 먼저 파악하는 것이 중요하다.

---

2. 이상치(Outlier)란?

기본 개념

이상치란 대부분의 데이터 분포에서 벗어나
유난히 크거나 작은 값을 가지는 데이터를 의미한다.

이상치는 입력 오류일 수도 있지만,
실제 현상을 반영한 의미 있는 값일 수도 있다.

---

이상치 예시

박스플롯이나 산점도에서
다른 값들과 떨어져 위치한 점들이 이상치에 해당한다.

---

이상치에 대한 추가 설명

이상치는 평균이나 분산과 같은 통계량에
큰 영향을 미칠 수 있다.

하지만 모든 이상치가 제거 대상은 아니다.

• 측정 오류 → 제거 또는 수정
• 실제로 드문 현상 → 유지하고 해석

따라서 이상치는
무작정 제거하기보다 원인을 먼저 파악하는 태도가 중요하다.

---

3. 중복값(Duplicate)란?

기본 개념

중복값이란 데이터 테이블에서
동일한 행이 반복해서 나타나는 경우를 의미한다.

중복값은 데이터 병합, 저장 오류,
중복 수집 과정에서 발생하는 경우가 많다.

---

중복값 예시

위와 같이 동일한 데이터가 여러 번 존재할 경우
중복값으로 인해 특정 값의 빈도가 과도하게 커질 수 있다.

---

중복값에 대한 추가 설명

중복값은 데이터의 분포와 빈도를 왜곡시키며,
분석 결과를 실제보다 과장되게 만들 수 있다.

특히 설문 데이터나 로그 데이터에서는
중복값 여부를 확인하지 않으면
잘못된 해석으로 이어질 가능성이 높다.

---

정리

결측치, 이상치, 중복값은
데이터 분석 과정에서 피할 수 없는 요소이다.

중요한 것은 이를 단순한 오류로 판단하기보다,
EDA 단계에서 먼저 관찰하고 이해한 뒤
전처리 단계에서 적절한 처리 방법을 선택하는 것이다.

이러한 과정이 쌓일수록
데이터 분석의 신뢰도와 해석의 정확도는 높아진다.