EDA란 무엇인가?

EDA(Exploratory Data Analysis)란 무엇인가?

1. EDA의 개념

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)란
데이터 사이언티스트가 데이터 세트를 분석하고 조사하여
데이터의 주요 특성과 구조를 파악하기 위해 사용하는 분석 방법이다.

EDA는 주로 통계적 그래픽과 데이터 시각화 기법을 활용하여
데이터가 가지고 있는 패턴, 이상치, 분포, 관계 등을 직관적으로 이해하는 데 목적이 있다.

---

2. EDA가 등장한 배경

기존의 전통적인 통계 분석은

• 가설 설정
• 가설 검정
• 통계적 추론

과 같은 가설 중심 분석에 치우쳐 있었다.

이러한 방식은
데이터 자체가 가지고 있는 본연의 의미나 숨겨진 특성을
충분히 발견하기 어렵다는 한계가 있었다.

EDA는 이러한 한계를 보완하기 위해
사전에 가설을 세우지 않더라도,
주어진 데이터만으로도 충분한 정보를 얻을 수 있도록
다양한 탐색적 분석 방법을 제시한다.

---

3. EDA의 특징

EDA는 다음과 같은 특징을 가진다.

• 통계 모델을 사용할 수도 있고 사용하지 않을 수도 있다
• 공식적인 모델링 이전 단계에서 수행된다
• 데이터를 먼저 관찰하고 이해하는 데 초점을 둔다
• 가설 검정보다 데이터가 말해주는 내용을 직접 확인하는 데 목적이 있다

즉,
EDA는 모델을 먼저 정하고 데이터를 끼워 맞추는 방식이 아니라
데이터를 먼저 보고 이후 분석 방향을 결정하는 접근 방식이다.

---

4. EDA의 목표

EDA의 주요 목표는 다음과 같다.

• 데이터에서 예상하지 못한 패턴이나 특징을 발견
• 관찰된 현상의 원인에 대한 가설 제시
• 통계적 추론에 필요한 가정이 적절한지 평가
• 이후 분석에 사용할 적절한 통계 기법 및 도구 선택 지원
• 설문조사나 실험을 통한 추가 데이터 수집의 방향 제시

---

5. EDA는 ‘기술’보다 ‘태도’에 가깝다

EDA에는 다양한 분석 도구와 기법이 존재하지만,
EDA는 특정 기술 하나로 정의되기보다는
데이터를 대하는 태도와 접근 방식에 의해 더 잘 설명된다.

즉,

• 데이터를 먼저 관찰하고
• 의심하고
• 질문을 던지며
• 여러 각도에서 탐색하는 과정

자체가 EDA의 핵심이다.

---

6. EDA에서 자주 사용되는 시각화 기법

탐색적 데이터 분석에서 일반적으로 사용되는 그래픽 기법은 다음과 같다.

• Box Plot
• Histogram
• Multi-Vari Chart
• Run Chart
• Pareto Chart
• Scatter Plot (2D / 3D)
• Stem-and-Leaf Plot
• Parallel Coordinates
• Odds Ratio
• Targeted Projection Pursuit
• Heat Map
• Bar Chart 등

이러한 시각화 기법들은
데이터의 분포, 변동성, 이상치, 변수 간 관계를
빠르게 파악하는 데 도움을 준다.

---

7. 정리

EDA는 단순한 데이터 전처리 과정이 아니라
데이터 분석 전체의 방향을 결정하는 매우 중요한 단계이다.

본격적인 모델링이나 머신러닝을 수행하기 전에
EDA를 통해 데이터를 충분히 이해하는 것이
올바른 분석 결과로 이어지는 핵심 요소라고 할 수 있다.