Date: 2024-09-10

이번 글에서는 Business에서 데이터 기반의 문제 해결 방법에 대해 간략하게 다루겠습니다.

CRISP-DM이란?

CRISP-DM은 the CRoss Industry Standard Process for Data Mining의 약자로, 데이터 기반의 business 문제 해결 방법론에 관한 모델입니다. 여러 회사에서 사용하는 문제 해결 방법론의 기반이 되므로, 이 방법에 입각해서 데이터를 분석하는 습관을 들입시다.


img1

이미지 출처: https://octaviods.com/blog/post-seven/

CRISP-DM은 총 6단계로 구성되며, 각 단계는 다음과 같습니다.

  1. Business understanding

  2. Data understanding

  3. Data preparation

  4. Modeling

  5. Evaluation

  6. Deployment


1. Business Understanding

CRISP-DM의 가장 첫 단계이기도 하면서, 데이터 이해 (data understanding)와 평가 (evaluataion) 단계 이후 다시 회귀하기도 하는 단계입니다. 이 단계에서는 문제의 요인 파악을 위한 가설을 수립하게 되며, 이후 단계에서 검토를 하게 됩니다. 해당 가설은 버릴 것으로 기대되는 기존 가설 (귀무가설, null hypothesis)과 대립된다고 하여 대립가설 (alternative hypothesis)이라고 불립니다.


2. Data understanding

다양한 데이터를 하나의 데이터프레임으로 만들어 분석하는 단계입니다. 이미 확보된 데이터 중 그대로 사용 가능한 데이터 또는 가공해야 사용 가능한 데이터를 가공하여 data pipeline과 data environment를 검토 및 이를 위한 과제를 수행해야 하며, 확보하지 못한 데이터 중 취득 가능한 데이터를 위한 리소스 산정을 합니다.

데이터 분석은 EDA(Exploratory Data Analysis, 탐색적 데이터 분석) CDA (Confirmatory Data Analysis, 확증적 데이터 분석)로 나뉘며, EDA는 데이터를 살펴보면서 insight를 도출해내는 방법이고 CDA는 가설을 세운 후 데이터를 통해 검증하는 방법입니다.

또한 개별 변수 (feature)의 분포를 분석하는지, 아니면 두 변수 사이를 비교하여 분석하는지에 따라 단변량 분석과 이변량 분석으로 나뉘기도 합니다.


3. Data preparation

모델링을 위한 데이터 구조를 만드는 단계


4. Modeling

데이터 안에 담겨있는 패턴을 찾아 정리하는 단계로, 수식이 만들어짐


5. Evaluation

기술적 관점에서 평가

비즈니스 관점에서 평가도 필수적임


6. Deployment

시스템 구현 및 모델 관리

댓글남기기