Dataframe
Date: 2024-09-09
이번 글에서는 데이터프레임 집계, 처리 방법에 관해 다루겠습니다.
데이터프레임 집계 방법
데이터프레임 내의 특정 column별로 어떤 column을 집계할 때 .groupby() 메소드를 사용합니다.
import pandas as pd
path = 'csv 파일 경로'
dataframe1 = pd.read_csv(path)
# 집계기준변수: 'column 별로 집계' 할 때 그 column을 의미하며, 여러개가 들어갈 경우 list형태로 묶어서 입력
# as_index (default=True): 집계 기준이 되는 열이 index가 되도록 하는 옵션
# 집계대상변수: 집계할 column 대상. 역시 여러개를 올리려면 list형태로 묶어서 입력
# 집계함수: min, max, sum, mean, std 등
dataframe1.groupby('집계기준변수', as_index=False)['집계대상변수'].집계함수()
# 집계함수를 여러개 동시에 사용하는 경우, .agg() 사용
dataframe1.groupby('집계기준변수', as_index=False)['집계대상변수'].agg(['min', 'max', 'mean'])
데이터프레임 처리 (전처리) 방법
데이터프레임에서 데이터 구조를 만들기 위해 열 이름을 변경하거나, 열을 추가하거나, 데이터를 삭제하거나 값을 변경 및 결합하는 방법이 존재합니다.
- 데이터프레임 내의 열 이름 변경
데이터프레임 내의 열 이름 변경은 한번에 모든 열의 이름을 바꾸는 방법과 원하는 특정 열의 이름을 바꾸는 방법이 있습니다.
# 한번에 모든 열의 이름을 바꾸는 방법
# 변경할 열 뿐만 아니라 바꾸지 않을 열이라도 모두 입력해야 함
dataframe2.columns = ['Day', 'Tip', 'Quantity', 'TotalBill']
dataframe2.columns = ['Day', 'Tip', 'Qty', 'Bill']
# 원하는 특정 열의 이름을 바꾸는 방법
dataframe3.columns = ['Day', 'Tip', 'Quantity', 'TotalBill']
dataframe3.rename(columns={'Qty': 'Quantity', 'TotalBill': 'Bill'}, inplace=True)
- 데이터프레임에 새로운 열 추가
데이터프레임에서 새로운 열을 추가하는 방법은 열의 맨 뒤에 추가하는 방법과 원하는 열 순서에 추가하는 방법이 존재합니다.
# 열의 맨 뒤에 추가하는 방법
dataframe3['새로운 열 이름'] = 시리즈 or scalar 값
# 원하는 열 순서에 새로운 열을 추가하는 방법
# column_index에 -1 안 됨
dataframe3.insert(column_index, '새로운 열 이름', 추가할 데이터)
- 데이터프레임 내의 데이터 삭제
데이터프레임에서 행 또는 열 데이터 삭제는 .drop() 메소드를 사용합니다.
# 행 삭제
# axis=0 (행 삭제)가 default
# 지울 행이 복수인 경우, list로 입력 가능
dataframe3.drop(지울_행_index, axis=0, inplace=True)
# 열 삭제
# 지울 열이 복수인 경우, list로 입력 가능
dataframe3.drop('지울 열 이름', axis=1, inplace=True)
- 데이터프레임 내의 값 변경
데이터프레임 내의 값을 변경하는 방법은 크게 다섯 가지 존재합니다.
- 열 전체 값을 변경하는 방법
dataframe4['column1'] = scalar값
- 조건에 의한 값 변경 방법
# .loc 메소드 사용
dataframe4.loc[dataframe4['column1'] < threshold_value, 'column1'] = scalar값
- 조건에 의한 값 변경 방법 2
# np.where 사용
import numpy as np
dataframe4['column1'] = np.where(dataframe['column1'] < threshold_value, 참일_때_값, 거짓일_때_값)
- .map() 메소드 사용
기존 값을 다른 값으로 매핑할 때 사용
# 기존 male 값을 1로, female을 0으로 매핑
dataframe5['Sex'] = dataframe5['Sex'].map({'male': 1, 'female': 0})
- pandas.cut() 함수 사용
숫자형 데이터를 범주형으로 변환 시 사용
# bins가 integer인 경우, 데이터의 최소, 최대 범위를 균등하게 나눔
# labels: 나눈 데이터에 채울 범주형데이터
dataframe6['Age_group'] = pd.cut(dataframe6['Age'], bins=3, labels=['young', 'junior', 'senior'])
# 구간을 임의로 정하고 싶은 경우, bins에 경계값을 list로 넣어줌
# np.inf와 -np.inf 활용 가능
# 기본적으로 경계값은 (bin_n, bin_n+1] 의 구간으로 나뉘지만, right=True(default)를 수정하여 변경 가능
# 최소값을 포함하고 싶다면 include_lowest=True로 설정
dataframe6['Age_group'] = pd.cut(dataframe6['Age'], bins=[0, 40, 50, np.inf], labels=['young', 'junior', 'senior'])
# bins 구간을 벗어나는 데이터는 NA (검증 필요!)
- 데이터프레임의 결합
데이터프레임을 결합하는 방법으로는 행 또는 열로 그냥 붙이는 방법과, 특정 column 값을 기준으로 결합하는 방법이 존재합니다.
- pd.concat()
pd.concat()은 행 또는 열로 붙이는 방법으로, axis 값을 통해 가로 방향(열)으로 합칠지, 세로 방향(행)으로 합칠지 결정합니다.
# pd.concat([df1, df2], axis=0, join='outer')
# 병합할 데이터프레임을 리스트로 묶어 병합
# join='outer' (default)
# axis=0 (default)
# 세로 방향 (행)으로 붙일 경우, axis=0
# 열 이름이 병합의 기준이 됨
# join이 'outer'인 경우, 모든 행과 열을 합치며, 'inner'인 경우 같은 행과 열만 합침
dataframe7 = pd.concat([df1, df2, ..., dfn], axis=0, join='inner')
# 가로 방향 (열)로 붙일 경우, axis=1
# 행의 index가 병합의 기준이 됨
# join이 'outer'인 경우, 모둔 행과 열을 합치며, 'inner'인 경우 같은 행과 열만 합침
dataframe8 = pd.concat([df1, df2, ..., dfn], axis=1, join='outer')
- pd.merge()
지정한 column의 값을 기준으로 병합하며, 따라서 가로 방향으로만 병합함
'''
* how *
'inner': 같은 값만 붙임
'outer': 모든 값을 붙임
'left': 왼쪽 데이터프레임은 모두, 오른쪽은 같은 값만 병합
'right': 오른쪽 데이터프레임은 모두, 왼쪽은 같은 값만 병합
* on *
기준으로 삼을 key column
입력값으로 주어지지 않는 경우 default로는 겹치는 columns를 기준으로 병합
'''
pd.merge(left, right, how='inner', on=None)
left.merge(right, how='inner', on=None)
주로 Products, Customers, Sales 데이터에서 많이 사용됨
- .pivot() 메소드
.groupby() 메소드로 집계된 데이터를 재구성할 때 사용
dataframe9 = dataframe8.groupby(['column1', 'column2'], as_index=False)['column3'].function()
dataframe10 = dataframe9.pivot(index='index로 삼을 column명', columns='열로 볼 column명', values='값으로 나타낼 column명')
댓글남기기