Multivariate data analysis
Date: 2024-09-11
이번 글에서는 변수가 2개 이상인 이변량 데이터의 분석 중, 모든 변수가 숫자형 데이터인 경우에 관하여 다루도록 하겠습니다.
숫자형 이변량 데이터 (Multivariate data) 분석
숫자형 이변량 데이터 분석은 그래프를 그려서 분석하는 산점도 (scatter plot) 방법과 수치적으로 얼마나 두 데이터가 선형 관계에 가까운지 파악하는 방법이 있습니다. 선형 관계에 가까운지 파악하는 방법으로는 공분산 (covariance)과 상관계수의 크기를 보는 방법이 있으며, p-value의 크기를 보고도 확인할 수 있습니다. 데이터간 관계가 선형 관계가 아닐 수 있기 때문에, 그래프를 통한 분석을 선행적으로 수행하고 선형 관계로 판단되면 수치적으로 검증합니다.
그래프로 확인하는 방법은
-
p-value (p-값)
-
공분산 (covariance)
-
상관계수 (correlation covariance)
[r=\frac{\frac{\sum{(x-\bar{x})(y-\bar{y})}}{n}}{\sqrt{ \frac{ \sum{(x-\bar{x})^2} }{ n }} \times \frac{\sum{(y-\bar{y})^2}}{n} }]
상관계수는 scipy.stats.pearsonr() 함수를 통해 구할 수 있으며, 해당 함수는 p-value 또한 반환합니다.
import seaborn as sns
import scipy.stats as spsc
sns.scatterplot(x='feature', y='target', data=dataframe)
sns.pairplot(dataframe)
sns.regplot(x='feature', y='target', data=dataframe)
sns.jointplot(x='feature', y='target', data=dataframe)
# 모든 숫자형 변수들간 상관계수 계산 및 시각화
display(dataframe.corr())
sns.heatmap(dataframe.corr(),
annot=True, # 상관계수 표기 여부
fmt='.3f', # 상관계수 표기 시 숫자 형식
#cmap= , # 색상 옵션, 이번에는 생략
vmin=-1, vmax=1
)
spsc.pearsonr(dataframe['feature'], dataframe['target'])
댓글남기기