데이터 분석 학습 기록

11. 가설 검정(t 검정, 상관 분석)

zer0 — Thu, 30 Jul 2026 21:10:04 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

가설 검정

기술 통계: 데이터를 요약해 설명하는 통계 분석 기법
- ex) 사람들이 받는 월급을 집계해 월급 평균을 계산
추론 통계: 단순히 숫자를 요약하는 것을 넘어 표본으로 모집단을 추론하는 통계 분석 기법
- 통계적 추정: 모집단의 진짜 특성(ex 평균, 비율)이 어느 정도인지 추론하는 방법
- 통계적 가설 검정: 모집단에 대한 가설을 세우고, 이를 표본 데이터를 통해 유의 확률을 계산하여 검정하며 모집단을 추론하는 방법
  1. 가설: 성별에 따른 월급 차이가 있을 것이다.
  2. 기술 통계: 표본 데이터에서 성별에 따라 월급 차이가 있는 것으로 나타난다.
  3. 통계적 가설 검정: 이런 차이가 우연히 발생할 확률을 계산한다.
  4. 결론: 우연히 발생할 확률이 낮다면 모집단에서도 실제로 성별에 따른 월급 차이가 존재한다고 추론한다.

t 검정

t 검정: 두 집단의 평균 차이가 모집단 규모에서 통계적으로 유의한 차이인지, 각 집단 표본의 우연에 의해서 일어난 차이인지 알아볼 때 사용하는 통계 분석 기법
- scipy 패키지 stats 모듈의 ttest_ind(비교할 1차원 배열1, 비교할 1차원 배열2, equal_var = 집단 간 분산 동일 여부) 함수 활용
- 유의 확률 5%(p-value 0.05) 미만이면 집단 간의 차이가 통계적으로 유의하다고 해석
- 집단 간 분산을 고려해야 하는 이유: 집단 간 분산 차이로 인해 유의 확률이 왜곡될 수 있다.
  - 더보기
    [상황 예시] 2종 오류가 발생하는 과정
    
    A공장 표본: 10, 10, 10, 10 (평균 10시간 / 기복 0)
    
    B공장 표본: 14, 14, 2, 2 (평균 8시간 / 널뛰기 심함)
    
    ❌ 분산을 각각 고려하지 않는 경우:
    
    B공장의 널뛰기 분산 때문에 전체 오차 잣대가 뚱뚱하게 부풀어 오릅니다.
    
    통계 심판의 오판: "이 배터리 동네는 원래 널뛰기가 심해서 오차는 흔한 일이야. 그러니까 2시간 차이 난 건 그냥 표본 뽑다 생긴 우연이겠네!"
    
    결과: A공장은 단 1초의 오차도 없이 2시간이나 긴 성능을 증명했는데도, B공장의 널뛰기 노이즈에 묻혀 "두 공장 성능 차이 없음"이라는 억울한 판정을 받게 됩니다.
    
    ⭕ 분산을 고려하는 경우:
    
    올바른 계산: " 분산이 큰 쪽의 자유도를 낮춤 → 기준선이 깐깐해짐 → 2시간의 차이는 절대로 우연일 수 없다! 확실한 진짜 차이다!"라고 올바르게 판정합니다.
    
    [상황 예시] 1종 오류가 발생하는 과정
    
    집단 A (대형 그룹): N = 100명, 분산이 매우 작음 (1)
    
    집단 B (소형 그룹): N = 10명, 분산이 매우 큼 (100)
    
    실제 상태: B 그룹의 분산이 100으로 어마어마하게 크기 때문에, 실제 불확실성은 매우 높고 두 그룹 간 평균 차이는 그냥 우연일 가능성이 높습니다.
    
    등분산 t-검정의 착각: 전통적인 t-검정은 수가 훨씬 많은 A 그룹(N=100)의 작은 분산(1)에 끌려가서, 합쳐진 분산을 실제 B 그룹의 위험도보다 훨씬 작게 측정해 버립니다.
    
    결과: 분모(불확실성)가 실제보다 왜곡되어 너무 작아집니다.
    
    판정: t-통계량이 뻥튀기되고 p-value가 0.05 밑으로 떨어지면서 "실제로는 우연인데 유의미한 차이가 있다!"(1종 오류)고 판정하게 됩니다.

compact 자동차와 suv 자동차의 도시 연비 t 검정 (등분산 가정)

# 파일 불러오기
import pandas as pd
mpg = pd.read_csv('mpg.csv')

# 각각의 도시 연비를 추출하여 변수에 할당
compact = mpg.query('category == "compact"')['cty'] # mpg.query('조건')[['변수명']]은 2차원 배열 형태로 사용 불가!
suv = mpg.query('category == "suv"')['cty']

# t 검정
from scipy import stats

stats.ttest_ind(compact, suv, equal_var = True) # 결과: 2.39*10^(-21)으로 0.05보다 작아 통계적으로 유의함

일반 휘발유와 고급 휘발유의 도시 연비 t 검정 (등분산 가정)

regular = mpg.query('fl == "r"')['cty']
premium = mpg.query('fl == "p"')['cty']

stats.ttest_ind(regular, premium, equal_var = True)# 결과: 우연일 확률이 28.75%로 유의하지 않음!

상관 분석

상관 분석: 두 연속 변수가 서로 관련이 있는지 검정하는 통계 분석 기법이며, 상관계수가 1에 가까울 수록 관련성이 크다는 것을 의미하고 양수면 정비례, 음수면 반비례 관계를 의미한다.

실업자 수와 개인 소비 지출의 상관관계

# 파일 불러오기
economics = pd.read_csv('economics.csv')

# 상관계수 행렬 생성(2개 이상 변수 가능)
economics[['unemploy', 'pce']].corr()
# 출력 결과: 실업자 수와 개인 소비 지출은 한 변수가 증가하면 다른 변수가 증가하는 정비례 관계

# (상관계수, 유의확률) 출력
stats.pearsonr(economics['unemploy'], economics['pce'])
# 출력 결과: 유의확률이 0.05 미만으로 실업자 수와 개인 소비 지출의 상관관계가 통계적으로 유의하다.

상관행렬 히트맵 생성

# 파일 불러오기
mtcars = pd.read_csv('mtcars.csv')

# 상관행렬 만들기
car_cor = mtcars.corr()
car_cor = round(car_cor, 2) # 소수점 둘째자리까지
car_cor

"""
결과 해석
1. mpg(연비)와 cyl(실린더 수)의 상관계수가 -0.85이므로, 연비가 높을수록 실린더의 수가 적은 경향이 있다.
2. cyl(실린더 수)와 wt(무게)의 상관계수가 0.78이므로, 실린더 수가 많을수록 자동차가 무거운 경향이 있다.
"""

# 상관행렬에서 대각선 기준 왼쪽 아래와 오른쪽 위의 값이 대칭이므로 보기 편하도록 중복 제거

# 중복을 제거하기 위한 mask 생성
import numpy as np
mask = np.zeros_like(car_cor) # 상관행렬과 동일한 크기의 0으로 이루어진 배열 생성
mask[np.triu_indices_from(mask)] = 1 # 위쪽 삼각형 영역의 인덱스를 가져온 후, 1로 변환

# 맨 위쪽 행과, 맨 오른쪽 열은 비어있는 결과가 되므로 아예 삭제
mask = mask[1:, :-1] # numpy 배열 접근
car_cor = car_cor.iloc[1:, :-1] # 데이터프레임 인덱스 번호로 접근

# iloc: integer location으로 인덱스 번호로 접근
# loc: 행, 열 이름으로 접근

# 히트맵 생성
sns.heatmap(data = car_cor,
            annot = True,
            cmap = 'RdBu',
            mask = mask,
            linewidths = .5,
            vmax = 1,
            vmin = -1,
            cbar_kws = {"shrink": .5})
            
"""
- data: 상관계수 행렬명
- annot: 상관계수 표시 여부
- cmap: 컬러맵을 의미하며 값이 클수록 진한 색상 (RdBu: 양수는 파란색, 음수는 빨간색)
- mask: 사용할 마스크명
- linewidths: 경계 구분선 추가
- vmax: 가장 진한 파란색으로 표현할 최대값
- vmin: 가장 진한 빨간색으로 표현할 최소값
- cbar_kws: 범례 크기 줄이기
"""

10. 인터랙티브 그래프(plotly 패키지)

zer0 — Wed, 29 Jul 2026 14:19:31 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

인터랙티브 그래프 준비

plotly 패키지 설치: 아나콘다 프롬프트에 pip install plotly 작성
- plotly 패키지: 인터랙티브(마우스 움직임에 반응하며 실시간으로 모양이 변하는) 그래프를 생성하는 패키지
jupyter-dash 패키지 설치: 아나콘다 프롬프트에 pip install jupyter-dash 작성
- jupyter-dash 패키지: plotly로 만든 그래프를 노트북에 출력하는 패키지
패키지 모두 설치 후, JupyterLab 재실행

산점도

산점도 생성: plotly 패키지 express 모듈의 scatter(data_frame = 데이터프레임명, x = '변수명', y = '변수명', color = '색상 구분할 변수') 함수 활용

import pandas as pd
import plotly.express as px

# 사용할 파일 불러오기
mpg = pd.read_csv('mpg.csv')

# 산점도 생성
px.scatter(data_frame = mpg, x = 'cty', y = 'hwy', color = 'drv')

막대 그래프

막대 그래프 생성: plotly 패키지 express 모듈의 bar(data_frame = 데이터프레임명, x = '변수명', y = '변수명', color = '색상 구별할 변수명') 함수 활용

# 자동차 종류별 빈도 생성
df = mpg.groupby('category', as_index = False)\
.agg(n = ('category', 'count'))

# 막대 그래프 생성
px.bar(data_frame = df, x = 'category', y = 'n', color = 'category')

선 그래프

선 그래프 생성: plotly 패키지 express 모듈의 line(data_frame = 데이터프레임명, x = '변수명', y = '변수명') 함수 활용

# 사용할 파일 불러오기
economics = pd.read_csv('economics.csv')

# 선 그래프 생성 (date가 object 타입이어도, ISO 형식이라면 자동으로 그래프 생성)
px.line(data_frame = economics, x = 'date', y = 'psavert')

상자 그림

상자 그림 생성: plotly 패키지 express 모듈의 box(data_frame = 데이터프레임명, x = '변수명', y = '변수명', color = '색상 구별할 변수명') 함수 활용
- 값 설명
  - max: 존재하는 값 중 최대값
  - upper fence: 정상적인 데이터의 범위로 인정해 주는 상한선 (Q3 + 1.5IQR)
  - q3: 제3사분위수
  - median: 중앙값
  - q1: 제1사분위수
  - lower fence: 정상적인 데이터의 범위로 인정해 주는 하한선 (Q1 - 1.5IQR)
  - min: 존재하는 값 중 최소값

px.box(data_frame = mpg, x = 'drv', y = 'hwy', color = 'drv')

인터랙티브 그래프 기능 활용

특정 값 확인: 마우스 커서 올리기

축 범위 변경: 마우스 드래그, 그래프 더블 클릭 시 원래대로 돌아온다.

특정 범주 표시 on/off: 범례 항목 클릭

HTML 파일로 저장: write_html('파일명') 함수를 활용하며, 웹 브라우저만 있으면 열어볼 수 있다.

# 그래프 변수에 할당
fig = px.scatter(data_frame = mpg, x = 'cty', y = 'hwy')

fig.write_html('scatter_plot.html')

9. 지도 시각화(folium 패키지)

zer0 — Wed, 29 Jul 2026 12:42:45 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

지도 시각화 준비

folium 패키지 설치: 아나콘다 프롬프트에 pip install folium 작성

시군구별 인구 단계 구분도

시군구 경계 지도 데이터 불러오기
1. open(): 파일 열기
2. load(): 내용 불러오기

import json

# 시군구 경계 지도 데이터 불러오기
geo = json.load(open('SIG.geojson', encoding = 'UTF-8'))

"""
1. geojson: 위치 정보를 json 포맷으로 저장한 표준 지리 정보 데이터 포맷
2. SIG.geojson 파일 구조: 'features' 값에 각각의 시군구 정보가 딕셔너리 형태로 각각의 리스트에 포함되어 있음
{'features': [
{'type': 타입명,
'properties': {'SIG_CD': 행정구역코드, ...},
'geometry': {'type': 타입명, 'coordinates': [[[]]]
},
"""

# 첫 번째 행정 구역 코드 출력
geo['features'][0]['properties']

# 첫 번째 행정 구역 위도 경도 좌표 출력
geo['features'][0]['geometry']

시군구별 인구 데이터 불러오기

import pandas as pd

# 시군구별 인구 데이터 불러오기
df_pop = pd.read_csv('Population_SIG.csv')
df_pop.head()

# 변수 속성 출력
df_pop.info()

# 숫자 형태의 행정 구역 코드 → 문자 형태로 변환 (geo 데이터의 행정 구역 코드와 형태 통일)
# 이름이 아니라 행정 구역 코드를 쓰는 이유: 이름은 중복될 수 있음
df_pop['code'] = df_pop['code'].astype(str)

배경 지도 생성: folium 패키지의 Map(location = [지도 중심 위도, 지도 중심 경도], zoom_start = 확대할 정도, tiles = '지도 종류') 함수 활용

import folium

# 밝은 배경 지도 생성
# 밝은 배경의 지도를 생성하는 이유: 단계 구분이 잘 보이게 하기 위해
map_sig = folium.Map(location = [35.95, 127.7],
          zoom_start = 6.8,
          width = '90%',
          height = '100%',
          tiles = 'cartodbpositron')
map_sig

단계 구분도 생성
1. 계급 구간 설정: 경우에 따라 생략이 가능하며, 데이터프레임의 quantile() 함수를 활용하여 구간을 설정하고 리스트로 반환
2. 단계 구분도 생성: folium 패키지의 Choropleth() 함수를 활용하며, geo_data를 기준으로 data를 결합하여 색상 레이어를 만드는 과정
  - geo_data = 지도 데이터명
  - data = 색으로 표현할 통계 데이터명
  - columns = ('지도 데이터와 연결할 통계 데이터의 변수명', '색으로 표현할 변수명')
  - key_on = '통계 데이터와 연결할 지도 데이터의 변수명'
    - feature로 시작하는 이유: 지도 데이터 geojson 파일에서 features을 사용하기로 약속되어 있고, features내에서 각 지역을 feature로 가져오게 설정되어 있다.
  - fill_color = '컬러맵명'
  - fill_opacity = 투명도
  - line_opacity = 경계선 투명도
  - bins = 계급 구간 변수명
3. 배경 지도에 단계 구분도 추가: add_to(배경 지도명) 함수 활용

# 5개의 계급 구간 설정
# 구간을 설정해야 하는 이유: 경기도와 서울특별시의 인구가 다른 지역에 비해 극단적으로 커서 모든 지역이 동일한 색으로 표현
# 극단적으로 값이 크다는 것을 확인하는 방법: 상자 그림 등
# 구간 설정 이전에 서울이 다른 색으로 표현되지 않는 이유: 지도 데이터에서 서울특별시 내의 구단위로 나누어서 경계를 구성

bins = list(df_pop['pop'].quantile([0, 0.2, 0.4, 0.6, 0.8, 1]))

# 배경 지도에 단계 구분도 생성
folium.Choropleth(geo_data = geo,
data = df_pop,
columns = ('code', 'pop')
key_on = 'feature.properties.SIG_CD',
fill_color = 'YlGnBu',
fill_opacity = 1,
line_opacity = 0.5,
bins = bins)\
.add_to(map_sig)

map_sig

서울시 동별 외국인 인구 단계 구분도

서울시 동 경계 지도 데이터 불러오기

geo_seoul = json.load(open('EMD_Seoul.geojson', encoding = 'UTF-8'))
geo_seoul

서울시 동별 외국인 인구 데이터 불러오기

foreigner = pd.read_csv('Foreigner_EMD_Seoul.csv')
foreigner.head()

# 변수 속성 출력
foreigner.info()

# 숫자 형태의 행정 구역 코드 → 문자 형태로 변환 (geo 데이터의 행정 구역 코드와 형태 통일)
foreigner['code'] = foreigner['code'].astype(str)

배경 지도 생성

import folium

map_seoul = folium.Map(location = [37.56, 127],
                    zoom_start = 11,
                    tiles = 'cartodbpositron')

map_seoul

단계 구분도 생성

# 8개 계급 구간 설정 (결측치 자동으로 제외)
bins = list(foreigner['pop'].quantile([0, 0.2, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1]))

# 배경 지도에 단계 구분도 생성
# nan_fill_color: 결측치 지역 색깔 (foreigner['pop'].describe() 결과 최소값 7이므로 결측치는 외국인 존재 x 혹은 누락을 의미)
folium.Choropleth(geo_data = geo_seoul,
                 data = foreigner,
                 columns = ('code','pop'),
                 key_on = 'feature.properties.ADM_DR_CD',
                 fill_color = 'Blues',
                 nan_fill_color = 'White',
                 fill_opacity = 1,
                 line_opacity = 0.5,
                 bins = bins)\
.add_to(map_seoul)

map_seoul

구 경계선 추가

# 구 경계 좌표 불러오기
geo_seoul_sig = json.load(open('SIG_Seoul.geojson', encoding = 'UTF-8'))

# 서울 구 라인 추가
# line_weight: 선 두께
folium.Choropleth(geo_data = geo_seoul_sig,
                 fill_opacity = 0,
                 line_weight = 4)\
.add_to(map_seoul)
map_seoul

지도 저장: save('파일명') 함수를 활용하며, 웹 브라우저만 있으면 열어볼 수 있다.

map_seoul.save('map_seoul.html')

8. 텍스트 마이닝(konlpy 패키지)

zer0 — Tue, 28 Jul 2026 14:46:11 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

텍스트 마이닝 준비

KoNLPy 패키지 설치하기 전
1. java 설치: http://abit.ly/easypy_101에서 운영체제 버전에 맞는 msi 파일 다운로드
2. jpype1 패키지 설치: 아나콘다 프롬프트에 pip install jpype1 작성
KoNLPy 패키지 설치: 아나콘다 프롬프트에 pip install konlpy 작성
- KoNLPy 패키지: 한글 텍스트로 형태소를 분석할 수 있게 해주는 패키지

대통령 연설문 텍스트 마이닝

연설문 불러오기
1. open(): 파일 열기
  - encoding: 컴퓨터는 사용자가 지정한 인코딩 방식을 통해 파일의 문자를 숫자로 저장한다. 따라서 이때 사용한 인코딩 방식을 작성해 주면, 파일을 불러올 때 숫자로 저장된 파일을 다시 문자로 변환할 수 있다.
2. read(): 내용 불러오기

moon = open('speech_moon.txt', encoding = 'UTF-8').read()
moon

불필요한 문자(특수 문자, 한자, 공백) 제거: moon이 str 타입 변수이므로 re(문자 처리) 패키지의 sub('패턴', '대체할 문자', 텍스트) 함수 활용

import re
moon = re.sub('[^가-힣]', ' ', moon) # 한글이 아닌 모든 문자를 공백으로 변환
moon

글의 내용을 파악하기 쉽도록 명사 추출: konlpy 패키지 tag 모듈 Hannanum 클래스의 nouns(텍스트) 함수 활용
- tag 모듈: 형태소 분석에 필요한 모든 도구를 모아놓은 상자
- Hannanum 클래스: tag 모듈 안에 Hannanum이라는 형태소 분석 도구
- nouns 함수: 명사 추출 함수

import os
import konlpy

# konlpy 패키지 실행에 필요한 자바 위치를 못찾아서 에러 발생 → 자바 위치 경로 지정
os.environ['JAVA_HOME'] = r'C:\Program Files\Amazon Corretto\jdk11.0.32_9'

# 형태소 분석 클래스의 객체 생성 = 클래스라는 설계도로 객체라는 실제 도구를 만들어서 활용
hannanum = konlpy.tag.Hannanum() 

 # 명사 추출
nouns = hannanum.nouns(moon)
nouns

import pandas as pd

# 추출한 명사 리스트 데이터프레임으로 변환
df_word = pd.DataFrame({'word': nouns})
df_word

빈도표 생성

# 단어 길이 파악
df_word['len'] = df_word['word'].str.len()

# 한 글자 단어는 의미가 없는 경우가 많기 때문에 제거
df_word = df_word.query('len >= 2')
df_word

# 단어별 빈도 계산
df_word = df_word.groupby('word', as_index = False)\
.agg(n = ('word', 'count'))\
.sort_values('n', ascending = False)

df_word

막대 그래프 생성

# 빈도 수 상위 20개 단어 추출
top20 = df_word.head(20)

import seaborn as sns
import matplotlib.pyplot as plt

plt.rcParams.update({'font.family': 'Malgun Gothin'}) # 한글 깨짐 방지
sns.barplot(data = top20, x = 'n', y = 'word', hue = 'word') # 그래프 생성

분석 결과
- 일자리 문제를 해결하고 복지국가를 지향하겠다는 의사 표현이 나타난다.

기사 댓글 텍스트 마이닝

기사 댓글 파일 불러오기

df = pd.read_csv('news_comment_BTS.csv', encoding = 'UTF-8') # 인코딩을 작성하지 않아도 동작하지만, 확실히 명시하는 것 추천
df.head()

df.info()

불필요한 문자 제거: reply가 데이터프레임에 담겨있는 변수이므로 데이터프레임의 str.replace('패턴', '대체할 문자', regex = True) 함수 활용
- regex = True: 특정 문자 형태가 아니라, [^가-힣] 등의 정규 표현식을 활용할 것이라고 명시

df['reply'] = df['reply'].str.replace('[^가-힣]', ' ', regex = True)
df['reply'].head()

명사 추출: 데이터프레임의 apply 함수를 활용하여 konlpy 패키지 tag 모듈 Kkma 클래스의 nouns 함수 적용
- tag 모듈: 형태소 분석에 필요한 모든 도구를 모아놓은 상자
- Kkma 클래스: tag 모듈 안의 Kkma이라는 형태소 분석 도구로 띄어쓰기 오류가 있어도 형태소를 잘 추출한다는 장점이 있어 정제되지 않은 댓글 텍스트 분석에 적합
- nouns 함수: 명사 추출 함수

import konlpy
import os

# konlpy 패키지 실행에 필요한 자바 위치를 못찾아서 에러 발생 → 자바 위치 경로 지정
os.environ['JAVA_HOME'] = r'C:\Program Files\Amazon Corretto\jdk11.0.32_9'

# 형태소 분석 클래스의 객체 생성
kkma = konlpy.tag.Kkma()

# 각 행마다 함수를 적용하여 명사 추출
nouns = df['reply'].apply(kkma.nouns)
nouns

# 한 행에 한 단어만 들어가도록 구성
nouns = nouns.explode()
nouns

빈도표 생성

# 데이터프레임으로 변환
df_word = pd.DataFrame({'word': nouns})

# 한 글자 단어 제외하고 추출
df_word['len'] = df_word['word'].str.len()
df_word = df_word.query('len >= 2')

# 단어별 빈도 계산
df_word = df_word.groupby('word', as_index = False)\
.agg(n = ('word', 'count')\
.sort_values('n', ascending = False)
df_word

막대 그래프 생성

# 빈도 상위 20개 단어 추출
top20 = df_word.head(20)

# 막대 그래프 생성
sns.barplot(data = top20, x = 'n', y = 'word', hue = 'word')

분석 결과
- '축하', '자랑', '국위선양' 등의 단어를 보면 BTS가 빌보드 차트 1위에 오른 일을 축하하고 국위 선양을 했다고 칭찬하는 댓글이 많다는 것을 알 수 있다.
- '군대', '면제', '군면제' 등의 단어를 보면 BTS의 병역 의무를 면제해 줘야 한다는 댓글도 많다는 것을 알 수 있다.

7-2. 한국복지패널 데이터 분석(2)

zer0 — Fri, 24 Jul 2026 21:21:52 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

직업별 월급 차이

월급 변수 검토 및 전처리
- https://youngchae00.tistory.com/8 '성별에 따른 월급 차이 분석'에서 진행

직업 변수 검토 및 전처리

# 타입 확인
welfare['code_job'].dtypes

# 값 특징 및 이상치 확인
welfare['code_job'].value_counts()

# 4자리로 구성된 직종코드에서 4자리를 초과하거나 모름/무응답에 해당하는 9999 존재 확인
# 존재한다면 결측 처리 필요
# 불필요한 검색 과정을 방지하기 위해, 결측을 처리한 후 다른 데이터프레임과 결합하는 순서 추천
welfare['code_job'].max()

""" 
welfare 데이터프레임에서 직업 분류 코드가 어떤 직업을 의미하는지 확인하기 쉽도록
직업 분류 코드별 직업명을 담고 있는 데이터를 불러온 후, welfare 데이터프레임과 결합
"""
list_job = pd.read_excel('Koweps_Codebook_2019.xlsx', sheet_name = '직종코드')
list_job.head()
welfare = welfare.merge(list_job, how = 'left', on = 'code_job')

"""
code_job에 값이 있지만 분류표에 해당하는 직업이 없어 job이 결측이 된 경우가 있는지 결측치 개수를 비교하여 확인
* 책에는 없지만, job에 결측값이 언제 생성되는지에서 출발 
* 경우1. code_job이 결측인 경우
* 경우2. code_job에 값이 있지만 분류표에 누락된 경우

직업별 월급을 추출할 때, 9999를 제외한 4자리 직업 분류 코드가 있다면 직업이 존재한다는 의미가 아닐까?
결측값의 개수가 다르다면 분류표에 누락된 직업이 없는지 확인해보는 것이 어떨까?
"""
print(welfare['code_job'].isna().sum())
print(welfare['job'].isna().sum())

# 데이터프레임 결합 확인
welfare.dropna(subset = ['code_job'])[['code_job', 'job']].head()

직업별 월급 차이 확인

# 직업별 월급 평균을 확인할 것이므로 직업과 월급의 결측 행 제거

welfare_job_income = welfare.dropna(subset = ['job', 'income'])\
.groupby('job', as_index = False)\
.agg(mean_income = ('income', 'mean'))

welfare_job_income

# 월급 상위 top 10 직업 확인
top10 = welfare_job_income.sort_values('mean_income', ascending = False).head(10)
top10

import matplotlib.pyplot as plt
plt.rcParams.update({'font.family': 'Malgun Gothic'}) # 그래프 한글 깨짐 방지

# 월급 top10 직업별 월급 막대 그래프 생성 (y축이 직업이어야 각 직업명이 겹치지 않고 출력)
sns.barplot(data = top10, x = 'mean_income', y = 'job', hue = 'job')

# 월급 하위 10개 직업 확인
bottom10 = welfare_job_income.sort_values('mean_income').head(10)
bottom10

# 월급 하위 10개 직업별 월급 막대 그래프 생성
sns.barplot(data = bottom10, x = 'mean_income', y = 'job', hue = 'job')\
.set(xlim = (0, 800)) # top10과 비교 용이하도록 축 범위 설정

분석 결과
- 월급이 가장 많은 직업은 의료 진료 전문가이며 평균 781만원을 받는다.
- 월급이 가장 적은 직업은 기타 돌봄·보건 및 개인 생활 서비스 종사자이며 평균 73만원을 받는다.
- 의료 진료 전문가는 기타 돌봄·보건 및 개인 생활 서비스 종사자의 평균 10배가 넘는 월급을 받는다.

성별 직업 빈도

성별 변수 검토 및 전처리
- https://youngchae00.tistory.com/8 '성별에 따른 월급 차이 분석'에서 진행

직업 변수 검토 및 전처리
- 위의 '직업별 월급 차이 분석'에서 진행

성별 직업 빈도 확인

# 남성 직업 빈도 상위 10개 추출

job_male = welfare.dropna(subset = ['job'])\
.query('sex == "male"')\
.groupby('job', as_index = False)\
.agg(n = ('job', 'count'))\
.sort_values('n', ascending = False)\
.head(10)

job_male

# 남성 직업 빈도 상위 10개 막대 그래프 생성
sns.barplot(data = job_male, x = 'n', y = 'job', hue = 'job').set(xlim = (0, 500)) # 비교를 위해 여성, 남성 동일한 축 범위 지정

# 여성 직업 빈도 상위 10개 추출
job_female = welfare.dropna(subset = ['job'])\
.query('sex == "female"')\
.groupby('job', as_index = False)\
.agg(n = ('job', 'count'))\
.sort_values('n', ascending = False)\
.head(10)

job_female

# 여성 직업 빈도 상위 10개 막대 그래프 생성
sns.barplot(data = job_female, x = 'n', y = 'job', hue = 'job').set(xlim = (0, 500))

분석 결과
- 남성과 여성 모두 작물 재배 종사자가 가장 많다.
- 남성은 작물 재배 종사자 뒤로 자동차 운전원, 경영 관련 사무원, 매장 판매 종사자 순으로 많다.
- 여성은 작물 재배 종사자 뒤로 청소원 및 환경미화원, 매장 판매 종사자, 회계 및 경리 사무원 순으로 많다.

종교 유무에 따른 이혼율

종교 변수 검토 및 전처리

# 타입 확인
welfare['religion'].dtypes

# 값 특징 및 이상치 확인
welfare['religion'].value_counts()

# 종교 변수 결측 개수 확인
welfare['religion'].isna().sum()

# 값의 의미를 이해하기 쉽도록 종교 변수 값 1인 경우 'yes', 2인 경우 'no'로 변경 (값 의미: 코드북 참고)
welfare['religion'] = np.where(welfare['religion'] == 1, 'yes', 'no')

# 값 변경 확인
welfare['religion'].value_counts()

혼인 변수 검토 및 전처리

# 타입 확인
welfare['marriage_type'].dtypes

# 값 특징 및 이상치 확인
welfare['marriage_type'].value_counts()

# 혼인 변수 결측 개수 확인
welfare['marriage_type'].isna().sum()

# 변수 생성: marriage_type 값에 따라 유배우, 이혼, 그 외로 분류 (값 의미: 코드북 참고)
welfare['marriage'] = np.where(welfare['marriage_type'] == 1, 'marriage', np.where(welfare['marriage_type'] == 3, 'divorce', 'etc'))

# 이혼 여부별 빈도
n_divorce = welfare.groupby('marriage', as_index = False)\
.agg(n = ('marriage', 'count'))

n_divorce

종교 유무에 따른 이혼율 확인

# 종교별 이혼 여부 확인
rel_div = welfare.query('marriage != "etc"')\
.groupby('religion', as_index = False)\
['marriage']\
.value_counts(normalize = True)

rel_div

"""
코드 해석
1. welfare.query('marriage != "etc"'): 유배우와 이혼 행만 추출
- 종교가 이혼 여부에 영향을 줄 수 있는가?가 분석 목표!
- 별거는 이혼 여부가 애매하므로 제외!
- 사별은 사망에 의한 것으로 종교에 따른 이혼 O, X를 선택할 기회가 박탈되었으므로 제외!
2. groupby('religion', as_index = False): 종교별 그룹화
3. ['marriage']: 종교별로 그룹화 된 상태에서 각 그룹에서 marriage 변수 열의
4. value_counts(normalize = True): 값에 따른 비율 계산

Q) 왜 전체에서 각각의 이혼 비율을 계산하는 것이 아니라 각 종교 유무마다 이혼의 비율을 계산할까?
A) 종교가 있는 사람의 수가 단순히 많다면, 그냥 종교 있는 사람의 이혼율이 무조건 높다고 나옴
"""

# 이혼인 행만 추출하여 백분율 % 값 소수점 첫 번째 자리까지 변경
rel_div = rel_div.query('marriage == "divorce"')\
.assign(proportion = round(rel_div[proportion] * 100, 1))

rel_div

분석 결과
- 이혼율은 종교가 있으면 8.0% 종교가 없으면 9.5%로 종교가 있는 사람이 이혼을 덜 한다.

연령대 및 종교 유무에 따른 이혼율

연령대 변수 검토 및 전처리
- https://youngchae00.tistory.com/8 '연령대에 따른 월급 차이 분석'에서 진행
종교 변수 검토 및 전처리
- 위의 '종교 유무에 따른 이혼율' 분석에서 진행

연령대별 이혼율 확인

age_div = welfare.query('marriage != "etc"')\
.groupby('ageg', as_index = False)\
['marriage']\
.value_counts(normalize = True)

age_div

# 연령대별 빈도 확인
welfare.query('marriage != "etc"')\
.groupby('ageg', as_index = False)\
['marriage']\
.value_counts()
# 출력 결과: 초년층의 표본이 너무 작아 초년층을 대표할 수 없으므로 비교 대상에서 제외

# 중년층, 노년층 이혼인 행만 추출하여 백분율 % 값 소수점 첫 번째 자리까지 변경
age_div = age_div.query('ageg != "young" & marriage == "divorce"')\
.assign(proportion = round(age_div['proportion'] * 100, 1))

age_div

연령대 및 종교 유무에 따른 이혼율 확인

# 연령대 및 종교별 이혼율 확인
age_rel_div = welfare.query('marriage != "etc" & ageg != "young"')\
.groupby(['ageg', 'religion'], as_index = False)\
['marriage']\
.value_counts(normalize = True)

age_rel_div

# 이혼인 행만 추출하여 백분율 % 값 소수점 첫 번째 자리까지 변경
age_rel_div = age_rel_div.query('marriage == "divorce"')\
.assign(proportion = round(age_rel_div['proportion'] * 100, 1))

age_rel_div

# 연령대 및 종교별 이혼율 막대 그래프 생성
sns.barplot(data = age_rel_div, x = 'ageg', y = 'proportion', hue = 'religion')

분석 결과
- 중년은 1.3%, 노년은 1.8% 정도로 종교가 없는 사람의 이혼율이 더 높다.

지역별 연령대 비율

연령대 변수 검토 및 전처리
- https://youngchae00.tistory.com/8 '연령대에 따른 월급 차이 분석'에서 진행

지역 변수 검토 및 전처리

# 타입 확인
welfare['code_region'].dtypes

# 값 특징 및 이상치 확인
welfare['code_region'].value_counts()

# 지역 변수 결측 개수 확인
welfare['code_region'].isna().sum()

""" 
welfare 데이터프레임에서 지역 코드가 어떤 지역을 의미하는지 확인하기 쉽도록
지역 코드 목록을 만든 후, welfare 데이터프레임과 결합
(값 의미: 코드북 참고)
"""
list_region = pd.DataFrame({'code_region': [1, 2, 3, 4, 5, 6, 7],
                           'region': ['서울',
                                     '수도권(인천/경기)',
                                     '부산/경남/울산',
                                     '대구/경북',
                                     '대전/충남',
                                     '강원/충북',
                                     '광주/전남/전북/제주도']})

welfare = welfare.merge(list_region, how = 'left', on = 'code_region')
welfare[['code_region', 'region']].head()

지역별 연령대 비율 확인

# 지역별 연령대 비율 확인
region_ageg = welfare.groupby('region', as_index = False)\
['ageg']\
.value_counts(normalize = True)

region_ageg

# 백분율 % 값 소수점 첫 번째 자리까지 변경
region_ageg = region_ageg.assign(proportion = round(region_ageg['proportion'] * 100, 1))
region_ageg.head()

누적 비율 막대 그래프 생성
1. 누적 비율 막대 그래프를 생성하기 위한 피벗 만들기(데이터프레임 행, 열 구성 변경): 데이터프레임의 pivot(index = '변수명', columns = '변수명', values = '변수명') 함수 활용
  - 피벗 필요한 이유: 누적 비율 막대 그래프는 한 행의 값을 누적해서 그래프를 표현하므로 이를 명시하기 위함
2. 피벗의 행, 열 순서 정렬: 데이터프레임의 sort_values('열 이름')[['1번', '2번', ...]] 함수 활용
  - 열 이름의 값이 많은 순서대로 그래프를 생성하고, 각 그래프 내에서는 1번, 2번 순서로 구성
3. 그래프 생성: 데이터프레임의 plot.barh(stacked = True) 함수 활용

# 피벗 만들기
df_pivot = region_ageg.pivot(index = 'region',
                            columns = 'ageg',
                            values = 'proportion')
df_pivot

"""
코드 해석
1. index: region을 인덱스로 사용
2. columns: 연령대별로 열을 구성
3. values: 각 항목의 값은 비율로
"""

# old 값이 많은 순서대로 그래프 생성, 각 막대는 초년, 중년, 노년 순으로 구성
reorder_df = df_pivot.sort_values('old')[['young', 'middle', 'old']]

# 가로 누적 비율 막대 그래프 생성
reorder_df.plot.barh(stacked = True)

분석 결과
- 대구/경북의 노년층 비율이 가장 높고, 그 뒤로는 강원/충북, 광주/전남/전북/제주도, 부산/경남/울산 순으로 높다.

7-1. 한국복지패널 데이터 분석(1)

zer0 — Thu, 23 Jul 2026 22:31:58 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

데이터 분석 준비

2020년에 발간된 한국복지패널 데이터 다운로드
아나콘다 프롬프트에 pip install pyreadstat 명령어를 입력하여 pyreadstat 패키지 설치
- pyreadstat 패키지: pandas 패키지로 통계 분석 소프트웨어(SPSS, SAS, STAT 등)의 데이터 파일을 불러올 수 있도록 하는 패키지
- pyreadstat 패키지 설치가 필요한 이유: 한국복지패널 데이터는 통계 분석 소프트웨어인 SPSS 전용 파일
데이터를 불러온 후, 코드북을 참고하여 변수명을 변경
- 코드북: 데이터의 특징을 설명해 놓은 자료로, 코드로 된 변수명과 값의 의미가 설명되어 있음

분석에 사용할 변수에 대한 코드북 내용 정리본

# 사용할 패키지 로드
import pandas as pd
import numpy as np
import seaborn as sns

# 데이터 불러오기
raw_welfare = pd.read_spss('Koweps_hpwc14_2019_beta2.sav')

# 원본데이터 유지하고 분석하기 위한 데이터 복사
welfare = raw_welfare.copy()

# 변수명 변경
welfare = welfare.rename(columns = {'h14_g3': 'sex',
                                   'h14_g4': 'birth',
                                   'h14_g10': 'marriage_type',
                                   'h14_g11': 'religion',
                                   'p1402_8aq1': 'income',
                                   'h14_eco9': 'code_job',
                                   'h14_reg7': 'code_region'})

데이터 분석 절차

사용할 변수 검토
1. 변수 타입 확인: dtypes 활용
2. 전처리 전략을 수립하기 위해 값의 특징과 이상치/극단치 확인: 범주형 자료인 경우 value_counts(), 연속형 자료인 경우 describe() 함수 활용
3. 결측치 확인: isna().sum() 함수 활용
변수 전처리
1. 분석 과정에서 다루기 편하게 변경
2. 이상치/극단치를 결측치로 대체
결측 행을 제거한 후, 변수 간의 관계 분석

성별에 따른 월급 차이

성별 변수 검토 및 전처리

# 타입 확인
welfare['sex'].dtypes

# 값의 특징 및 이상치 확인 (1: 남자, 2: 여자, 9: 모름/무응답)
welfare['sex'].value_counts()

"""
결과 해석
1. 값이 1, 2로만 구성되어 있어 이상치 존재하지 않는다.
2. 값에 9가 존재하는 경우, 분석에서 제외해야 하므로 아래 코드를 통해 결측치로 변경해야 한다.
welfare['sex'] = np.where(welfare['sex'] == 9, np.nan, welfare['sex'])
"""

# 결측치 확인
welfare['sex'].isna().sum() # 결과: 결측치 존재 X

# 값의 의미를 이해하기 쉽도록 변수 값 1인 경우 male로 2인 경우 female로 변경 (값 의미: 코드북 참고)
welfare['sex'] = np.where(welfare['sex'] == 1, 'male', 'female')

# 값 변경 확인
welfare['sex'].value_counts()

월급(일한 달의 월 평균 임금) 변수 검토 및 전처리

# 타입 확인
welfare['income'].dtypes

# 값의 특징 및 이상치/극단치 확인
welfare['income'].describe()

"""
결과 해석
1. 평균값(mean) 268만원, 중앙값(50%) 220만원으로 전반적으로 낮은 값 쪽으로 치우쳐져 있다.
2. 양 극단 25% 씩을 제외한 나머지 보통의 50%가 150 ~ 345만원에 분포한다.
3. 0 ~ 1892만원으로 구성되어 있어 모름/무응답에 해당하는 9999는 존재하지 않는다.
4. 근로자들의 월급 만을 비교하기 위해 값이 0인 경우를 결측치로 변경한다.
* 값이 0인 경우를 책에서는 결측치로 여기는 것 같은데, 0은 값이 있는 상태이고, 결측치는 값이 없는 상태로 나는 서로 다른 값이라고 판단
"""

# 히스토그램으로 분포 확인: 0~250만원에 가장 밀집
sns.histplot(data = welfare, x = 'income')

# 결측치 확인
welfare['income'].isna().sum() # 결과: 9884개

# 0으로 된 값 개수 확인
(welfare['income'] == 0).sum() # 결과: 7개

# 0 → 결측치로 대체
welfare['income'] = np.where(welfare['income'] == 0, np.nan, welfare['income'])

# 결측치 개수 확인
welfare['income'].isna().sum() # 결과: 9991(= 9884 + 7)

성별 월급 평균 확인

welfare_sex_income = welfare.dropna(subset = ['income'])\
.groupby('sex', as_index = False)\
.agg(mean_income = ('income', 'mean'))

welfare_sex_income

# 막대 그래프 그리기
sns.barplot(data = welfare_sex_income, x = 'sex', y = 'mean_income', hue = 'sex')

분석 결과
- 남성이 여성보다 월급을 평균 약 163만원 더 많이 받는다.

나이와 월급의 관계

월급 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이 분석'에서 진행

나이 변수 검토 및 전처리

# 타입 확인
welfare['birth'].dtypes

# 값의 특징 및 이상치/극단치 확인
welfare['birth'].describe()

# 결측치 확인
welfare['birth'].isna().sum()

# 기존 나이 변수 값이 년도로 구성되어 있으므로 조사한 년도인 2019년 기준 나이로 변환
welfare = welfare.assign(age = 2019 - welfare['birth'] + 1)

나이별 월급 평균 확인

welfare_age_income = welfare.dropna(subset = ['income'])\
.groupby('age', as_index = False)\
.agg(mean_income = ('income', 'mean')

welfare_age_income

# 나이별 월급 평균 선그래프 생성
sns.lineplot(data = welfare_age_income, x = 'age', y = 'mean_income')

분석 결과
- 20대 초반에 월급을 평균 150만원 가량 받고 이후 지속해서 증가하는 추세를 보인다.
- 40대에 평균 350만원 가량으로 가장 많이 받고 지속해서 감소하다가 60대 후반부터는 20대보다 낮은 월급을 받는다.

연령대에 따른 월급 차이

월급 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이 분석'에서 진행

연령대 변수 검토 및 전처리

범주	기준
초년층	30세 미만
중년층	30 ~ 59세
노년층	60세 이상

# 나이대별 파생변수 생성
welfare = welfare.assign(ageg = np.where(welfare['age'] < 30, 'young', np.where(welfare['age'] < 60, 'middle', 'old')))

welfare['ageg'].value_counts()

연령대별 월급 평균 확인

welfare_ageg_income = welfare.dropna(subset = ['income'])\
.groupby('ageg', as_index = False)\
.agg(mean_income = ('income', 'mean'))

welfare_ageg_income

# 연령대별 월급 평균 막대 그래프 생성
sns.barplot(data = welfare_ageg_income, x = 'ageg', y = 'mean_income', order = ['young', 'middle', 'old'], hue = 'ageg')

분석 결과
- 중년층이 평균 330만원 정도로 가장 많은 월급을 받는다.
- 노년층은 평균 140만원으로, 초년층이 받는 195만원보다 적다.

연령대 및 성별 월급 차이

연령대 변수 검토 및 전처리
- 위의 '연령대에 따른 월급 차이 분석'에서 진행
성별 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이 분석'에서 진행
월급 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이 분석'에서 진행

연령대 및 성별 월급 평균 확인

welfare_ageg_sex_income = welfare.dropna(subset = ['income'])\
.groupby(['ageg', 'sex'], as_index = False)\
.agg(mean_income = ('income', 'mean'))

welfare_ageg_sex_income

# 연령대 및 성별 월급 막대 그래프 생성
sns.barplot(data = welfare_ageg_sex_income, x = 'ageg', y = 'mean_income', order = ['young', 'middle', 'old'], hue = 'sex')

분석 결과
- 초년에는 성별에 따른 월급 차이가 크지 않다.
- 중년에는 성별에 따른 월급 차이가 크게 벌어져 남성이 평균 179만 원가량 더 많이 번다.
- 노년에는 성별에 따른 월급 차이가 중년에 비해 줄어들지만, 여전히 남성이 평균 114만원 가량 더 많이 번다.
- 앞서 연령대별 월급 차이를 분석한 결과 노년층이 초년층보다 월급을 적게 버는 경우는 주로 여성에서만 나타난다.
- 앞서 연령대별 월급 차이를 분석한 결과 중년층이 초년층보다 월급을 많이 버는 경우는 주로 남성에서 나타난다.

나이 및 성별 월급 차이

나이 변수 검토 및 전처리
- 위의 '나이와 월급의 관계' 분석에서 진행
성별 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이' 분석에서 진행
월급 변수 검토 및 전처리
- 위의 '성별에 따른 월급 차이' 분석에서 진행

나이 및 성별 월급 평균 확인

welfare_age_sex = welfare.dropna(subset = ['income'])\
.groupby(['age', 'sex'], as_index = False)\
.agg(mean_income = ('income', 'mean'))

welfare_age_sex

# 나이 및 성별 월급 평균 선 그래프 생성
sns.lineplot(data = welfare_age_sex, x = 'age', y = 'mean_income', hue = 'sex')

분석 결과
- 남성의 월급은 평균 50세 전후까지 증가하다가 50대 후반부터 급격하게 감소한다.
- 여성의 월급은 평균 30세 초반까지 약간 증가하다가 이후로는 완만하게 감소한다.
- 성별 월급 격차는 평균 30대 중반부터 벌어지다가 50대에 가장 크게 벌어지고, 이후 점점 줄어들어 80대가 되면 비슷해진다.

6. 데이터 시각화(seaborn 패키지)

zer0 — Mon, 20 Jul 2026 15:15:34 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

산점도

산점도: 연속값으로 된 두 변수의 관계를 표현할 때 사용하며, seaborn 패키지의 scatterplot(data = 데이터 프레임명, x = 'x축 변수명', y = 'y축 변수명') 함수 활용

파일 불러오기: read_csv('파일경로') 함수 활용

import seaborn as sns
import pandas as pd

mpg = pd.read_csv('mpg.csv')

산점도 생성

sns.scatterplot(data = mpg, x = 'displ', y = 'hwy')

범위 제한: set(xlim = (시작, 끝), ylim = (시작, 끝)) 함수를 활용하며, set 함수 내에 xlim과 ylim 중에 하나만 작성하는 것도 가능

sns.scatterplot(data = mpg, x = 'displ', y = 'hwy').set(xlim = (3, 6), ylim = (10, 30));

# set(xlim = (3, 6)): x축 범위 3 ~ 6으로 제한
# set(ylim = (10, 30)): y축 범위 10 ~ 30으로 제한
# 함수 뒤에 ;작성시 <Axes: xlabel...> 설명 메시지 숨김 처리 가능

종류별 표시 색상 변경: scatterplot(data = 데이터 프레임명, x = 'x축 변수명', y = 'y축 변수명', hue='종류별 색상 다르게 할 변수명')

sns.scatterplot(data = mpg, x = 'displ', y = 'hwy', hue = 'drv')

그래프 설정 변경

import matplotlib.pyplot as plt

# 그래프 설정 변경
plt.rcParams.update({'figure.dpi': '150',
'figure.figsize': [8, 6],
'font.size': '15',
'font.family': 'Malgun Gothic'})

# figure.dpi: 해상도 (기본값 72)
# figure.figsize: 가로 세로 크기 (기본값 [6, 4])
# font.size: 글자 크기 (기본값 10)
# font.family: 폰트 (기본값 sans-serif), 맑은 고딕 설정시 그래프에 한글이 깨져보이는 것을 방지

# 그래프 설정 원래대로 복구
plt.rcParams.update(plt.rcParamsDefault)

그래프 이미지 저장: 이미지 클릭 → shift + 마우스 오른쪽 → 이미지를 다른 이름으로 저장

막대 그래프

막대 그래프: 집단 간 차이를 표현할 때 사용

평균 막대 그래프 생성
1. 평균 데이터 프레임 생성 후, 막대 그래프를 평균 크기 순서대로 나타내기 위한 정렬 실행
2. seaborn 패키지의 barplot(data = 데이터 프레임명, x = 'x축 변수명', y = 'y축 변수명') 함수를 활용하여 막대 그래프 생성

# drv별 hwy 평균을 나타내는 데이터 프레임 생성한 후, mean_hwy 기준 내림차순 정렬
# groupby 함수 as_index = False 설정 필수: 그래프를 만들기 위해서는 변수명이 필요

hwy_avg = mpg.groupby('drv', as_index = False)\
.agg(mean_hwy = ('hwy', 'mean'))\
.sort_values('mean_hwy', ascending = False)

# 막대 그래프 생성
sns.barplot(data = hwy_avg, x = 'drv', y = 'mean_hwy')

빈도 막대 그래프 생성
1. 방법1
  1. 빈도 데이터 프레임 생성 후, 빈도 크기 순서대로 나타내기 위한 정렬 실행
  2. barplot(data = 데이터 프레임명, x = 'x축 변수명', y = 'y축 변수명') 함수 활용
2. 방법2
  1. seaborn 패키지의 countplot(data = 데이터 프레임명, x = 'x축 변수명', order = 데이터 프레임명['졍렬할 변수명'].value_counts().index) 함수 활용
    - order을 설정하지 않을시, 데이터 프레임명['순서를 확인할 변수명'].unique()로 출력되는 순서대로 그래프 생성

df_mpg = mpg.groupby('drv', as_index = False)\
.agg(n = ('drv', 'count')

# 방법 1
sns.barplot(data = df_mpg, x = 'drv', y = 'n')

# 방법2

sns.countplot(data = df_mpg, x = 'drv', order = df_mpg['drv'].value_counts().index)

# value_counts().index: 크기 순서대로
# order = ['4', 'f', 'r']로 지정도 가능

선 그래프

선 그래프: 시간에 따라 달라지는 데이터를 표현할 때 사용
- 시계열 데이터: 일정 시간 간격을 두고 나열된 데이터
- 시계열 그래프: 시계열 데이터를 선으로 표현한 그래프

시계열 그래프 생성
1. 날짜 변수열의 데이터 타입을 확인하고 pandas 패키지의 to_datetime(데이터 프레임명['타입 바꿀 변수명']) 함수로 datetime 타입으로 변경
2. x축으로 보고자 하는 변수(연도, 월, 일 등)를 데이터프레임의 dt.year, dt.month, dt.day 등을 활용하여 추출한 후, 데이터 프레임에 추가
3. seaborn 패키지의 lineplot(data = 데이터 프레임명, x = '변수명', y = '변수명', ci = None) 함수 활용
  - ci(신뢰구간): 데이터의 조사 오차(표본 오차)를 기반하여, 모평균이 표본 평균으로부터 95% 확률(100% 확률로 한다면 신뢰구간이 너무 커지고, 90% 확률로 한다면 틀릴 확률이 높아져)로 존재할 영역을 계산한 구간을 의미(https://angeloyeo.github.io/2021/01/05/confidence_interval.html)

신뢰 구간의 의미 - 공돌이의 수학정리노트 (Angelo's Math Notes)

angeloyeo.github.io

economics = pd.read_csv('economics.csv')

economics.info() # 'date' 변수의 type 확인 결과: 문자열(object)

# datetime 타입으로 변경한 'date' 변수의 값들을 'date2' 변수에 할당
economics['date2'] = pd.to_datetime(economics['date'])
economics.info()

economics['year'] = economics['date2'].dt.year # 'date2' 변수의 값들에서 연도 추출 후 할당
economics.head()

# 연도별 실업자수 그래프
sns.lineplot(data = economics, x = 'year', y = 'unemploy', ci = None)

ci = None

ci = None 설정 X

상자 그림

상자 그림: 데이터의 분포를 상자 모양으로 표현한 그래프
- 상자 밖 가로선: 극단치 경계로 1.5IQR(IQR = Q3 - Q1의 값)에 해당
- 상자 아래 세로선(아랫수염): 극단치 경계 범위 내의 하위 0~25%에 해당하는 값
- 상자 밑면: 하위 25% 위치의 값
- 상자 안 가로선: 50% 위치의 값(중앙값)
- 상자 윗면: 하위 75% 위치의 값
- 상자 위 세로선(윗수염): 극단치 경계 범위 내의 하위 75~100%에 해당하는 값
- 상자 밖 표식: 1.5IQR을 벗어난 값

상자 그림 생성: boxplot(data = 데이터 프레임명, x = 'x축 변수명', y = 'y축 변수명')

sns.boxplot(data = mpg, x = 'drv', y = 'hwy')

상자 그림 해석
- f: 26~29 사이의 좁은 범위에 자동차가 모여있고, 극단치가 존재
- 4: 중앙값이 상자 아래쪽에 있는 형태로 낮은 값 쪽으로 치우친 형태의 분포
- r: 세로선이 짧고 극단치가 없는 형태로, 자동차들이 사분위 범위(1~3사분위 내) 중심으로 분포

sns.boxplot(data = mpg, x = 'drv', y = 'hwy')

5. 데이터 정제(결측치, 이상치)

zer0 — Fri, 17 Jul 2026 13:15:15 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

결측치(누락된 값) 정제

결측치 찾기: pandas 패키지의 isna(데이터 프레임명) 함수 활용
- isna() 결과 True: 결측치인 값
- isna() 결과 False: 결측치가 아닌 값

import pandas as pd
import numpy as np # np.nan을 통해 임의로 결측치를 만들기 위함

df = pd.DataFrame({'sex': ['M', 'F', np.nan, 'M', 'F'],
'score': [5, 4, 3, 4, np.nan]})
df

# 전체 테이블의 결측치 여부 확인
pd.isna(df)

# 일부 변수 열의 결측치 여부 확인
# df[['sex']].isna() 데이터프레임 형태로 결측치 여부 확인
# df['sex'].isna() 시리즈 형태로 결측치 여부 확인

pd.isna(df).sum() # 각 변수 별 결측치 빈도 출력

결측치 있는 행 제거: 데이터프레임의 dropna(subset = ['결측지 제거할 변수명1', '결측치 제거할 변수명2', ...]) 함수 활용
- dropna() 괄호 안에 아무것도 작성하지 않는 경우: 결측치가 존재하는 모든 행을 제거하므로, 분석에 필요한 행까지 손실 가능
  - ex) 성별, 소득, 지역으로 구성된 데이터에서 지역에 결측치가 있고, 성별과 소득의 관계성을 분석 할 때
- 참고 Tip: mean, sum, agg 함수는 자동으로 결측치를 제거하고 계산하지만, 명시적으로 제거하고 분석하는 것 추천

df_nomiss = df.dropna(subset = ['sex', 'score']) # 결측치 제거한 데이터 프레임 할당
df_nomiss

결측치 대체: 데이터프레임의 fillna(대체할 값) 함수를 활용하며, 데이터가 작고 결측치가 많아 데이터 분석에 왜곡이 발생하는 것을 방지하기 위하여 상황에 따라 아래 값들로 대체
- 대체 방법1: 평균값이나 최빈값
  - ex) 평균값 대체: 매출 총액, 시험 1번 결석 시 해당 시험 성적 기존 다른 시험들 평균으로 대체
  - ex) 최빈값 대체: 설문조사를 기반으로 각 품목별 생산 개수 예측
- 대체 방법2: 통계 분석 기법으로 예측값 추청
  - ex) 중고차 판매 [차종, 연식, 주행거리, 사고 유무, 판매 가격]에서 판매 가격 누락 시, 연식과 주행거리를 기반으로 판매가격 예측

exam = pd.read_csv('exam.csv')
exam.loc[[2, 7, 14], ['math']] = np.nan # loc[행 위치, 열 위치]: 데이터 위치 지정

mean_math = exam['math'].mean()
exam['math'] = exam['math'].fillna(mean_math) # math 열의 결측치를 평균값으로 대체한 후, 저장
exam

이상치(정상 범위에서 크게 벗어난 값) 정제

존재할 수 없는 값 제거하는 방법
1. 이상치 확인: 데이터프레임의 value_counts() 활용
2. 이상치 → 결측치로 대체: np.where(조건, '참인 경우', '거짓인 경우') 활용
  1. np.where() 함수에서 숫자와 NaN을 출력 결과로 활용하는 경우: np.where() 활용
  2. np.where() 함수에서 문자와 NaN을 출력 결과로 활용하는 경우: np.where() 함수에서 np.nan 대신 다른 문자열 활용 → 데이터프레임의 replace() 함수를 활용하여 np.nan으로 변경
  3. np.where() 함수에서 데이터프레임['변수명']의 값이 문자 형태인 것과 NaN을 출력 결과로 활용하는 경우: np.where() 바로 활용
3. 결측치 제거: dropna(subset = ['제거할 변수명1', '제거할 변수명2',...]

# 임의의 데이터 프레임 생성

# 정상값: 성별 1, 2로 구성, 성적 1~5점
df = pd.DataFrame({'sex': [1, 2, 1, 3, 2, 1],
'score': [5, 4, 3, 4, 2, 6]}

df['sex'].value_counts().sort_index() # 성별 이상치 확인

# value_counts()만 할 경우, 빈도 많은 순서대로 출력
# sort_index(): 이름 순서대로

df['score'].value_counts.sort_index() # 성적 이상치 확인

# 이상치 → 결측치 대체

df['sex'] = np.where(df['sex'] == 3, np.nan, df['sex']) # 성별 값이 3인 경우 NaN
df['score'] = np.where(df['score'] == 6, np.nan, df['score']) # 성적이 6점인 경우 NaN

"""
np.where()에서 문자와 함께 np.nan을 활용하면, 결측치가 아닌 문자열로 'nan'이 들어감.
np.nan 말고 다른 문자열을 작성하고 해당 문자열을 nan으로 replace하는 방식 활용하기
"""

df = pd.DataFrame({'x1': [1, 1, 2, 2]})

df['x1'] = np.where(df['x1'] == 1, 'a', 'etc') # 1이 아닌 경우 NaN을 위해 임의의 문자열 'etc' 부여
df['x1'].replace('etc', np.nan) # 'etc' 문자열 NaN으로 변경

# 결측치 제거
df.dropna(subset = ['sex', 'score'])

존재할 수 있지만 극단적인 값 제거하는 방법
- 방법1: 논리적으로 판단
  - ex) 성인의 몸무게가 40~150kg을 벗어나는 경우는 매우 드물다고 판단하여 설정
- 방법2: 통계적인 기준 설정
  1. 상자 그림으로 극단치 기준 설정: seaborn 패키지의 boxplot(data = 데이터 프레임명, y = '변수명') 함수, 데이터프레임의 quantile(.숫자) 함수 활용
    - 상자 밖 가로선: 극단치 경계로 1.5IQR(IQR = Q3 - Q1의 값)에 해당 (1.5 IQR인 이유: https://ineed-coffee.github.io/posts/IQR-rule/)
    - 상자 아래 세로선: 극단치 경계 범위 내의 하위 0~25%에 해당하는 값
    - 상자 밑면: 하위 25% 위치의 값
    - 상자 안 가로선: 50% 위치의 값(중앙값)
    - 상자 윗면: 하위 75% 위치의 값
    - 상자 위 세로선: 극단치 경계 범위 내의 하위 75~100%에 해당하는 값
    - 상자 밖 표식: 1.5IQR을 벗어난 값
  2. 극단치 → 결측치로 대체: np.where((조건1 | 조건2), '참인 경우', '거짓인 경우') 함수 활용
  3. 결측치 제거: dropna(subset = ['제거할 변수명1', '제거할 변수명2', ...])

IQR Rule

:mag: Index

ineed-coffee.github.io

import pandas as pd
import seaborn as sns

mpg = pd.read_csv('mpg.csv')

sns.boxplot(data = mpg, y = 'hwy') # 상자 그림 생성

# IQR을 구하기 위한 Q1, Q3 값 계싼
pct25 = mpg['hwy'].quantile(.25) # 하위 25% 지점(Q1)의 값
pct75 = mpg['hwy'].quantile(.75) # 하위 75% 지점(Q3)의 값

# IQR 계산
IQR = pct75 - pct25

# 극단치 기준 생성
min_value = pct25 - 1.5 * IQR
max_value = pct75 + 1.5 * IQR

# 극단치 → 결측치로 대체
# np.where() 안에 조건을 여러가지 작성하는 경우, 각 조건을 괄호로 묶어야 함
mpg['hwy'] = np.where((mpg['hwy'] < min_value) | (mpg['hwy'] > max_value), np.nan, mpg['hwy'])

# 결측치 개수 확인
mpg['hwy'].isna().sum()

# 결측치 제거
mpg.dropna(subset = ['hwy'])

4. 데이터 가공(전처리)

zer0 — Thu, 16 Jul 2026 19:23:18 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

조건에 맞는 데이터 추출

실습 데이터 불러오기

import pandas as pd

exam = pd.read_csv('exam.csv')

조건에 맞는 행 추출: 데이터프레임의 query('조건') 함수 활용

exam.query('nclass == 1') # 1반에 해당하는 행 추출

# exam.query('nclass != 1'): 1반에 해당하지 않는 행 추출

여러 조건을 충족하는 행 추출: &(그리고) 연산자 활용

exam.query('nclass == 1 & math >= 50') # 1반이면서 math가 50점 이상인 행 추출

여러 조건 중 하나 이상 충족하는 행 추출: |(또는) 연산자 활용

exam.query('math >= 90 | english >= 90') # math가 90점 이상이거나 english가 90점 이상인 행 추출

목록에 해당하는 행 추출: in 활용

# 1, 3, 5반 행 추출

exam.query('nclass in [1, 3, 5]')

"""
참고 Tip

exam[exam['nclass'].isin([1, 3, 5])] 과 동일한 출력

exam['nclass'].isin([1, 3, 5]) 출력 결과:

0      True
1      True
2      True
3      True
4     False
5     False
....
Name: nclass, dtype: bool

"""

추출한 행 데이터 프레임으로 저장: = 연산자 활용 → 얕은 복사이므로 수정시 오류 발생할 수 O ι(｀･-･´)/

nclass1 = exam.query('nclass == 1') # 1반에 해당하는 행 nclass1에 할당
nclass2 = exam.query('nclass == 2') # 2반에 해당하는 행 nclass2에 할당

nclass1['math'].mean() # nclass1의 math 평균

문자 변수를 활용한 조건에 맞는 행 추출
- 조건 전체를 " "로 감싼 경우, 문자는 ' '로
- 조건 전체를 ' '로 감싼 경우, 문자는 " "로

df = pd.DataFrame({'sex': ['F', 'M', 'F', 'M'],
                  'country': ['Korea', 'China', 'Japan', 'USA']})

df.query('sex == "F" & country == "Korea"')
df.query("sex == 'F' & country == 'Korea'")

외부 변수를 활용한 조건에 맞는 행 추출: @ 활용

var = 3
exam.query('nclass == @var') # nclass가 3에 해당하는 행 추출

필요한 변수만 추출

변수 추출: [] 활용

exam['math'] # math 추출(시리즈 형태로 출력)

"""
참고 Tip: exam[['math']]으로 출력하면 데이터 프레임 구조로 출력
"""

여러 변수 추출: [[]] 활용

exam[['math', 'english', 'science']] # math, english, science 추출

특정 변수 제외 추출: 데이터프레임의 drop() 함수 활용
- 변수 1개 제외: drop(columns = '변수명') 활용
- 변수 여러개 제외: drop(columns = ['변수명1', '변수명2', ..]) 활용

exam.drop(columns = 'math') # math 제거
exam.drop(columns = ['math', 'english']) # math, english 제거

query()와 [] 조합

exam.query('nclass == 1')['english'] # 1반에 해당하는 행에서 english만 추출

exam.query('nclass == 1')[['id', 'math']].head() # 1반에 해당하는 행에서 id, math만 추출하고, 상위 5행 출력

"""각 명령어마다 '\ + enter'를 실시하면 가독성 좋게 작성 가능
exam.query('nclass == 1')\
[['id', 'math']]\
.head()
""

순서대로 정렬

오름차순 정렬: 데이터프레임의 sort_values('기준 변수명') 활용

exam.sort_values('math') # math 성적 기준 오름차순 정렬

내림차순 정렬: ascending = False 설정

exam.sort_values('math', ascending = False) # math 성적 기준 내림차순 정렬

여러 정렬 기준 적용: sort_values(['기준 변수명1', '기준 변수명2', ..]) 활용

exam.sort_values(['nclass', 'math']) # 반 기준 오름차순 정렬 후, 각 반에서 math 성적 기준 오름차순 정렬

# 반 기준 오름차순 정렬 후, 각 반에서 math 성적 내림차순 정렬
exam.sort_values(['nclass', 'math'], ascending = [True, False])

파생변수 추가

파생변수 추가: 데이터프레임의 assign(새 변수명 = 변수를 만드는 공식) 활용

exam.assign(total = exam['math'] + exam['english'] + exam['science'])
# total 변수(math + english + science 총 합) 생성

여러 파생변수 추가: assign(새 변수명1 = 변수를 만드는 공식, 새 변수명2 = 변수를 만드는 공식, ...)

exam.assign(total = exam['math'] + exam['english'] + exam['science'],
           mean = (exam['math'] + exam['english'] + exam['science']) / 3)
          
# total, mean 변수 추가

파생변수에 조건에 따른 값 부여: assign(새 변수명 = np.where(조건, '참인 경우', '거짓인 경우'))

import numpy as np

exam.assign(test = np.where(exam['science'] >= 60, 'pass', 'fail'))

데이터 프레임명 줄여쓰기: lambda 활용
- lambda x : 수식 → x를 입력 받아서 수식 결과를 출력

exam.assign(total = lambda x: x['math'] + x['english'] + x['science']) # x 자리에 exam 활용됨

앞에서 만든 파생 변수를 이용해 다른 파생 변수 생성: 다른 파생 변수 생성에 반드시 lambda 활용

"""
exam.assign(total = exam['math'] + exam['english'] + exam['science'],
           mean = lambda x: x['total'] / 3)"""
           
exam.assign(total = lambda x: x['math'] + x['english'] + x['science'],
           mean = lambda x: x['total'] / 3)

집단별 요약

집단별 요약
1. 그룹화: groupby('그룹화 할 변수') 활용
2. 요약: agg(할당할 변수명 = ('사용할 변수명', '사용할 함수명')) 활용
  
  함수 통계량
  
  mean() 평균
  
  std() 표준편차
  
  sum() 합계
  
  min() 최소값
  
  max() 최대값
  
  median() 중앙값
  
  count() 빈도(개수)

exam.groupby('nclass').agg(mean_math = ('math', 'mean')) # 반 별 math 평균 계산

# as_index = False 설정: nclass가 index가 되지 않도록 설정 (= nclass가 행의 이름이 되지 않도록)
exam.groupby('nclass', as_index = False).agg(mean_math = ('math', 'mean'))

여러 요약 통계량 계산

exam.groupby('nclass', as_index = False)\
.agg(mean_math = ('math', 'mean'),
sum_math = ('math', 'sum'),
median_math = ('math', 'median'),
n = ('nclass', 'count'))

# mean_math: 반 별 math 평균
# sum_math: 반 별 math 총 합
# median_math = 반 별 math 중앙값
# n = 반 별 학생 수 (count = nclass열의 행 개수를 셈)

모든 변수 요약 통계량 한 번에 추출

exam.groupby('nclass').mean() # 반 별 모든 변수의 평균 계산

집단별로 다시 집단 나누기: groupby(['먼저 그룹화 할 변수명', 하위 그룹화 할 변수명'])

# 1. 제조 회사별로 그룹화 한 다음 구동 방식 별 그룹화
# 2. 각 제조 회사의 구동 방식 별 도시 연비 평균 계산
mpg.groupby(['manufacturer', 'drv']).agg(mean_cty = ('cty', 'mean'))

여러 함수 조합 ι(｀･-･´)/
- 제조 회사별로 suv 자동차의 도시 및 고속도로 합산 연비 평균을 구해 내림차순으로 정렬하고, 1~5위까지 출력
  1. suv 자동차에 해당하는 행 추출
  2. 각 자동차별 연비 합산 계산
  3. 제조 회사별로 그룹화
  4. 연비 평균 계산
  5. 내림차순 정렬
  6. 1~5위까지 출력

mpg.query('category == "suv"')\
.assign(total = (mpg['cty'] + mpg['hwy']) / 2)\
.groupby('manufacturer', as_index = False)\
.agg(mean_total = ('total', 'mean'))\
.sort_values('mean_total', ascending = False)\
.head()

데이터 합치기

가로로 합치기(열 추가) : merge(결합할 데이터 프레임명1, 결합할 테이터 프레임명2, how = '방향', on = '기준 변수명') 활용
- how = 'left': 왼쪽 데이터 프레임을 기준으로 결합
- how = 'right': 오른쪽 데이터 프레임을 기준으로 결합

name = pd.DataFrame({'nclass': [1, 2, 3, 4, 5],
                    'teacher': ['kim', 'lee', 'park', 'choi', 'jung']})

# 'nclass' 변수를 기준으로 exam 데이터 프레임과 name 데이터 프레임을 결합
new_exam = pd.merge(exam, name, how = 'left', on = 'nclass')
new_exam

세로로 합치기(행 추가): concat([결합할 데이터 프레임명1, 결합할 데이터 프레임명2])

# 학생 1~5번 시험 데이터 만들기
group_a = pd.DataFrame({'id': [1, 2, 3, 4, 5],
                       'test': [60, 80, 70, 90, 85]})

# 학생 6~10번 시험 데이터 만들기
group_b = pd.DataFrame({'id': [6, 7, 8, 9, 10],
                       'test': [70, 83, 65, 95, 80]})
                       
new_data = pd.concat([group_a, group_b])
new_data

3. 데이터 파악 및 수정

zer0 — Wed, 15 Jul 2026 15:31:14 +0900

'Do it! 쉽게 배우는 파이썬 데이터 분석' 책을 기반으로 JupyterLab 환경에서 학습한 내용입니다 _φ(๑╹╹๑)

데이터 파악

read_csv('파일 경로'): 실습 데이터 불러오기

import pandas as pd # pandas 패키지 로드

# 실습 데이터: 미국 환경 보호국에서 공개한 1999~2008년 미국에 출시된 자동차 234종 정보
mpg = pd.read_csv('mpg.csv') # 실습 데이터 → 데이터 프레임

mpg 데이터 변수명	내용
manufacturer	제조 회사
model	자동차 모델명
displ	배기량 (displacement)
year	생산연도
cyl	실린더 개수 (cylinders)
trans	변속기 종류 (transmission)
drv	구동 방식 (drive wheel)
cty	도시 연비 (city)
hwy	고속도로 연비 (highway)
fl	연료 종류 (fuel)
category	자동차 종류

head(): 데이터의 앞에서부터 다섯 번째 행까지 출력하는 기능, 괄호 안에 숫자 입력시 해당 행까지 출력

mpg.head()

tail(): head()와 반대로 데이터의 뒤에서부터 다섯 번째 행까지 출력하는 기능, 괄호 안에 숫자 입력시 해당 행까지 출력

mpg.tail()

shape: 데이터 프레임의 행, 열 개수를 출력하는 기능으로 (행 개수, 열 개수)로 출력되며, 변수가 지니고 있는 값으로 함수와 달리 괄호 사용 X

mpg.shape # 출력 결과: (234, 11)

info(): 변수들의 속성을 출력하는 기능
- 출력 결과 설명
  - <class 'pandas.core.frame.dataframe'> : pandas로 만든 데이터 프레임
  - 234 entries, 0 to 233: 234행으로 구성되어 있으며, 행 번호가 0부터 233까지
  - total 11 columns: 변수 11개로 구성
  - 나머지 정보: 변수 속성 정보
    - #: 해당 변수 순서
    - column: 변수 이름
    - Non-Null Count: 결측치(누락된 값)를 제외하고 변수에 들어있는 값의 개수
    - Dtype: 속성
      - int64: 정수
      - float64: 실수
      - object: 문자
      - datetime64: 날짜 시간

mpg.info()

describe(): 변수들의 요약 통계량을 출력하는 기능
- 사분위수 이해하기 쉬운 링크: https://velog.io/@j1eon/IQR-%EB%B6%84%EC%84%9D%EB%B2%95

IQR 분석

IQR (Interquartile Range) 사분위수 범위는 이상치를 탐지하는 데 사용되는 대표적 통계 지표 > 데이터의 변동성을 시각화하고, 이상치를 객관적으로 걸러낼 수 있는 통계적 도구 중 하나

velog.io

출력값 (숫자 변수 해당)	통계량	설명
count	빈도	(결측치를 제외한) 값의 개수
mean	평균	모든 값을 더해 값의 개수로 나눈 값
std	표준편차	변수의 값들이 평균에서 떨어진 정도
min	최소값	가장 작은 값
25%	1사분위수	하위 25%(4분의 1) 위치의 값
50%	중앙값	하위 50%(중앙) 위치의 값
75%	3사분위수	하위 75%(4분의 3) 위치의 값
max	최대값	가장 큰 값

출력값 (문자 변수 해당)	통계량	설명
count	빈도	(결측치를 제외한) 값의 개수
unique	고유값 빈도	중복을 제거한 범주의 개수
top	최빈값	개수가 가장 많은 값
freq	최빈값 빈도	개수가 가장 많은 값의 개수

# 기본 형태
# mpg.describe()

# 문자로 된 변수의 요약 통계량 함께 출력하는 방법
mpg.describe(include = 'all')

cty(도시 연비: 자동차가 도시에서 연료 1갤런에 몇 마일 주행하는지를 의미) 요약 통계량 살펴보기
1. mean: 자동차가 도시에서 갤런당 평균 16.8마일 주행
2. min: 도시 연비가 가장 낮은 자동차는 갤런당 9마일 주행
3. max: 도시 연비가 가장 높은 자동차는 갤런당 35마일 주행
manufacturer(자동차 제조 회사) 요약 통계량 살펴보기
1. unique: 자동차 제조 회사의 종류 15개
2. top: 가장 많은 자동차를 생산한 제조 회사는 dodge
3. freq: dodge는 37종을 생산

변수명 변경

복사본 만들기: 원본 데이터를 보존하여 오류 발생시 원 상태로 되돌리고 데이터를 비교하며 변형 과정을 검토할 수 있도록 하기 위함

mpg_new = mpg.copy()

변수명 변경: rename({columns: '기존 변수명': '새 변수명'})한 후, 할당해야 바뀐 변수명 저장

# 변수명 cty → city, hwy → highway 변경
mpg_new = mpg_new.rename(columns = {'cty': 'city', 'hwy': 'highway'}

mpg_new.head()

파생변수 생성

파생변수 생성

# total 변수: 통합 연비 변수(도시 연비와 고속도로 연비의 평균)
mpg['total'] = (mpg['cty'] + mpg['hwy'])/2

mpg.head()

mpg['total'].mean() # 전체 자동차의 평균 연비

조건문을 활용한 파생변수 생성
1. 기준값 정하기: 데이터프레임의 describe() 함수와 plot.hist() 함수를 활용하여 요약 통계량과 히스토그램(값의 빈도를 막대 길이로 표현한 그래프)을 확인한 후, 상황에 맞는 기준값 설정
2. 조건 판정 변수 생성: numpy(수치 연산 관련) 패키지의 where(조건, '참인 경우', '거짓인 경우') 함수 활용
3. 빈도표로 조건 판정 수 확인: 데이터프레임의 value_counts() 함수 활용

# 요약 통계량 확인
mpg['total'].describe()

# 히스토그램 확인
mpg['total'].plot.hist()

# 합격 판정 변수 생성

import numpy as np
mpg['test'] = np.where(mpg['total'] >= 20, 'pass', 'fail')
mpg.head()

# 빈도표로 합격 수 확인
mpg['test'].value_counts()

중첩 조건문을 활용한 파생변수 생성

통합 연비 등급	기준
A	30 이상
B	20~29
C	20 미만

mpg['grade'] = np.where(mpg['total'] >= 30, 'A', np.where(mpg['total'] >= 20, 'B', 'C'))

mpg['grade'].value_counts()# 빈도 기준 내림차순 정렬

mpg['grade'].value_counts().sort_index() # 빈도 기준 내림차순 정렬 → 알파벳 순 정렬

'또는' 조건문을 활용한 파생변수 생성

# mpg 데이터의 category가 'subcompact', 'compact', '2seater'에 해당하는 경우 'small', 그렇지 않다면 'large'

# 방법 1: '|' ('\'키 + 'Shift'키 동시에) 사용
mpg['size'] = np.where((mpg['category'] == 'subcompact') | (mpg['category'] == 'compact') | (mpg['category'] == '2seater'), 'small', 'large')
mpg['size'].value_counts()

# 방법 2: isin() 함수 활용
mpg['size'] = np.where(mpg['category'].isin(['compact', 'subcompact', '2seater']), 'small', 'large')
mpg['size'].value_counts()

함수	통계량
mean()	평균
std()	표준편차
sum()	합계
min()	최소값
max()	최대값
median()	중앙값
count()	빈도(개수)

데이터 분석 학습 기록

11. 가설 검정(t 검정, 상관 분석)

가설 검정

t 검정

[상황 예시] 2종 오류가 발생하는 과정

❌ 분산을 각각 고려하지 않는 경우:

⭕ 분산을 고려하는 경우:

[상황 예시] 1종 오류가 발생하는 과정

상관 분석

10. 인터랙티브 그래프(plotly 패키지)

인터랙티브 그래프 준비

산점도

막대 그래프

선 그래프

상자 그림

인터랙티브 그래프 기능 활용

9. 지도 시각화(folium 패키지)

지도 시각화 준비

시군구별 인구 단계 구분도

서울시 동별 외국인 인구 단계 구분도

8. 텍스트 마이닝(konlpy 패키지)

텍스트 마이닝 준비

대통령 연설문 텍스트 마이닝

기사 댓글 텍스트 마이닝

7-2. 한국복지패널 데이터 분석(2)

직업별 월급 차이

성별 직업 빈도

종교 유무에 따른 이혼율

연령대 및 종교 유무에 따른 이혼율

지역별 연령대 비율

7-1. 한국복지패널 데이터 분석(1)

데이터 분석 준비

데이터 분석 절차

성별에 따른 월급 차이

나이와 월급의 관계

연령대에 따른 월급 차이

연령대 및 성별 월급 차이

나이 및 성별 월급 차이

6. 데이터 시각화(seaborn 패키지)

산점도

막대 그래프

선 그래프

상자 그림

5. 데이터 정제(결측치, 이상치)

결측치(누락된 값) 정제

이상치(정상 범위에서 크게 벗어난 값) 정제

4. 데이터 가공(전처리)

조건에 맞는 데이터 추출

필요한 변수만 추출

순서대로 정렬

파생변수 추가

집단별 요약

데이터 합치기

3. 데이터 파악 및 수정

데이터 파악

변수명 변경

파생변수 생성