데이터 분석 공부

Pima Indians Diabetes 예측하기 ② 데이터 전처리 후 모델 학습/예측 데이터 전처리는 모든 데이터 분석 프로젝트에서 반드시 거쳐야 하는 과정입니다. 먼저, 아무것도 하지 않고 모델을 실행해 정확도를 본 후 여러 방법으로 데이터를 다듬어 정확도의 변화를 살펴보며 모델 성능을 개선해보겠습니다. ▶ 전처리 없이 모델 실행 1. 데이터 로드 후 8:2로 학습, 예측 데이터로 나누기 # 라이브러리 로드 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt # 데이터셋 로드 df = pd.read_csv("C:/data/diabetes.csv") # 8:2로 학습, 예측 데이터셋 나누기 ..

[Python] map 함수 파이썬의 내장 함수 map() 여러 개의 데이터를 한 번에 다른 형태로 변환하기 위해 사용 list, tuple에 대해 자주 사용 ▶ 사용법 map(함수, 순회 가능한 객체) ▶ map 함수 예시 (1) 직육면체의 가로, 세로, 높이 개수를 입력받아 가로+세로+높이를 구해보자 가로(W), 세로(L), 높이(H) case 1) map 함수 사용 X rect = input("직육면체의 가로, 세로, 높이의 개수를 입력하세요:").split() W = int(rect[0]) L = int(rect[1]) H = int(rect[2]) W + L + H # 가로+세로+높이 개수 만약 입력 받는 변수가 많다면, 하나하나 int로 바꿔줘야 하는 불편함이 있다. case 2) map 함수..

[Python] pd.where과 np.where의 차이 1. pd.where 판다스의 Series객체.where() 함수 Series객체.where(Series객체에 대한 조건문, 거짓 일 때의 대체 값) 형태로 사용 조건문의 참값에 Series객체 값을 넣어줌 2. np.where np.where(배열에 대한 조건문, 참일 때 값, 거짓일 때 값) 형태로 사용 array(배열)로 반환함 ▶ 하나의 데이터 프레임 만들기 import pandas as pd import numpy as np df = pd.DataFrame({'a':[1, 2, 3, 4, 5], 'b':[6, 7, 8, 9, 10]}) df ▶ pd.where 예시 a열 중 4보다 작은 값에는 그대로 a열의 값, 그 외의 값에는 100 넣..

[Pandas] loc와 iloc의 차이 판다스에서 특정 행(row)이나 열(column)을 골라낼 때 사용 1. loc location의 약어 데이터 프레임의 행 또는 컬럼의 label이나 boolean array로 인덱싱하는 방법 사람이 읽을 수 있는 label 값으로 특정 값들을 골라오는 방법 2. iloc integer location의 약어 데이터 프레임의 행이나 컬럼의 인덱스 값으로 접근 ▶ loc 예시 사용법 df.loc[행 인덱싱 값, 열 인덱싱 값] 하나의 데이터 프레임을 불러오기 import pandas as pd customer_m = pd.read_csv("c:/data/customer_master.csv") customer_m.head() 레이블 이름이 0인 행 추출 custome..

파이썬 데이터 분석 실무 테크닉 100 03장 _ 고객의 전체 모습을 파악하는 테크닉 [ 머신러닝 ] 1. 데이터 불러오고 확인하기 import pandas as pd use_log = pd.read_csv("c:/data/use_log.csv") customer_m = pd.read_csv("c:/data/customer_master.csv") class_m = pd.read_csv("c:/data/class_master.csv") campaign_m = pd.read_csv("c:/data/campaign_master.csv") use_log.head() customer_m.head() class_m.head() campaign_m.head() 2. 고객 데이터 가공하기 customer_m에 clas..

파이썬 데이터 분석 실무 테크닉 100 02장 _ 대리점 데이터를 가공하는 테크닉 [ 데이터 가공 ] 1. 데이터 불러오기 import pandas as pd uriage_data = pd.read_csv("C:/data/uriage.csv") uriage_data.head() kokyaku_data = pd.read_excel("C:/data/kokyaku_daicho.xlsx") kokyaku_data.head() item_name 에는 오류, item_price에는 결측치가 존재하는 것을 확인할 수 있다. 2. 데이터의 오류 살펴보기 uriage_data["item_name"] item_name에 공백이 포함되거나 대문자, 소문자가 섞여있는 오류를 확인할 수 있다. uriage_data["item_..

파이썬 데이터 분석 실무 테크닉 100 01장 _ 웹에서 주문 수를 분석하는 테크닉 [ 데이터 가공 ] 1. 데이터 불러오기 import pandas as pd customer_master = pd.read_csv("C:/data/customer_master.csv") customer_master.head() item_master = pd.read_csv("C:/data/item_master.csv") item_master.head() transaction_1 = pd.read_csv("C:/data/transaction_1.csv") transaction_2 = pd.read_csv("C:/data/transaction_2.csv") transaction_detail_1 = pd.read_csv("C:..

https://dacon.io/competitions/open/235698/overview/description ▶ [ Lv.2 결측치 보간법과 랜덤포레스트로 따릉이 데이터 예측하기 ] 를 공부했습니다. ▶ EDA _ 탐색적 자료 분석 이전 게시글 Lv1과 데이터가 같으므로 이 단계에서 행, 열 개수 확인/ 데이터 확인은 생략하겠습니다! 1. 라이브러리, 파일 불러오기 데이터분석을 하기 위해 pandas 라이브러리와 파일을 불러오기 import pandas as pd train = pd.read_csv('C:/data/train.csv') test = pd.read_csv('C:/data/test.csv') ▶ 전처리 1. 결측치 삭제, 대체 (방법 1) 결측치를 평균값으로 대체 Lv1에서는 결측치를 0..

https://dacon.io/competitions/open/235698/overview/description ▶ [ Lv.1 의사결정회귀나무로 따릉이 데이터 예측하기 ] 를 공부했습니다. ▶ EDA _ 탐색적 자료 분석 1. 라이브러리, 파일 불러오기 데이터분석을 하기 위해 pandas 라이브러리와 파일을 불러오기 import pandas as pd train = pd.read_csv('C:/data/train.csv') test = pd.read_csv('C:/data/test.csv') 2. 행, 열 개수 관찰하기 shape를 이용해 train, test의 행/열 개수 파악 train.shape # 행 1459개, 열 11개 test.shape # 행 715개, 열 10개 3. 데이터 확인하기 h..