본문 바로가기

728x90
반응형

분류 전체보기

(315)
[복습] Python 시계열 데이터(datetime, strptime, strftime, pd.to_datetime, timedelta, pd.DateOffset) (1) 시계열 데이터 파이썬은 날짜가 어렵다. 나중에 시계열 분석할 때 파이썬으로 핸들링 하게 될 때 어려움을 겪을 수 있으니 잘 이해해두면 좋겠다. 아래의 모듈을 로드한다. from datetime import datetime import time 1. 오늘 날짜 오늘 날짜는 datetime.now() 로 리턴하며, 연, 월, 일, 시, 분, 초, 나노세컨드 까지 출력된다. datetime.today()로도 똑같은 결과를 리턴할 수 있다. d1의 type를 확인해보면 datetime이라는 타입이 출력된다. 2. 날짜 파싱 1) strptime - 벡터 연산 불가 in R) as.Date(), strptime 예) 문자열(scalar)의 날짜 파싱 '2024/01/30' + 1 이 방법은 연산이 불가하다 → 날..
[복습] Python multi-index(2) https://metime.tistory.com/278 [복습] Python multi-index(1) 파이썬은 여러 레벨의 index, column 설정이 가능 가장 상위 레벨부터 0, 1, 2, ... 레벨 숫자 부여하여 지정 레벨 별로 정렬하며 그룹핑이 가능하고 삭제 또한 가능 1. 생성 멀티 인덱스는 아래와 같은 metime.tistory.com 지난 시간에 multi-index에 대해서 공부하였다. 오늘 이어서 마무리를 하려고 한다. 1. sort_index() - level을 전달하여 특정 level에 대한 순서대로 정렬 가능 2. groupby - level별 그룹핑 가능 3. drop - 특정 level 값을 삭제 여기까지 정리했었고, 이어서 공부해보겠다. 4. swaplevel - lev..
[복습] Python 또 다른 형태의 교차표 생성(pd.crosstab, pivot, pivot_table) 1. crosstab - pd.crosstab 함수(cross table을 만들어주는 함수) - 범주형 자료 분석을 위한 빈도수에 대한 교차표 리턴시 주로 사용 - 요약 기능 가짐 적합도 검정, 동질성 검정, 독립성 검정 중 cross table을 만들겠다는 것은 독립성 검정을 위한 것이다. (일원 분할표는 동질성 검정) 예) 부서별로 JOB에 대한 배치가 다른지 확인 → DEPTNO, JOB에 대한 cross table이 필요하다는 의미 나중에 범주형 자료분석 할 때 빈도수를 쉽게 구할 수 있는 방법이기 때문에 많이 사용할 함수이다. 2. pivot / pivot_table (후자를 더 많이 사용함) 1) pivot - 이미 요약되어 있는 데이터를 교차표 형태로 만들어줌(요약 기능 → 평균, 총합 등의..
[복습] Python long data ↔ wide data 변환(stack, unstack) in R) stack / unstack, reshape2::melt(long data로 만들기), dcast(wide data로 만들기) ** long data / wide data 차이 1. long data - join 연산 가능 - group 연산 용이 - DBMS에 저장되는 형식 2. wide data - 교차표 - 요약정보(가독성이 좋음) - 행별, 열별 연산이 용이 - join 불가 ★ - 시각화, 범주형 분석 시 필요 1. unstack: long data → wide data df1.unstack(level = -1, # unstack 처리할 level (-1이 디폴트, 맨 마지막 레벨) fill_value) 예) 일반적인 unstack 처리 위 데이터를 unstack 처리를 하여보자. 파..
[복습] Python | 분석 | 불순도 + 하루끝(20240129) 불순도 1. 정의와 활용 - 정의: 범주형 자료의 클래스끼리 혼합되어있는 정도 - 활용: 분류모델에서의 변수 선택(변수 중요도 계산) 시 사용 2. 종류 1) Gini index: 한 노드의 불순도를 측정하는 척도 G = 1 - (p1^2 + p2^2 + ...) 2진 클래스의 불순도의 최고 → 반반 섞일 때 2진 클래스의 불순도의 최저 → 0 즉, 2진 클래스일 때 불순도 최고는 반반 섞일 때이므로 0.5, 가장 낮다는 것은 하나로만 구성된 것이므로 0 ** 그러므로 2진 클래스일 경우 p=0.5일 때 불순도 최대(G=0.5) p = 1 or 0 일때 불순도 최저(G=0) ** 클 수록 혼합되어있음을 나타낸다. 2) Entrophy index: 열역학에서 가져온 개념으로, 혼합 정도를 나타내는 척도. ..
[복습] Python 파이썬의 정규식 표현식 정규식 표현식 ^: 시작 $: 끝 [ ]: 여러 값 동시 전달 혹은 연속적 패턴 전달 ex) [0-9], [()], [가-힣] [0-9-]: 가운데 하이픈은 범위, 맨 뒤의 하이픈은 패턴전달 . : (공백포함) 한 자리 글자 \ : 뒤에 오는 특수기호를 일반 기호화(escape character) (): 그룹 추출 * : 0회 이상(없어도 되는 경우 주로 사용) + : 1회 이상 {i,j}: i회 이상 j회 이하 → {3,}: 3회 이상, {3}: 3 \d : 숫자 \D : 숫자가 아닌 \s : 공백이나 탭 \w : 문자 또는 숫자 또는 _ (언더바) \W : 문자 또는 숫자 또는 _ (언더바)가 아닌 → _(언더바)를 제외한 특수 기호 예시를 들어보았다. 여기서 import re 는 정규식에 해당하는 ..
[실습문제] 2024. 1. 26.(금) (2문제) 1. 교습현황.csv 파일을 읽고 불필요한 컬럼 제거 1) 구별 교습과정별 교습소별 연도별 총 합 출력 2) 구별 교습과정별 가장 인기있는 교습소 명 출력 2. 부동산매매지수1.scv 파일을 읽고 날짜 컬럼(구분)의 값 날짜 파싱(연도가 생략된 경우 연도 전달 필요) 예를 들면 08/4/7 처럼 연도가 있는 경우도 있지만 그 외 같은 연도에 대한 모든 날짜는 다 연도가 빠짐. 그러다 09년이 되면 09/../.. 이런식으로 날짜가 되어 있음. → 어떻게 하면 각 행의 값을 같은 포맷으로 표현 가능할까(연도 포함)
Spyder IDE에서 그래픽 표출 설정하는 방법 1) 상단 바에서 Tools로 들어가 Preferences 선택 2) 좌측의 iPython console 선택 후 Graphics 탭 > Graphics backend의 Backend를 Automatic으로 설정 그러면 그래픽이 표출된다.
[복습] Python | 분석 | 랜덤포레스트(Random Forest, RF)(1) + 하루끝(20240126) - 대표적인 트리기반 모델 - 앙상블 모형(동일한, 혹은 서로 다른 모형을 결합하여 최종 결론을 내는 방식) - 모델링 목적: 서로 다른 트리를 구성하는 것 1) 부트스트랩(bootstrap): 학습 데이터와 동일한 크기의 복원추출을 허용한 데이터셋을 각 트리마다 복습 (서로 다른 트리를 구성하기 위한 모델 내부에서 선택한 기법 중 하나) 2) 임의성 정도(max_features): 각 분류 기준을 만들 때 모든 설명변수를 고려하지 않고 랜덤하게 선택된 일부 변수 중에서 중요한 변수로 결정 (복원추출을 허용하여 가져와도 비슷한 데이터셋이 추출될 가능성이 높은데 이런 것들을 서로 다르게 표현하기 위하여 임의성 정도에 대한 알고리즘이 필요함. 랜덤하게 선택된 일부 변수 중 하나를 고려) in R) mtry ..
[복습] Python 자료구조(6) (array) https://metime.tistory.com/312 [복습] Python 자료구조(5) (array) https://metime.tistory.com/307 [복습] Python 자료구조(4) (array) - 다차원 - 단 하나의 데이터 타입만 허용(수치연산) - 일상적으로는 잘 사용하지 않으나(데이터프레임 사용), 딥러닝 코드 구현시 사용 1. 생 metime.tistory.com 위 게시글에 이어 마지막 array 정리이다. 1. 생성 2. 주요메서드 3. 색인 4. 3차원 배열의 연산 까지 위 링크에 정리했다. 5. 변경(행 추가, 열 추가) - np.vstack, np.hstack 예) 행 추가(결합) pd.concat을 사용하여 a1과 a2를 결합하고자 한다. 함수는 원래 안에 들어가는 객..

728x90
반응형