본문 바로가기

전체 글

(206)
석유화학 가격 결측치 채우기 1. 불규칙한 석유화학 가격 데이터 결측치를 채우기 위한 고민 끝에 방법이 나왔다. 물론, 불규칙하다고는 하지만 그 안의 몇 가지 규칙이 있기 때문에 그다지 복잡하지는 않다. isocalendar가 반환하는 튜플값을 이용해서 연도값을 정하고 몇 가지 조건으로 결측치를 채운다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 df= pd.read_excel('C:\\pytest\\hpde.xlsx') df['Date'].dt.date df['Month'] = df['Date'].map(lambda x: x.month) df['Year'] = df['Date'].map(lambda x: x...
PDF 자료(표 데이터) 추출 1. 일부 보고서에서 자료를 뽑아야 하는데 PDF이다. https://da-nika.tistory.com/86 Python PDF extract tool 정리 언어의 한계상 대부분이 그렇듯 영어는 인식률이 높지만 한글은 아직 발전해야 할 부분이 많다. 1. OCR_SPACE def ocr_space(filename, overlay=False, api_key='', language='eng'): payload = {'isOverlayRequ.. da-nika.tistory.com 위 사이트에 정리가 잘 되어 있는 것 같고. 2. 보다 세부적으로는 https://github.com/camelot-dev/camelot/wiki/Comparison-with-other-PDF-Table-Extraction-lib..
새로운 행(row)에 데이터 삽입 1. 주간 석유화학 가격의 경우 월말 연초 전후로 가격 누락이 있다. 빈도수도 일정하지 않고 품목에 따라 공식 가격 날짜도 달라서 비교하기가 쉽지 않다. 2. 마찬가지로 52주 가격을 기준으로 스프레드를 구하기 위해 몇 가지를 해봤는데 고려해야할 사항이 많다. 3. 특정 위치에 새로운 행을 넣는 방법은 https://stackoverrun.com/ko/q/5958849 python - 파이썬 팬더 : 열이 일치하는 행의 인덱스를 가져 오기, 우리는 DataFrame의 인덱스를 찾으려 있는 "BoolCol"== 진정한 I의 값 현재 완벽하게 작동하는 iterating 방법이 있습니다. for i in range(100,3000): if df.iloc[i]['BoolCol']== True: print i,d..
EIA, API를 loop로 1. 기존에 한번 다루었던 EIA API를 이용해봤는데 VBA로 했을 때보다 훨씬 빠르고 안정적이다. 당연한 이야기를... 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 import datetime import time from tqdm import tqdm import pandas as pd import eia import numpy as np import xlwings as xw def retrieve_time_series(api, series_ID): """ Return the time series dataframe, based..
isocalendar와 52주 데이터(20200806 수정) 1. 일년은 보통 52주이나 때에 따라서는 53주가 되기도 한다. 여하튼 주별 가격 흐름을 연도별로 비교하는 데이터를 엑셀로 뿌려서 그래프를 그리는 코드를 짜고 있는데 과연 1주의 시작은 언제일까? https://blog.naver.com/yakzip/221987910053 한 주의 시작이 세계별로 다른 문제.. 파이썬에 기본적으로 있는 calendar로 달력을 만들다가놀라운 사실을 발견했다.​우리나라는 주의 시작이 ... blog.naver.com 달력에 관련된 내용은 위 사이트를 참조하면 된다. 파이썬 판다스 resample('W").mean() 을 하면 일간 가격 데이터가 주간 가격 데이터로 변환되는데 1 2 import calendar print(calendar.calendar(2020)) cs ..
TypeError: unsupported operand type(s) for -: 'str' and 'datetime.timedelta' 1. 밀어만 내는 파이썬을 붙잡고 상호 간의 이해가 중요함을 강조하면서 계속설득을 하고 있건만 잘 안된다. 힘들어... 여튼 날짜에 관한 datetime 모듈을 한번은 정리할 필요가 있어서 몇 가지를 찾아본 결과 https://m.blog.naver.com/PostView.nhn?blogId=wideeyed&logNo=221603462366&proxyReferer=https:%2F%2Fwww.google.com%2F [Pandas] 일자와 시간(dt) 처리법 Pandas를 이용하여 일자와 시간을 처리하는 방법에 대해서 알아보겠습니다.Pandas에서 지원하는 일자시간... blog.naver.com https://windybay.net/post/20/ 파이썬 datetime 모듈로 날짜, 시간 다루기 파이..
custom function 1. 논의의 출발 데이터프레임이 있는데 특정 2개나 3개의 column에 조건을 주어서 새로운 column을 만들어 내기 위해서. 아직도 난 custom function(커스텀함수)를 만드는 것에 익숙하지가 않다. 그런데 적용까지 하려니 더 헷갈려서... 2. 함수의 적용을 검색해보면 천편일률적으로 lambda, map, filter, reduce에 관한 설명이 뒤따르고 예제도 대동소이하다. https://teddylee777.github.io/python/lambda-map-filter-reduce%EC%97%90-%EB%8C%80%ED%95%9C-%EC%89%AC%EC%9A%B4%EC%9D%B4%ED%95%B4 python의 built-in function인 lambda, map, filter, 그리..
ValueError: Wrong number of items passed 19, placement implies 1 1. 역시 관련 오류 검색의 출발점은 stackoverflow https://stackoverflow.com/questions/43196907/valueerror-wrong-number-of-items-passed-meaning-and-suggestions ValueError: Wrong number of items passed - Meaning and suggestions? I am receiving the error: ValueError: Wrong number of items passed 3, placement implies 1, and I am struggling to figure out where, and how I may begin addressing the problem. I don't re..