GIL's LAB

이번 포스팅에서는 pandas_datareader를 이용하여 미국 주식 데이터를 수집하는 방법에 대해 알아보겠습니다. 이 패키지는 다양한 금융 데이터를 손쉽게 수집할 수 있도록 하는 패키지입니다. 패키지 설치 pandas-datareader는 pip을 이용해 다음과 같이 설치할 수 있습니다. pip install pandas-datareader 나스닥 종목 불러오기 나스닥 종목은 pandas_datareade.nasdaq_trader의 get_nasdaq_symbols 함수를 이용하여 구할 수 있습니다. from pandas_datareader.nasdaq_trader import get_nasdaq_symbols nasdaq_list = get_nasdaq_symbols() nasdaq_list.hea..

이번 포스팅에서는 국토교통부에서 제공하는 아파트매매 실거래 데이터를 수집하는 방법에 대해 알아보겠습니다. 데이터 출처는 다음과 같습니다. https://www.data.go.kr/data/15057511/openapi.do 국토교통부_아파트매매 실거래 상세 자료 부동산 거래신고에 관한 법률에 따라 신고된 주택의 실거래 자료를 제공 www.data.go.kr 서비스키 발급 데이터를 수집하기 위해서는 서비스키를 먼저 발급받아야 합니다. 위의 링크에 접속해서 중간쯤에 있는 "활용 신청" 버튼을 클릭합니다. 그러면 다음과 같이 공공데이터포털에 로그인하라는 메시지가 뜹니다. 확인버튼을 누르고 공공데이터포털에 로그인해줍니다. ID가 없다면 회원가입을 하도록 합니다. 활용 신청을 하고 나면, 마이페이지 > 오픈API..

정제 방향 이번 포스팅에서는 읍면동별 학교 데이터를 정리해보겠습니다. 각 읍면동마다 초등학교, 중학교, 고등학교 수는 몇 개이고 또 어느 학교가 있는지를 정리하겠습니다. 즉, 아래의 스키마를 갖는 데이터로 정리하겠습니다. 시도 시군구 읍면동 초등학교 수 중학교 수 고등학교 수 초등학교 목록 중학교 목록 고등학교 목록 여기서 각 학교 목록은 해당 읍면동에 포함되는 학교들을 세미콜론(;)으로 구분한 것입니다. 활용 데이터 활용하는 데이터와 그 출처는 다음과 같습니다. 전국초중고등학교위치표준데이터 https://www.data.go.kr/data/15021148/standard.do 전국초중등학교위치표준데이터 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)..

본 포스팅에서는 파이썬의 list comprehension이 얼마나 효율적인지를 간단한 실험을 통해 알아보겠습니다. 실험은 Jupyter notebook의 %%timeit 매직키워드를 사용하여 실행 시간을 측정해서 비교하는 방식으로 수행하겠습니다. 1. 조건과 함수를 사용하지 않았을 때의 비교 리스트에 속한 모든 요소를 그대로 가져오는 케이스에 대해 실험을 해보겠습니다. 먼저 실험에 사용할 리스트를 다음과 같이 정의해줍니다. L = list(range(100)) 이제 세 가지의 방법으로 L의 요소를 갖는 리스트 L1, L2, L3를 만들어보겠습니다. 방법 1. Append를 사용하는 경우 %%timeit L1 = [] for v in L: L1.append(v) [실행 결과] 9.9 µs ± 678 ns..

이번 포스팅에서는 데이터 사이언티스트를 희망하는 사람이 어떤 방식으로 공부해야 하는지에 대해 알아보겠습니다. 한 도메인의 분석을 주로하는 머신러닝 엔지니어(예: 비전, 자연어, 추천 엔지니어 등)에게는 적합한 내용이 아닐 수 있습니다. 또한, 어디까지나 지극히 주관적인 의견이며, 저와 같이 고객의 요청에 따라 만들어지는 프로젝트 단위로 일을 하는 혹은 일을 하게 될 분에게 도움이 될 것입니다. 무엇을 공부해야 하나? 당연히도 데이터 사이언티스트로 취업하기 위해 필요한 지식이나 스킬을 익혀야 합니다. 이 지식이나 스킬에 포함되는 내용을 간략히 정리하면 아래와 같을 것이며 개인적으로 생각하기에 중요한 것을 위에 배치했습니다. 머신러닝 / 딥러닝 알고리즘 확률 및 통계 파이썬 (R) 최적화 SQL 하둡, 리눅..

최근에 데이터사이언티스트 직무를 희망하는 분들을 멘토링하는 일을 시작했습니다. 물론 자소서나 경력기술서 첨삭도 하고 있고요. 여기서부터는 데이터 사이언티스트 직무로 신입 입사를 희망하는 분을 편의상 신입 지원자라 부르겠습니다. 이번 포스팅에서는 신입 지원자가 어떻게 포트폴리오를 준비해야 하는지에 대해 알아보겠습니다. 어떤 경험과 역량이 필요한가? 제가 상담했던 신입 지원자는 크게 전공자와 비전공자로 나눌 수 있습니다. 여기서 전공자는 컴퓨터공학, 통계학, 산업공학 및 인공지능 관련 학과의 학부 및 석사 졸업자를 말합니다. 사실 전공자는, 특히 석사학위까지 취득한 전공자는 별다르게 포트폴리오를 준비할 필요가 보통은 없습니다. 이미 공부한 이력도 있고 게다가 산학과제 등을 통해 기업과의 협업을 진행한 경험도..

제 첫 책인 "손에 잡히는 퀀트 투자 with 파이썬"이 세종도서 학술부문에 선정됐습니다. 덕분에 여러 도서관에서 책을 만나보실 수 있게 됐습니다. 여전히 인터넷 서점에서도 만나보실 수 있습니다. http://www.yes24.com/Product/Goods/107036607 손에 잡히는 퀀트 투자 with 파이썬 - YES24 직접 퀀트 투자 전략을 구현하고 검증하면서 안전한 주식투자를 시작하세요!『손에 잡히는 퀀트 투자 with 파이썬』은 파이썬과 데이터 분석이 익숙하지 않은 분들도 퀀트 투자 전략을 검증하고 www.yes24.com http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=979115839313..

안녕하세요. 최근에 크몽이나 메일을 통해서 주니어 데이터 사이언티스트들의 이력서와 경력 기술서, 자기소개서 등을 첨삭해주고 있습니다. 대부분이 유료로 진행되고 자기소개서 등을 공개하는 것을 허락하지 않아서 포스팅이 뜸했는데요. 그런데 오랜만에 공개를 허락한 구독자분이 있어서, 경력 기술서 작성 팁과 첨삭으로 돌아왔습니다. 이전에 작성한 팁은 아래 링크를 참고해주세요! https://gils-lab.tistory.com/62 데이터 사이언티스트 / 분석가를 위한 경력 기술서 작성 팁과 첨삭 안녕하세요. 이번 포스팅에서는 실제 경력 기술서를 가지고 첨삭한 내용을 통해, 데이터 사이언티스트와 분석가를 위한 경력 기술서 및 이력서 작성 팁을 정리해보겠습니다. 실제 경력 기술서 gils-lab.tistory.co..

이번 포스팅에서는 퇴사 후 데이터사이언스 분야 풀타임 대학원 진학에 대해 제 생각을 정리해볼까 합니다. 구독자 분께서 조언을 구한 질문이기도 하고 실제로도 많이 듣는 질문이기도 합니다. 참고로 2년 이상 5년 이하 회사에 근무한 20대후반에서 30대 초반을 대상으로 한 글이며, 어디까지나 주관적인 제 의견임을 미리 밝힙니다. 결론부터 이야기하면 말리고 싶습니다. 현재 직무와 전공에 따라 다를 수 있지만, 기본적으로는 말리고 싶습니다. 특히 데이터 사이언스와 완전히 무관한 직무와 전공일수록 더더욱 그렇습니다. 물론 대학원에 가서 잘 풀리는 케이스야 당연히 있고 저도 몇 번 봤지만, 최소한 퇴사 후 진학 시 발생할 수 있는 리스크는 염두에 둬야 할 것 같습니다. 말리는 가장 큰 이유는 석사 학위를 취득한다고..

이번 시간에는 tweepy라는 트위터 API에 접근할 수 있는 파이썬 패키지를 이용해서 트위터 데이터를 수집하는 방법에 대해 알아보겠습니다. 구체적으로 수집하고자 하는 데이터는 다음과 같습니다. 유저의 팔로워 목록 유저의 트윗 목록 유저의 팔로워 수 등 tweepy 공식 문서는 아래에서 확인할 수 있습니다. https://docs.tweepy.org/en/stable/ Tweepy Documentation — tweepy 4.10.1 documentation © Copyright 2009-2022, Joshua Roesslein. Revision ad5e31be. docs.tweepy.org 사실 많은 블로그에서 tweepy를 사용해서 트윗 데이터를 수집하는 방법을 소개했지만, 옛날 글이 많아 최신 버전..