GIL's LAB

최근 많은 회사에서 개발 직군을 채용할 때 코딩테스트를 봅니다. 코딩테스트 문제는 컴퓨터 사이언스 알고리즘 문제로 좋은 개발자를 뽑기엔 적합할 수 있어도 좋은 데이터 사이언티스트를 뽑기엔 적합하지 않을 수도 있습니다. 실제로 일반 개발직군을 뽑는 코딩테스트를 사용해서 데이터사이언티스트 면접 대상자를 뽑았더니, 분석이 아니라 개발을 잘 하는 사람 위주로만 뽑혀서 난감했던 적도 있습니다. 아무튼 이러한 문제로 데이터사이언스 직군에게는 매우 쉬운 수준의 코딩테스트만 진행하고 있습니다. 그러니 데이터 사이언스 직무 희망자의 경우에 코딩테스트에 너무 목매지 않았으면 좋겠습니다. 실제로 코딩테스트가 어렵기로 소문난 기업에 데이터사이언티스트로 지원해서 코딩테스트를 본적이 있는데, 생각보다 너무 쉬워서 당황했던 경험이..

본 포스팅에서는 데이터 분석 혹은 사이언티스트 취업 준비 시에 도메인 지식을 미리 쌓아야하는지에 관해 간단히 제 생각을 정리해보겠습니다. 도메인 지식이 무엇이고 왜 필요할까? 보통 데이터 분석, 데이터 사이언스 등에서 말하는 도메인 지식은 데이터가 발생한 환경에 대한 지식이라고 할 수 있습니다. 예를 들어, 반도체 제조 공정 데이터를 분석한다면 그 때의 도메인이 반도체가 되는 것이고 도메인 지식은 반도체에 관한 지식이라고 할 수 있습니다. 사실 도메인 지식을 모르더라도 데이터 분석이나 머신러닝 모델링 등을 할 수 있습니다. 예를 들어, 많은 분들이 아이리스 데이터로 높은 정확도의 모델을 만들어본 경험이 있을겁니다. 아래 그림처럼 꽃들의 petal과 sepal의 길이와 두께를 바탕으로 어느 종의 꽃인지를 ..

이번 포스팅에서는 pandas_datareader를 이용하여 미국 주식 데이터를 수집하는 방법에 대해 알아보겠습니다. 이 패키지는 다양한 금융 데이터를 손쉽게 수집할 수 있도록 하는 패키지입니다. 패키지 설치 pandas-datareader는 pip을 이용해 다음과 같이 설치할 수 있습니다. pip install pandas-datareader 나스닥 종목 불러오기 나스닥 종목은 pandas_datareade.nasdaq_trader의 get_nasdaq_symbols 함수를 이용하여 구할 수 있습니다. from pandas_datareader.nasdaq_trader import get_nasdaq_symbols nasdaq_list = get_nasdaq_symbols() nasdaq_list.hea..

이번 포스팅에서는 국토교통부에서 제공하는 아파트매매 실거래 데이터를 수집하는 방법에 대해 알아보겠습니다. 데이터 출처는 다음과 같습니다. https://www.data.go.kr/data/15057511/openapi.do 국토교통부_아파트매매 실거래 상세 자료 부동산 거래신고에 관한 법률에 따라 신고된 주택의 실거래 자료를 제공 www.data.go.kr 서비스키 발급 데이터를 수집하기 위해서는 서비스키를 먼저 발급받아야 합니다. 위의 링크에 접속해서 중간쯤에 있는 "활용 신청" 버튼을 클릭합니다. 그러면 다음과 같이 공공데이터포털에 로그인하라는 메시지가 뜹니다. 확인버튼을 누르고 공공데이터포털에 로그인해줍니다. ID가 없다면 회원가입을 하도록 합니다. 활용 신청을 하고 나면, 마이페이지 > 오픈API..

정제 방향 이번 포스팅에서는 읍면동별 학교 데이터를 정리해보겠습니다. 각 읍면동마다 초등학교, 중학교, 고등학교 수는 몇 개이고 또 어느 학교가 있는지를 정리하겠습니다. 즉, 아래의 스키마를 갖는 데이터로 정리하겠습니다. 시도 시군구 읍면동 초등학교 수 중학교 수 고등학교 수 초등학교 목록 중학교 목록 고등학교 목록 여기서 각 학교 목록은 해당 읍면동에 포함되는 학교들을 세미콜론(;)으로 구분한 것입니다. 활용 데이터 활용하는 데이터와 그 출처는 다음과 같습니다. 전국초중고등학교위치표준데이터 https://www.data.go.kr/data/15021148/standard.do 전국초중등학교위치표준데이터 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)..

본 포스팅에서는 파이썬의 list comprehension이 얼마나 효율적인지를 간단한 실험을 통해 알아보겠습니다. 실험은 Jupyter notebook의 %%timeit 매직키워드를 사용하여 실행 시간을 측정해서 비교하는 방식으로 수행하겠습니다. 1. 조건과 함수를 사용하지 않았을 때의 비교 리스트에 속한 모든 요소를 그대로 가져오는 케이스에 대해 실험을 해보겠습니다. 먼저 실험에 사용할 리스트를 다음과 같이 정의해줍니다. L = list(range(100)) 이제 세 가지의 방법으로 L의 요소를 갖는 리스트 L1, L2, L3를 만들어보겠습니다. 방법 1. Append를 사용하는 경우 %%timeit L1 = [] for v in L: L1.append(v) [실행 결과] 9.9 µs ± 678 ns..

이번 포스팅에서는 데이터 사이언티스트를 희망하는 사람이 어떤 방식으로 공부해야 하는지에 대해 알아보겠습니다. 한 도메인의 분석을 주로하는 머신러닝 엔지니어(예: 비전, 자연어, 추천 엔지니어 등)에게는 적합한 내용이 아닐 수 있습니다. 또한, 어디까지나 지극히 주관적인 의견이며, 저와 같이 고객의 요청에 따라 만들어지는 프로젝트 단위로 일을 하는 혹은 일을 하게 될 분에게 도움이 될 것입니다. 무엇을 공부해야 하나? 당연히도 데이터 사이언티스트로 취업하기 위해 필요한 지식이나 스킬을 익혀야 합니다. 이 지식이나 스킬에 포함되는 내용을 간략히 정리하면 아래와 같을 것이며 개인적으로 생각하기에 중요한 것을 위에 배치했습니다. 머신러닝 / 딥러닝 알고리즘 확률 및 통계 파이썬 (R) 최적화 SQL 하둡, 리눅..

최근에 데이터사이언티스트 직무를 희망하는 분들을 멘토링하는 일을 시작했습니다. 물론 자소서나 경력기술서 첨삭도 하고 있고요. 여기서부터는 데이터 사이언티스트 직무로 신입 입사를 희망하는 분을 편의상 신입 지원자라 부르겠습니다. 이번 포스팅에서는 신입 지원자가 어떻게 포트폴리오를 준비해야 하는지에 대해 알아보겠습니다. 어떤 경험과 역량이 필요한가? 제가 상담했던 신입 지원자는 크게 전공자와 비전공자로 나눌 수 있습니다. 여기서 전공자는 컴퓨터공학, 통계학, 산업공학 및 인공지능 관련 학과의 학부 및 석사 졸업자를 말합니다. 사실 전공자는, 특히 석사학위까지 취득한 전공자는 별다르게 포트폴리오를 준비할 필요가 보통은 없습니다. 이미 공부한 이력도 있고 게다가 산학과제 등을 통해 기업과의 협업을 진행한 경험도..

제 첫 책인 "손에 잡히는 퀀트 투자 with 파이썬"이 세종도서 학술부문에 선정됐습니다. 덕분에 여러 도서관에서 책을 만나보실 수 있게 됐습니다. 여전히 인터넷 서점에서도 만나보실 수 있습니다. http://www.yes24.com/Product/Goods/107036607 손에 잡히는 퀀트 투자 with 파이썬 - YES24 직접 퀀트 투자 전략을 구현하고 검증하면서 안전한 주식투자를 시작하세요!『손에 잡히는 퀀트 투자 with 파이썬』은 파이썬과 데이터 분석이 익숙하지 않은 분들도 퀀트 투자 전략을 검증하고 www.yes24.com http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=979115839313..

안녕하세요. 최근에 크몽이나 메일을 통해서 주니어 데이터 사이언티스트들의 이력서와 경력 기술서, 자기소개서 등을 첨삭해주고 있습니다. 대부분이 유료로 진행되고 자기소개서 등을 공개하는 것을 허락하지 않아서 포스팅이 뜸했는데요. 그런데 오랜만에 공개를 허락한 구독자분이 있어서, 경력 기술서 작성 팁과 첨삭으로 돌아왔습니다. 이전에 작성한 팁은 아래 링크를 참고해주세요! https://gils-lab.tistory.com/62 데이터 사이언티스트 / 분석가를 위한 경력 기술서 작성 팁과 첨삭 안녕하세요. 이번 포스팅에서는 실제 경력 기술서를 가지고 첨삭한 내용을 통해, 데이터 사이언티스트와 분석가를 위한 경력 기술서 및 이력서 작성 팁을 정리해보겠습니다. 실제 경력 기술서 gils-lab.tistory.co..