GIL's LAB

문제 PM10_seoul.csv는 12월 1일 1시부터 8일 24시까지 한 시간마다 측정한 미세먼지 농도(PM-10) 데이터이다. date 컬럼은 측정 시간(YYYY-MM-DD:HH)를 나타내며, PM-10은 미세먼지 농도를 나타낸다. 이 데이터를 활용하여 아래에 답하시오. (1) 시간에 따른 미세먼지 농도를 적절한 그래프로 시각화하세요. 단, x축 이름은 date, y축 이름은 PM-10이어야 합니다. (2) 시간대별 평균 미세먼지 농도를 계산하세요. 즉, t시(t=1,2,…,24)의 평균 농도를 구하시오. (3) 시점 t의 미세먼지 농도를 시점 t-1, t-2, t-3, t-4의 농도를 이용하여 예측하는 모델을 학습하기 위한 데이터를 구성하세요. 예를 들어, 8일 24시의 미세먼지 농도를 8일 20 ..

이전 포스팅에서 이야기한 바와 같이, 데이터 분석가와 데이터 사이언티스트에게 컴퓨터공학에서 다루는 알고리즘을 물어보는 코딩테스트는 난이도가 매우 낮거나 치루지 않는 경우가 많습니다.아무래도 코딩테스트가 아니라 분석 능력을 봐야 하니까 최소한만 보는 경우가 있는 것으로 보입니다.SK C&C와 CJ올리브네트웍스와 같은 기업들에서는 이러한 분석 능력을 보기 위해 데이터 분석가만을 위한 코딩테스트를 시행하고 있습니다. 주어진 시간 내에 간단한 데이터 핸들링과 모델링을 보는게 목표라고 할 수 있습니다.반면, 시간을 더 넉넉히 주고 사전 과제를 주는 경우도 있습니다.  서론이 길었는데 데이터 분석과와 사이언티스트 직무를 희망하는 사람이 풀어볼 수 있는 문제 은행을 만들어볼까 합니다.당연히 길스랩 블로그에 올릴 예정..

아마도 올해 마지막 포스팅이 되지 않을까합니다. 드디어 누적 방문수 10만을 돌파했습니다! 뭐 그렇다고 크게 달라지는 것은 없지만 뿌듯하네요! 내년에는 20만명을 목표로 해야겠습니다~

본 포스팅에서는 대표적인 휴리스틱 알고리즘 중 하나인 입자 군집 최적화에 대해 알아보겠습니다. 본 내용은 제가 쓴 책 "파이썬을 활용한 머신러닝 자동화 시스템 구축"에서 발췌했습니다. https://wikibook.co.kr/automl/ 파이썬을 활용한 머신러닝 자동화 시스템 구축: 실무자를 위한 머신러닝 핵심 개념, 모델 선택 머신러닝 자동화를 통해 데이터 분석과 모델 개발에만 집중하세요! 머신러닝 자동화 시스템의 원리는 머신러닝 실무자에게 굉장히 중요한 내용입니다. 이 책에서는 데이터 탐색 방법을 비롯해 wikibook.co.kr 개요 입자 군집 최적화(particle swarm optimization; PSO)는 아래 그림과 같이 새가 무리를 이뤄 나는 것처럼 여러 개의 해가 동시에 최적해를 찾아..

이번 포스팅에서는 32개 데이터에 대해 회귀 모델을 적용했을 때의 성능을 바탕으로 어느 상황에서 어떤 모델을 써야하는지에 대한 인사이트를 정리해보겠습니다. 단, 어디까지나 32개 데이터에 대한 실험 결과일 뿐이므로 결과를 맹신하지는 않았으면 좋겠습니다. 사용 데이터 사용한 데이터는 KEEL에서 수집한 32개 회귀 데이터 셋으로 그 정보는 다음과 같습니다. 사용 모델 사용한 회귀 모델은 11개로 sklearn, xgboost, lightgbm의 클래스를 이용해 만들었습니다. from sklearn.ensemble import RandomForestRegressor as RFR from sklearn.ensemble import GradientBoostingRegressor as GBR from sklear..

이번 포스팅에서는 데이터 사이언티스트 관련 채용 공고를 분석하여, 데이터사이언티스트 취업을 위해 필요한 것들을 알아보겠습니다. 분석에 사용한 채용 공고는 21건이며, 신입 혹은 5년 이내 경력직 공고만 사람인과 원티드를 통해 수집했습니다. 채용 공고에서 자격요건과 우대사항을 다음과 같이 정리했습니다. (예시) 마켓컬리 자격요건 • 물류 및 이커머스 도메인에 대한 관심이 많고, ML/DL 모델링에 기반한 프로젝트 실무를 경험하신 분 • 물적/인적 자원의 효율적인 배분 전략 및 최적화 기법, 혹은 마케팅 효율화/타게팅, 개인화 추천/랭킹 모델 등에 관심이 있으신 분 • 중급 이상의 Python, SQL 프로그래밍 역량과 ML 알고리즘과 성능지표에 대한 이해를 갖추신 분 우대사항 • 결과와 과정에 대한 논리적..

이번 포스팅에서는 데이터 분야 직무(특히 데이터 사이언스) 취업을 희망하는 분들을 위한 지원 동기 작성 방법에 대해 알아보겠습니다. 본 포스팅은 어디까지나 제 개인 의견임을 미리 밝힙니다. 지원 동기를 왜 묻나? 사실 집에 돈이 너무 많아서 취미로 취업을 하지 않는 한 지원 동기는 돈을 벌기 위한 것일텐데, 왜 지원 동기를 물어볼까요? 회사에서 지원 동기를 물어보는 이유는 구직자가 얼마나 우리 회사에 관심이 있는가를 알아보기 위함입니다. 따라서 지원 동기에 대한 답변은 이 회사에서만 쌓을 수 있는 경험과 관련될 수록 좋습니다. 데이터 사이언스 분야 구직자에게 적절한 지원 동기 작성 방법 데이터 사이언스 분야에서 이 회사에서만 쌓을 수 있는 경험은 결국 그 회사가 갖고 있는 데이터와 관련이 있을 수 밖에 ..

최근 많은 회사에서 개발 직군을 채용할 때 코딩테스트를 봅니다. 코딩테스트 문제는 컴퓨터 사이언스 알고리즘 문제로 좋은 개발자를 뽑기엔 적합할 수 있어도 좋은 데이터 사이언티스트를 뽑기엔 적합하지 않을 수도 있습니다. 실제로 일반 개발직군을 뽑는 코딩테스트를 사용해서 데이터사이언티스트 면접 대상자를 뽑았더니, 분석이 아니라 개발을 잘 하는 사람 위주로만 뽑혀서 난감했던 적도 있습니다. 아무튼 이러한 문제로 데이터사이언스 직군에게는 매우 쉬운 수준의 코딩테스트만 진행하고 있습니다. 그러니 데이터 사이언스 직무 희망자의 경우에 코딩테스트에 너무 목매지 않았으면 좋겠습니다. 실제로 코딩테스트가 어렵기로 소문난 기업에 데이터사이언티스트로 지원해서 코딩테스트를 본적이 있는데, 생각보다 너무 쉬워서 당황했던 경험이..

본 포스팅에서는 데이터 분석 혹은 사이언티스트 취업 준비 시에 도메인 지식을 미리 쌓아야하는지에 관해 간단히 제 생각을 정리해보겠습니다. 도메인 지식이 무엇이고 왜 필요할까? 보통 데이터 분석, 데이터 사이언스 등에서 말하는 도메인 지식은 데이터가 발생한 환경에 대한 지식이라고 할 수 있습니다. 예를 들어, 반도체 제조 공정 데이터를 분석한다면 그 때의 도메인이 반도체가 되는 것이고 도메인 지식은 반도체에 관한 지식이라고 할 수 있습니다. 사실 도메인 지식을 모르더라도 데이터 분석이나 머신러닝 모델링 등을 할 수 있습니다. 예를 들어, 많은 분들이 아이리스 데이터로 높은 정확도의 모델을 만들어본 경험이 있을겁니다. 아래 그림처럼 꽃들의 petal과 sepal의 길이와 두께를 바탕으로 어느 종의 꽃인지를 ..

이번 포스팅에서는 pandas_datareader를 이용하여 미국 주식 데이터를 수집하는 방법에 대해 알아보겠습니다. 이 패키지는 다양한 금융 데이터를 손쉽게 수집할 수 있도록 하는 패키지입니다. 패키지 설치 pandas-datareader는 pip을 이용해 다음과 같이 설치할 수 있습니다. pip install pandas-datareader 나스닥 종목 불러오기 나스닥 종목은 pandas_datareade.nasdaq_trader의 get_nasdaq_symbols 함수를 이용하여 구할 수 있습니다. from pandas_datareader.nasdaq_trader import get_nasdaq_symbols nasdaq_list = get_nasdaq_symbols() nasdaq_list.hea..