GIL's LAB

이번 포스팅에서는 32개 데이터에 대해 회귀 모델을 적용했을 때의 성능을 바탕으로 어느 상황에서 어떤 모델을 써야하는지에 대한 인사이트를 정리해보겠습니다. 단, 어디까지나 32개 데이터에 대한 실험 결과일 뿐이므로 결과를 맹신하지는 않았으면 좋겠습니다. 사용 데이터 사용한 데이터는 KEEL에서 수집한 32개 회귀 데이터 셋으로 그 정보는 다음과 같습니다. 사용 모델 사용한 회귀 모델은 11개로 sklearn, xgboost, lightgbm의 클래스를 이용해 만들었습니다. from sklearn.ensemble import RandomForestRegressor as RFR from sklearn.ensemble import GradientBoostingRegressor as GBR from sklear..

이번 포스팅에서는 데이터 사이언티스트 관련 채용 공고를 분석하여, 데이터사이언티스트 취업을 위해 필요한 것들을 알아보겠습니다. 분석에 사용한 채용 공고는 21건이며, 신입 혹은 5년 이내 경력직 공고만 사람인과 원티드를 통해 수집했습니다. 채용 공고에서 자격요건과 우대사항을 다음과 같이 정리했습니다. (예시) 마켓컬리 자격요건 • 물류 및 이커머스 도메인에 대한 관심이 많고, ML/DL 모델링에 기반한 프로젝트 실무를 경험하신 분 • 물적/인적 자원의 효율적인 배분 전략 및 최적화 기법, 혹은 마케팅 효율화/타게팅, 개인화 추천/랭킹 모델 등에 관심이 있으신 분 • 중급 이상의 Python, SQL 프로그래밍 역량과 ML 알고리즘과 성능지표에 대한 이해를 갖추신 분 우대사항 • 결과와 과정에 대한 논리적..

이번 포스팅에서는 데이터 분야 직무(특히 데이터 사이언스) 취업을 희망하는 분들을 위한 지원 동기 작성 방법에 대해 알아보겠습니다. 본 포스팅은 어디까지나 제 개인 의견임을 미리 밝힙니다. 지원 동기를 왜 묻나? 사실 집에 돈이 너무 많아서 취미로 취업을 하지 않는 한 지원 동기는 돈을 벌기 위한 것일텐데, 왜 지원 동기를 물어볼까요? 회사에서 지원 동기를 물어보는 이유는 구직자가 얼마나 우리 회사에 관심이 있는가를 알아보기 위함입니다. 따라서 지원 동기에 대한 답변은 이 회사에서만 쌓을 수 있는 경험과 관련될 수록 좋습니다. 데이터 사이언스 분야 구직자에게 적절한 지원 동기 작성 방법 데이터 사이언스 분야에서 이 회사에서만 쌓을 수 있는 경험은 결국 그 회사가 갖고 있는 데이터와 관련이 있을 수 밖에 ..

최근 많은 회사에서 개발 직군을 채용할 때 코딩테스트를 봅니다. 코딩테스트 문제는 컴퓨터 사이언스 알고리즘 문제로 좋은 개발자를 뽑기엔 적합할 수 있어도 좋은 데이터 사이언티스트를 뽑기엔 적합하지 않을 수도 있습니다. 실제로 일반 개발직군을 뽑는 코딩테스트를 사용해서 데이터사이언티스트 면접 대상자를 뽑았더니, 분석이 아니라 개발을 잘 하는 사람 위주로만 뽑혀서 난감했던 적도 있습니다. 아무튼 이러한 문제로 데이터사이언스 직군에게는 매우 쉬운 수준의 코딩테스트만 진행하고 있습니다. 그러니 데이터 사이언스 직무 희망자의 경우에 코딩테스트에 너무 목매지 않았으면 좋겠습니다. 실제로 코딩테스트가 어렵기로 소문난 기업에 데이터사이언티스트로 지원해서 코딩테스트를 본적이 있는데, 생각보다 너무 쉬워서 당황했던 경험이..

본 포스팅에서는 데이터 분석 혹은 사이언티스트 취업 준비 시에 도메인 지식을 미리 쌓아야하는지에 관해 간단히 제 생각을 정리해보겠습니다. 도메인 지식이 무엇이고 왜 필요할까? 보통 데이터 분석, 데이터 사이언스 등에서 말하는 도메인 지식은 데이터가 발생한 환경에 대한 지식이라고 할 수 있습니다. 예를 들어, 반도체 제조 공정 데이터를 분석한다면 그 때의 도메인이 반도체가 되는 것이고 도메인 지식은 반도체에 관한 지식이라고 할 수 있습니다. 사실 도메인 지식을 모르더라도 데이터 분석이나 머신러닝 모델링 등을 할 수 있습니다. 예를 들어, 많은 분들이 아이리스 데이터로 높은 정확도의 모델을 만들어본 경험이 있을겁니다. 아래 그림처럼 꽃들의 petal과 sepal의 길이와 두께를 바탕으로 어느 종의 꽃인지를 ..

이번 포스팅에서는 국토교통부에서 제공하는 아파트매매 실거래 데이터를 수집하는 방법에 대해 알아보겠습니다. 데이터 출처는 다음과 같습니다. https://www.data.go.kr/data/15057511/openapi.do 국토교통부_아파트매매 실거래 상세 자료 부동산 거래신고에 관한 법률에 따라 신고된 주택의 실거래 자료를 제공 www.data.go.kr 서비스키 발급 데이터를 수집하기 위해서는 서비스키를 먼저 발급받아야 합니다. 위의 링크에 접속해서 중간쯤에 있는 "활용 신청" 버튼을 클릭합니다. 그러면 다음과 같이 공공데이터포털에 로그인하라는 메시지가 뜹니다. 확인버튼을 누르고 공공데이터포털에 로그인해줍니다. ID가 없다면 회원가입을 하도록 합니다. 활용 신청을 하고 나면, 마이페이지 > 오픈API..

정제 방향 이번 포스팅에서는 읍면동별 학교 데이터를 정리해보겠습니다. 각 읍면동마다 초등학교, 중학교, 고등학교 수는 몇 개이고 또 어느 학교가 있는지를 정리하겠습니다. 즉, 아래의 스키마를 갖는 데이터로 정리하겠습니다. 시도 시군구 읍면동 초등학교 수 중학교 수 고등학교 수 초등학교 목록 중학교 목록 고등학교 목록 여기서 각 학교 목록은 해당 읍면동에 포함되는 학교들을 세미콜론(;)으로 구분한 것입니다. 활용 데이터 활용하는 데이터와 그 출처는 다음과 같습니다. 전국초중고등학교위치표준데이터 https://www.data.go.kr/data/15021148/standard.do 전국초중등학교위치표준데이터 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)..

이번 포스팅에서는 데이터 사이언티스트를 희망하는 사람이 어떤 방식으로 공부해야 하는지에 대해 알아보겠습니다. 한 도메인의 분석을 주로하는 머신러닝 엔지니어(예: 비전, 자연어, 추천 엔지니어 등)에게는 적합한 내용이 아닐 수 있습니다. 또한, 어디까지나 지극히 주관적인 의견이며, 저와 같이 고객의 요청에 따라 만들어지는 프로젝트 단위로 일을 하는 혹은 일을 하게 될 분에게 도움이 될 것입니다. 무엇을 공부해야 하나? 당연히도 데이터 사이언티스트로 취업하기 위해 필요한 지식이나 스킬을 익혀야 합니다. 이 지식이나 스킬에 포함되는 내용을 간략히 정리하면 아래와 같을 것이며 개인적으로 생각하기에 중요한 것을 위에 배치했습니다. 머신러닝 / 딥러닝 알고리즘 확률 및 통계 파이썬 (R) 최적화 SQL 하둡, 리눅..

최근에 데이터사이언티스트 직무를 희망하는 분들을 멘토링하는 일을 시작했습니다. 물론 자소서나 경력기술서 첨삭도 하고 있고요. 여기서부터는 데이터 사이언티스트 직무로 신입 입사를 희망하는 분을 편의상 신입 지원자라 부르겠습니다. 이번 포스팅에서는 신입 지원자가 어떻게 포트폴리오를 준비해야 하는지에 대해 알아보겠습니다. 어떤 경험과 역량이 필요한가? 제가 상담했던 신입 지원자는 크게 전공자와 비전공자로 나눌 수 있습니다. 여기서 전공자는 컴퓨터공학, 통계학, 산업공학 및 인공지능 관련 학과의 학부 및 석사 졸업자를 말합니다. 사실 전공자는, 특히 석사학위까지 취득한 전공자는 별다르게 포트폴리오를 준비할 필요가 보통은 없습니다. 이미 공부한 이력도 있고 게다가 산학과제 등을 통해 기업과의 협업을 진행한 경험도..

안녕하세요. 최근에 크몽이나 메일을 통해서 주니어 데이터 사이언티스트들의 이력서와 경력 기술서, 자기소개서 등을 첨삭해주고 있습니다. 대부분이 유료로 진행되고 자기소개서 등을 공개하는 것을 허락하지 않아서 포스팅이 뜸했는데요. 그런데 오랜만에 공개를 허락한 구독자분이 있어서, 경력 기술서 작성 팁과 첨삭으로 돌아왔습니다. 이전에 작성한 팁은 아래 링크를 참고해주세요! https://gils-lab.tistory.com/62 데이터 사이언티스트 / 분석가를 위한 경력 기술서 작성 팁과 첨삭 안녕하세요. 이번 포스팅에서는 실제 경력 기술서를 가지고 첨삭한 내용을 통해, 데이터 사이언티스트와 분석가를 위한 경력 기술서 및 이력서 작성 팁을 정리해보겠습니다. 실제 경력 기술서 gils-lab.tistory.co..