GIL's LAB

데이터 분석 실무에서는 우리가 예상하지 못한 다양한 문제를 해결해야 합니다. 경험이 많은 데이터 분석가나 데이터 사이언티스트조차 매일 검색하면서 업무를 수행합니다. 이때 중요한 것은 어떤 키워드로 검색해야 하는지(구글링), 그리고 어떤 프롬프트를 써야 하는지(ChatGPT 활용)를 아는 것입니다. 1. ChatGPT를 활용하면 어떤 업무 효율을 높일 수 있을까?ChatGPT는 다양한 업무에서 효율을 높이는 데 유용하게 사용될 수 있습니다.새로운 개념 이해예: "결정 트리가 뭐야? 초보자도 이해할 수 있게 설명해줘"코드 리뷰 및 최적화예: "이 코드에서 에러가 발생하는 이유가 뭐고 어떻게 해결할 지 알려줘"코드 작성 지원예: "이 데이터에서 고객 이탈률을 계산하는 MySQL 쿼리를 작성해줘"브레인스토밍예:..

데이터 분석을 하다 보면 ValueError: could not convert string to float라는 에러를 만날 수 있습니다.이 에러는 숫자로 변환할 수 없는 문자열이 포함된 경우 발생합니다.예시를 보겠습니다import numpy as nparr = np.array(["1.23", "4.56", "hello", "7.89"])arr = arr.astype(float) [실행 결과]ValueError: could not convert string to float: 'hello' 해결 방법은 간단합니다. 숫자로 변환할 수 없는 문자열은 숫자로 안바꾸는 것입니다.다만 결측이 문자열로 표시된 경우가 있습니다. Kaggle에서 대표적인 문제인 Telco Churn Prediction(링크)에도 비슷한 ..

1. 프로젝트 개요이번 분석에서는 약물 투여 여부에 따른 보행 패턴 차이를 분석했다.18명의 피험자가 직선 보행 후 회전할 때 신체 부위별 회전각을 측정했으며, 이를 통해 실험군(약물 투여)과 대조군(비투여)의 차이를 비교했다.2. 데이터 및 변수 정의실험 데이터 구성피험자 그룹실험군 (13명): 약물 투여 피험자대조군 (5명): 약물 비투여 피험자측정 부위 (총 12개)골반(Pelvis), 엉덩이(Hip), 무릎(Knee), 발목(Ankle), 상체(Trunk), 머리/목(Head/Neck), 어깨(Shoulder), 팔꿈치(Elbow)모든 부위에서 x, y, z 축 회전각(Rotation Angle) 데이터 수집주요 분석 변수각 부위의 움직임을 정량화하기 위해 여러 지표를 사용했다. RMS (Root..

1. 프로젝트 개요데이터 수집: 타겟 유저를 입력하면 해당 유저의 팔로워 데이터를 수집데이터 시각화: 타겟 유저와 팔로워를 네트워크 형태로 시각화함 2. 사용 패키지tweepy: 트위터 데이터 수집용networkx: 네트워크 데이터 분석용pyvis: 인터랙티브 그래프 시각화용 3. 시각화 결과 예시    유사 프로젝트 요청이 필요하다면? https://kmong.com/gig/374194의뢰 내용에 따라 작업 기간과..." data-og-host="kmong.com" data-og-source-url="https://kmong.com/gig/374194" data-og-url="https://kmong.com/gig/374194" data-og-image="https://scrap.kakaocdn.net..

1. 프로젝트 개요이번 분석에서는 심박수 및 모션 가속 센서 데이터를 활용하여 수면 상태를 예측하는 모델을 개발했다. 데이터는 PhysioNet에서 수집된 31명의 피험자 데이터를 사용했으며, 주요 목표는 주어진 생체 데이터를 바탕으로 수면 상태(Wake, Light Sleep, Deep Sleep, REM)를 예측하는 것이다. 2. 사용 데이터 및 전처리데이터 구성심박수 (HR) 데이터: 불규칙한 주기로 측정됨모션 가속도 센서 데이터: X, Y, Z 축 값으로 제공됨수면 상태 레이블: 30초 단위로 측정됨 (Wake, Light Sleep, Deep Sleep, REM)주요 전처리 과정심박수 데이터 보완: 특정 시점(t)의 수면 상태 예측을 위해 이전 30초 동안의 평균 심박수를 계산하여 추가모션 데이..

최근 데이터 분석가(Data Analyst; DA)와 데이터 사이언티스트(Data Scientist; DS)를 채용하는데 있어 과제 전형을 포함시키는 회사가 늘어났습니다. 이번 포스팅에서는 이러한 과제 전형을 대비하기 위한 방법에 대해 알아보겠습니다.  DA/DS 과제 전형의 목적: 무엇을 평가할까?DA/DS 과제 전형의 목적은 당연히 입사해서 업무를 잘 수행할 수 있을지를 평가하기 위한 것입니다. 그러나 하나의 과제만 보고 개인의 역량을 제대로 평가하기는 쉽지 않습니다. 그래서 답안지를 보기보다 문제 풀이 과정을 봅니다. 즉, 정답을 찾는지, 화려한 스킬을 쓰는지를 보는 것이 아니라 논리적인 접근 방식과 문제 해결 능력을 평가하는 것이 핵심입니다. 따라서 높은 모델 정확도를 달성하는 것보다, 문제를 어..

문제경찰청에서는 매년 말 지역별 범죄 발생 통계를 발표합니다. 2018년부터 2022년까지 5년치 데이터가 있으며, 각 데이터는 경찰청_범죄 발생 지역별 통계_20181231.csv 등에 저장되어 있습니다 (출처). 해당 데이터를 이용하여 다음 분석을 수행하세요. 단, 결측이나 공백은 0을 나타냅니다.  문제 (1) 2018년부터 2022년까지 서울, 부산, 대구, 인천, 광주, 대전, 울산, 세종의 사기 범죄 추세를 시각화하세요.  문제 (2) 2018년부터 2022년까지 경기도에서 발생한 강력 범죄 추세를 시각화하세요. 문제 (3) 전체 범죄 건수가 매년 감소한 지역의 범죄 발생 건수 추이를 시각화확인하세요.  문제 (4) 2022년에 전체 범죄 발생 가운데 마약범죄 발생 비율이 가장 높은 상위 10..

안녕하세요. 근 1년만의 포스팅입니다. 이번 포스팅에서는 경력 기술서 내의 프로젝트 기술서를 작성하는 방법에 대해 알아보겠습니다. 가장 중요한 것은 제 3자인 평가자가 기술서를 본다는 점을 감안해야 한다는 것입니다. 기술서 구조 기술서는 다음과 같은 구조로 작성하는 것이 좋습니다. 프로젝트명, 기간 (개월수) 프로젝트 개요 주요 수행 내용 업무 성과 획득 역량 각 항목에 대해 자세히 알아보겠습니다. 프로젝트명 프로젝트명은 가급적 구체적으로 작성해줘야하며, 그 뒤에 기간을 명시해줘야 합니다. 가상의 프로젝트(주가 예측 알고리즘 개발)를 다음과 같이 쓸 수 있을 것입니다. 주가 예측 알고리즘 개발, 2023.06 ~ 2024.12 (1년 6개월) 기간 옆에 몇 개월짜리인지를 써주는 것이 평가자가 보기 편합니..

오랜만에 포스팅입니다. 최근 저희 회사에서 신입 데이터사이언티스트 2명을 채용하고 있고, 평가 위원으로 들어가게 됐습니다. 지금은 막 서류를 검토하고 면접에 올릴 인원을 선정하는 단계인데, 생각보다 엄청나게 많은 지원자가 몰려 일이 밀리고 있습니다. 정확한 경쟁률을 밝히기는 어려우나 300:1을 넘습니다. 그리고 인사팀에서 1차로 필터링을 해서 주지만, 그래도 현업 데이터사이언티스트 한 명이 봐야할 지원서만 백장을 넘습니다. 그러다보니 각자의 기준을 만들고 면접에 올릴 가능성이 없는 지원자는 빠르게 낮은 점수를 부여합니다 (지원자 입장에선 억울할 수 있지만, 결국 뽑는건 두 명 뿐이니 합격 가능성이 낮은 지원자는 빠르게 검토할 수 밖에 없습니다). 그리고 최근에는 현업에서 서류를 직접 검토하는 일이 많은..

이번 포스팅에서는 국내 주가 데이터를 다운로드할 수 있는 프로그램을 공유하도록 하겠습니다. 프로그램 다운로드는 아래 링크에서 할 수 있으며, 다운로드가 되지 않으면 댓글부탁드립니다. https://drive.google.com/file/d/1Z6w0KpKBCPyUzcnixPU9__x-QlRxRXgM/view?usp=sharing stock_data_collection.exe drive.google.com 매우 간단한 프로그램으로 그 사용 방법을 살펴보겠습니다. 먼저 아래 프로그램을 실행해줍니다. 그러면 아래와 같은 까만 화면이 떴다가 얼마 후에 프로그램이 실행됩니다. 프로그램이 실행된 화면은 아래와 같습니다. 여기서 종목명 옆에 있는 목록 버튼을 누르면 수집 가능한 종목 목록이 다음과 같이 뜹니다. 예를..