GIL's LAB

본 포스팅에서는 대표적인 휴리스틱 알고리즘 중 하나인 입자 군집 최적화에 대해 알아보겠습니다. 본 내용은 제가 쓴 책 "파이썬을 활용한 머신러닝 자동화 시스템 구축"에서 발췌했습니다. https://wikibook.co.kr/automl/ 파이썬을 활용한 머신러닝 자동화 시스템 구축: 실무자를 위한 머신러닝 핵심 개념, 모델 선택 머신러닝 자동화를 통해 데이터 분석과 모델 개발에만 집중하세요! 머신러닝 자동화 시스템의 원리는 머신러닝 실무자에게 굉장히 중요한 내용입니다. 이 책에서는 데이터 탐색 방법을 비롯해 wikibook.co.kr 개요 입자 군집 최적화(particle swarm optimization; PSO)는 아래 그림과 같이 새가 무리를 이뤄 나는 것처럼 여러 개의 해가 동시에 최적해를 찾아..

이번 포스팅에서는 베이지안 최적화가 해결하고자 하는 블랙박스 최적화 문제에 대해 알아보겠습니다. 이번 포스팅부터해서 베이지안 최적화에 필요한 개념을 정리하고자 합니다. 블랙박스 최적화 문제란? 블랙박스 최적화 문제는 목적 함수, 제약식, 결정 변수 간 자세한 관계를 알 수 없는 최적화 문제를 말합니다. 구체적으로 추가적인 실험 및 측정 없이 결정 변수에 따른 목적 함숫값을 모르거나 제약식을 만족하는지 알 수 없는 문제를 의미합니다. 일반 최적화 문제 vs 블랙박스 최적화 문제 블랙박스가 아닌 최적화 문제와 블랙박스 최적화 문제를 비교해보겠습니다. 결정 변수와 목적 함수, 결정 변수와 제약식 간의 관계를 알 수 있으므로 블랙박스 최적화 문제가 아님 즉, x1과 x2가 각각 2와 1이라면 목적 함수가 3이고..

이번 포스팅에서는 유전 알고리즘을 이용하여 특징을 선택하는 방법에 대해 알아보겠습니다. 유전 알고리즘에 대한 설명은 이 포스팅을 참고하시기 바랍니다. 추후에 유전 알고리즘의 테크니컬한 부분을 중심으로 한 번 다루겠습니다. 래퍼 방법(wrapper method) 래퍼 방법은 모델의 예측 정확도 측면에서 가장 좋은 성능을 보이는 특징 집합을 구성하는 방법입니다. 다시 말해, 래퍼 방법이 해결하고자 하는 문제는 아래 그림과 같이 원 특징 집합의 부분 집합을 특징 집합으로 사용했을 때의 모델의 예측 정확도를 최대로 하는 부분 집합을 찾는 것입니다. 즉, 위 그림에서 원 특징 집합 X 로부터 적절한 특징을 선택하여 구성한 특징 집합 ϕ 를 지도학습 모델에 투입했을 때 나오는 점수(예: 정확도, MAE, 재현율 등..

논문: Frazier, P. I. (2018). A tutorial on Bayesian optimization. arXiv preprint arXiv:1807.02811. 어떤 문제를 다루나? 미지의 목적 함수 f를 최대화하는 최적화 문제 x: 20차원 이하의 실수 벡터, x = (x_1, x_2, ..., x_n) A: feasible set, 통상적으로 hyper-rectangle 형태 (즉, a_i ≤ x_i ≤ b_i) 목적 함수 f의 특성 continuous black-box: 지금까지의 데이터로 추정해야 함 expensive to evaluate: 데이터가 부족함 derivative-free: 도함수를 모름 => Newton’s Method, Gradient descent 등 사용 불가 no..

개요 유전 알고리즘은 자연계의 진화 체계를 모방한 메타휴리스틱 알고리즘으로 복잡한 최적화 문제를 푸는데 사용된다. 스케줄링 등 복잡한 최적화 문제를 해결하는데 활용되고 있고, 딥러닝의 초기 웨이트 설정, 특징 선택 등 머신러닝 문제를 해결하는데도 많이 사용된다. 필자의 주력 연구 방법론중 하나이며, 지금도 유전 알고리즘을 이용한 쉐이플릿 탐색이라는 주제로 연구를 진행하고 있다. 그러면 이제 유전 알고리즘이 어떻게 작동하는지, 또 파이썬으로 어떻게 구현할 수 있는지를 소개하자. 가능하면 비전공자의 입장에서 친절히 설명하고자 한다. 최적화 문제란? 최적화 문제는 제약 하에서 목적식을 최소화 혹은 최대화하는 결정 변수의 값을 찾는 문제이다. 제약이란 것은 해가 만족해야 하는 조건이고, 목적식은 최소화 혹은 최..