베이지안 최적화 (1) 블랙박스 최적화 문제

이번 포스팅에서는 베이지안 최적화가 해결하고자 하는 블랙박스 최적화 문제에 대해 알아보겠습니다. 

이번 포스팅부터해서 베이지안 최적화에 필요한 개념을 정리하고자 합니다.

 

블랙박스 최적화 문제란?

블랙박스 최적화 문제는 목적 함수, 제약식, 결정 변수 간 자세한 관계를 알 수 없는 최적화 문제를 말합니다. 구체적으로 추가적인 실험 및 측정 없이 결정 변수에 따른 목적 함숫값을 모르거나 제약식을 만족하는지 알 수 없는 문제를 의미합니다.

 

일반 최적화 문제 vs 블랙박스 최적화 문제

블랙박스가 아닌 최적화 문제와 블랙박스 최적화 문제를 비교해보겠습니다.

 

<일반 최적화 문제>

• 결정 변수와 목적 함수, 결정 변수와 제약식 간의 관계를 알 수 있으므로 블랙박스 최적화 문제가 아님
• 즉, x1과 x2가 각각 2와 1이라면 목적 함수가 3이고 제약식을 만족함을 알 수 있음

 

<블랙박스 최적화 문제>

• 하이퍼 파라미터 튜닝 문제로 블랙박스 최적화 문제임
• 하이퍼 파라미터 람다가 주어졌을 때의 성능은 모델을 학습하고 평가하기 전까지는 알 수 없음

이처럼 블랙박스 최적화 문제의 대부분은 해가 주어져도 목적식의 값을 알기 어려운 경우가 많습니다.

 

경험적 해결

블랙박스 최적화 문제는 목적 함수를 정확히 알 수 없으므로 경험적으로 해결해야 합니다. 경험적으로 해결한다는 말은 아래 그림처럼 데이터를 바탕으로 목적 함수를 추론해가면서 탐색 공간을 결정한다는 의미입니다.

위 그림에서 x 와 f(x)는 각각 결정 변수와 목적 함수를 나타내며, 다섯 개의 파란색 원은 실험 등을 통해 측정한 x, f(x)꼴의 데이터 포인트입니다. 다섯 개의 데이터 포인트로 추정할 수 있는 함수는 무한히 많지만, 이 그림에서는 파란색과 빨간색으로 표시된 두 개의 함수만 나타냈습니다. 두 함수는 그래프 구조가 유사해 보이지만, 최적해의 위치를 다르게 판단합니다. 즉, 최대화 문제라면 목적 함수를 빨간 함수로 추정했을 때보다 파란 함수로 추정했을 때의 최적해가 더 왼쪽에 있다고 판단합니다. 그러나 데이터 포인트로 함수를 추정한 것이기에, 빨간 함수를 이용한 것과 파란 함수를 이용한 것 중 어느 것이 더 적절한지 알 수 없습니다.

 

데이터 포인트가 많으면 많을수록 정확한 함수 추정이 가능합니다. 그러나 블랙박스 최적화 문제의 목적 함수를 평가하는 데 시간이 오래 걸려 많은 데이터 포인트를 얻기 어렵습니다. 예를 들어, 하이퍼 파라미터 튜닝 문제라면 특정 하이퍼 파라미터를 갖는 모델을 학습하고 평가해야만 하나의 데이터 포인트를 얻을 수 있습니다. 심지어는 문제에 따라 금전적인 비용이 발생하기도 합니다. 예를 들어, 원료 배합을 최적화하는 문제라면 실제로 원료 배합을 평가해야 데이터 포인트를 얻을 수 있는데, 그 과정에서 금전적인 비용이 발생할 수 있습니다.

 

---

데이터 분석 서비스가 필요한 분은 아래 링크로! 

https://kmong.com/gig/374194 

데이터사이언스 박사의 데이터 분석 서비스 드립니다. | 150000원부터 시작 가능한 총 평점 5점의 I