실험 1. 이전 종가를 가지고 미래 종가 예측하기 (3) 실험 결과 해석

드디어 첫 번째 실험이 끝났고, 실험 결과를 보자마자 뭔가 잘못되었다는 걸 알았습니다. 등락이 심하지 않은 종목의 경우에는 당연히 다음날 종가를 오늘의 종가로 예측하더라도 퍼센트 오차가 크기 어렵다는걸 생각을 못했네요. 그래서 원래 생각했던 것에 비해 MAPE가 매우 작았고, 코스피 종목까지만 실험을 진행했습니다. 다음 실험에서는 등락폭을 예측하도록 모델링을 해야겠네요. 좋은 것을 배웠다고 생각하고, 실험 결과를 정리해보겠습니다. 망한 실험도 실험이니까요...ㅜㅜ

 

실험 결과 정리

첫 번째 실험 결과 raw 데이터는 아래와 같습니다.

실험1_이전종가를가지고미래종가예측하기_KOSPI결과.csv

0.06MB

이제 몇 가지를 확인해볼게요.

먼저, 가장 우수한 성능을 보였던 모델과 lag의 분포를 확인해보겠습니다.

모델은 신경망과 선형회귀가 각각 1, 2등을 했습니다. 바로 이전 시점에 가중치를 주기 쉬운 구조로 되어 있는 모델이기에 이러한 결과가 나온 것으로 보입니다. lag도 예상한대로 1에서 가장 좋게 나왔군요^^....

모델 분포

lag 분포

 

마지막으로 MAPE의 분포입니다.

기껏해야 1~3 퍼센트의 오차만 보였네요.

 

교훈

• 실험 설계를 잘 하자! 소수 종목에 대해 테스트해보고 코드를 수정하자.
• 미래 주가를 예측할 때 가까운 과거의 주가를 사용하지말자. 꼭 사용하고 싶다면, 미래 주가가 아닌 등락폭을 사용하자.
• 과거의 주가만 사용해서 가까운 미래의 주가를 예측하면 결국 바로 전일 시점의 주가로 예측하게 된다. 

 

추가 실험 아이디어

종가의 차분을 사용해서 예측해보도록 하자! (실험 3에서 찾아뵙겠습니다)