3분 읽기

AI는 주식을 예측하지 못했다, 그래도 앱을 계속 만드는 이유

종목을 고르는 신호로 46개 시험을 돌렸더니 엄격한 기준을 통과한 것이 없었습니다. 짧은 기간에서는 통하는 것처럼 보였던 이유와, 그래서 앱이 하는 일을 바꾼 이야기입니다.

이 글의 목차
표지: 10년 넘는 백테스트, 시험 46개 중 통과 0개.

먼저 결론

  • 종목을 고르는 신호로 46개 시험(가격 14·재무 14·내부자 매수 18)을 돌렸고, 엄격한 기준을 통과한 시험은 0개였습니다.
  • 약 4년 데이터에서는 통하는 것처럼 보였던 신호도, 15년으로 늘리자 효과가 거의 사라졌습니다.
  • 그래서 앱은 ‘종목을 골라 주는 도구’에서 ‘판단을 기록하고 채점하는 도구’로 바뀌었습니다.

처음 품었던 질문

제 판단은 부족하고, 감정이 섞이고, 정보도 늦습니다. 그래서 AI와 데이터가 더 낫지 않을까 생각했습니다.

증권사가 공개한 API로 시세와 뉴스를 모으는 앱을 만들었고, 매일 아침 그날 볼 종목을 골라 주는 신호도 넣고 싶었습니다.

그 전에 확인할 것이 하나 있었습니다. 이 신호가 과거에 정말 통했을까?

읽기 전에: 숫자 두 개만 알면 됩니다

  • IC(정보계수): 신호 점수가 높은 종목이 실제로 더 올랐는지를 보는 값입니다. 0이면 관계가 없다는 뜻이고, 클수록 신호가 잘 맞았다는 뜻입니다.
  • t값: 그 결과를 우연이 아니라고 볼 만큼 확실한지 나타냅니다. 이 시험에서는 3 이상(마이너스 쪽이면 -3 이하)일 때만 통과로 봤습니다.

세 가지를 시험했다

모든 신호에 같은 기준을 적용했습니다. t값이 3 이상이고, 기간을 앞뒤 절반으로 나눠 봐도 같은 방향이어야 통과입니다.

시험결과
가격 신호로 고르기
(모멘텀, 단기 반전, 저변동 등 7종 · 14개 시험)
통과 0개
재무 신호로 고르기
(ROE, 매출총이익률 등 · 14개 시험)
통과 0개
상위·하위 그룹의 수익 차이가 0에 가까움
내부자 매수 따라 하기
(겹치지 않는 신호 2,802건 · 18개 시험)
통과 0개
20일 뒤 지수 대비 평균 -0.33%(t -2.36)
출처: 직접 만든 백테스트 스크립트 3종의 결과 파일. 가격은 2012-10~2026-08 당시 S&P500 편입 종목, 재무는 SEC 공시 기준 미국 대형주, 내부자 매수는 2009~2026 SEC Form 4.

4년에서는 통하는 것처럼 보였다

가장 크게 배운 것은 기간입니다. 처음에는 약 4년 데이터로 시험했고, 12개월 모멘텀 신호(최근 1년 동안 많이 오른 종목을 고르는 방식)가 꽤 쓸 만해 보였습니다.

기간IC 5일 뒤IC 20일 뒤
약 4년0.0190.015
15년0.0100.004
출처: 직접 만든 백테스트. 당시 S&P500 편입 종목, 12개월 모멘텀. 약 4년 = 2022-10~2026-08, 15년 = 2012-10~2026-08. 15년 20일 기준 t값 0.29.

기간을 15년으로 늘리자 값이 절반 아래로 줄었습니다. 20일 기준 t값은 0.29로, 우연과 구분되지 않는 수준입니다.

4년짜리 결과의 상당 부분은 그 시기에 우연히 맞았던 것으로 보는 쪽이 맞았습니다. 짧은 기간의 좋은 결과는 기간을 늘려 다시 확인해야 한다는 것을 숫자로 배웠습니다.

  • 시험 대상은 S&P500 대형주입니다. 소형주는 가격 데이터 문제로 시험하지 못했고, 결과가 다를 수 있습니다.
  • 시험을 많이 하면 우연히 통과하는 것이 나옵니다. 그래서 기준을 엄격하게 잡았고, 그래도 통과한 것이 없었습니다.
  • 재무 시험은 상장폐지된 종목이 빠져 결과가 좋게 나오기 쉬운데, 그런데도 효과가 보이지 않았습니다.
  • “효과가 없다”는 이 시험에서 단순한 신호로는 찾지 못했다는 뜻입니다. 어떤 방법도 안 통한다는 증명은 아닙니다.

그래서 앱이 하는 일을 바꿨다

앱의 목표를 ‘종목을 골라 주는 도구’에서 ‘판단을 기록하고 채점하는 도구’로 바꿨습니다.

  • 매일 아침 시장 자료(지수, 오늘 밤 일정, 뉴스)를 한곳에 모읍니다.
  • 정해 둔 규칙으로 그날의 판단을 미리 적어 두고, 나중에 맞았는지 채점합니다. 채점이 30건 쌓이기 전에는 적중률을 말하지 않습니다.
  • 큰 경제지표가 나오면 예상과 실제, 그날 나스닥의 움직임을 기록장에 남깁니다.

이 앱이 저를 부자로 만들어 줄 가능성은 낮습니다. 대신 같은 실수를 반복하지 않게, 무엇이 통했고 무엇이 안 통했는지 숫자로 남게 해 줍니다.

앞으로 이 블로그에서

이런 시험과 그 한계는 검증 기록에, 앱이 매일 모으는 시장 자료는 미국 시장에, 앱과 블로그를 만든 과정은 개발 기록에 씁니다. 글을 쓰는 원칙은 소개에 정리해 두었습니다.

다음 글에서는 모멘텀 신호를 기간별로 더 잘게 나눠 본 결과를 정리합니다.

댓글

아직 댓글이 없습니다. 틀린 곳이나 궁금한 점이 있으면 남겨 주세요.

댓글 쓰기

이메일은 공개되지 않습니다. 댓글은 확인한 뒤 공개됩니다. 개인정보처리방침