AI 기술
인공신경망으로 완성한 목표달성 투자
2023. 04. 26
목표달성 투자 엔진 1부: AI야, 1년 뒤 천만 원 모이게 투자해줘
목표달성 투자 엔진 2부: 인공신경망으로 완성한 목표달성 투자
주식 시장은 예측할 수 없는 변수가 발생합니다. 서브프라임 모기지 사태, 코로나 위기처럼 미리 정의 내릴 수조차 없는 사건들도 일어나고요. 1부에서 확인한 것처럼 기존 GBI 전략은 사전에 정의하지 못한 상황에는 대처가 어렵습니다. 핀트 목표달성 투자 엔진은 인공신경망을 활용해 이 문제를 개선했습니다.
👉 Editor’s Comment
인공신경망(Artificial Neural Network): 인간의 뇌 구조를 컴퓨터의 전기 신호로 모델링 한 인공지능 알고리즘. 규칙기반 프로그래밍으로 풀기 어려운 컴퓨터 비전, 음성 인식, 텍스트 분석 등 다양한 범위의 문제를 푸는 데 이용.
인공신경망의 대표적인 기능으로 인터폴레이션(Interpolation, 보간)이 있는데요. 인터폴레이션은 학습 과정에서 한 번도 보지 못한 데이터에 대해 예측하는 것을 말합니다. 이미 알고 있는 데이터를 이용해 새로운 데이터를 생성한다는 의미죠. 용어는 생소하지만 우리도 평소에 인터폴레이션을 자주 사용하고 있습니다.
3년 된 중고차 가격이 1,000만 원이고 1년 된 중고차 가격이 2,000만 원입니다. 2년 된 중고차 가격은 얼마일까요? 대략 1,500만 원 전후라고 예측할 수 있겠네요. 자동차 가격의 시세 정보로부터 유추가 가능하죠. 이것이 인터폴레이션입니다.
간단한 유추의 문제를 넘어 위 이미지처럼 2차원 상의 데이터를 추론할 수도 있죠. 하지만 주식 시장의 데이터는 적게는 수백 개, 많게는 수만 개의 차원으로 이루어집니다. 단순한 수식으로 문제를 정의하기 어렵기 때문에 다양한 테크닉이 필요합니다.
사전에 모든 경우의 수를 계산하는 DP 대신에 인공신경망을 사용하면 인터폴레이션이 가능하고, 본 적 없는 데이터도 예측이 가능하게 됩니다. 인공신경망을 기반으로 하는 핀트 목표달성 투자 엔진은 학습하지 않은 시장상황에 대해서도 DP 기반의 기존 GBI 전략보다 훨씬 유연하게 대처할 수 있게 됐죠.
무한대의 경우의 수를 탐색하는 심층 강화 학습 모델
풀어야 할 문제의 기준이 복잡해지면 고려할 경우의 수와 복잡도가 기하급수적으로 상승합니다. 일정 수준이 넘어가면 모든 경우의 수를 탐색하는 데 물리적인 시간의 한계에 부딪히게 되죠.
주식 시장은 사전에 정의한 확률 대로 움직이지 않습니다. 상승과 하락이 반복되고, 가격 변동 폭이 평소와 달리 매우 커지기도 하고요. 고객의 투자 목표를 달성하기 위해 목표 수익 추종, 손실 제어, 포트폴리오 변경 횟수 등 다양한 상황을 시뮬레이션해야 합니다. 문제의 경우의 수가 무한대에 가깝죠.
전통적인 GBI의 모델기반학습 방식이 아니라 모델프리(Model-free)학습 방식으로 설계할 필요가 있었습니다. 이를 고려해 핀트 목표달성 투자 엔진은 심층 강화 학습 모델(Deep Reinforcement Learning)과 PPO(Proximal Policy Optimization) 알고리즘을 기반으로 연구/개발 됐습니다.
👉 Editor’s Comment
PPO(Proximal Policy Optimization) 알고리즘: 심층 강화 학습 모델 중 하나로, 모델프리(Model-free)학습 방식의 알고리즘. 모델의 학습 속도가 빠르다는 것이 장점.
PPO 알고리즘은 학습 시 신뢰구간을 정해두고, 해당 신뢰구간 내에서만 파라미터를 업데이트합니다. 만약 시장이 일정 수준 이상 급격히 변하면 이를 예외적인 상황으로 보고 정책에 반영하지 않죠. 데이터의 변동성으로 인한 급격한 정책 변화를 막아 안정적인 정책학습이 가능합니다.
또, 단순한 모델 구조를 추구하고 직관적인 하이퍼 파라미터를 제공해요. 때문에 빠르게 모델링해 결과를 확인할 수 있어 디테일한 리워드 설계가 필요한 투자 엔진 모델링에 유리하다는 장점이 있습니다.
적은 샘플로도 좋은 결과를 얻을 수 있기 때문에, 과거 수십년의 한정된 데이터만을 활용하는 금융 AI 연구에 적합한 모델이라고 판단했죠.
목표 달성에 최대 손실까지, GLBI의 탄생
핀트의 목표달성 투자는 기존 GBI 전략에서 나아가 최대 손실까지 고려하는 GLBI(Goal & Loss Based Investing) 전략을 사용했습니다. 전통적인 GBI 알고리즘의 학습 방식은 하락장이 길어지면 큰 폭의 손실을 경험할 수 있습니다. 손실을 고려하지 않고 오로지 목표만을 달성하도록 만들기 때문이죠.
시장이 하락하면 목표를 달성하기 위해 기대 수익률이 더 높은, 즉 손실폭이 더 큰 공격적인 포트폴리오로 변경하게 됩니다. 하락장이 반복될 수록 더 공격적인 포트폴리오를 선택하고 결국 큰 손실로 이어지죠.
그림처럼 하락장이 길어질 때, 일반적인 GBI 모델은 목표 수익률을 달성하기 위해 공격적인 포트폴리오로 변경합니다. 단기적으로는 더 큰 손실이 발생하고, 시장이 회복하면 목표달성 가능성도 회복할 수 있습니다. 하지만 대다수의 고객은 원금 대비 손실이 커지면 두려움에 손절하게 되죠.
데이터 상에서는 실패한다고 볼 수 없지만, 높은 단기 손실로 투자를 중단하는 고객을 고려하면 목표를 달성하지 못하는 케이스가 많이 발생할 수 있습니다.
핀트 목표달성 투자 엔진은 투자 손실을 함께 고려합니다. 고객이 일정 수준 이상의 손실을 보지 않으면서 목표 수익률을 달성하는 것을 목표로 하죠.
예를 들어, 최대 손실 레벨에 도달할 가능성이 높아지면 안정적으로 포트폴리오를 변경했다가 시장 상황이 좋아지면 다시 공격적인 포트폴리오로 변경하여 운용합니다.
일반적인 GBI가 목표달성 시 받는 리워드를 학습하도록 설계됐다면, 핀트 목표달성 투자 엔진은 리워드에 더해 손실발생 시의 패널티까지 고려해 학습합니다.
손실에 대한 고객의 공포를 줄이고, 실질적인 목표달성 확률을 높이는 것을 추구하는 방식이죠. 목표(Goal)와 손실(Loss)를 모두 고려하는 핀트만의 목표달성 투자, GLBI가 탄생한 것입니다.
초개인화를 위한 1,212개의 목표달성 투자 엔진
인공신경망을 사용해 낯선 시장 상황에 대응하고 실제 시장 데이터를 학습해 목표, 손실, 포트폴리오 변경 횟수 등을 고려하는 강화학습 기반의 투자 엔진을 구성했습니다.
하지만 하나의 과제가 더 남았죠. 고객별로 자산, 목표, 투자 성향을 고려해서 개인화된 목표투자엔진을 모델링하고 서비스하는 부분입니다.
20만원 투자한 고객(A)과 30만원 투자한 고객(B)이 같은 100만원 목표를 설정했을 때, 목표는 같지만 투자 금액이 다르기 때문에 서로 다른 목표달성 투자 엔진이 필요합니다. 마찬가지로 20만원 투자한 고객(C)이 120만원 목표를 설정하면 A와 투자 금액은 같지만 목표가 다르기 때문에 서로 다른 엔진이 필요하죠.
모든 고객에게 적합한 목표달성 투자 엔진을 제공하기 위해서 약 3개월 동안 다양한 실험을 진행했습니다. 고객의 투자 성향, 현재 자산과 목표를 종합적으로 고려하는 투자 전략을 세우기 위해서는 총 1,212개의 목표달성 투자 엔진이 필요하다는 결론을 도출했습니다.
위 이미지는 목표달성 투자 경우의 수에 따라 1,212개의 엔진에 매칭되는 구조를 표현한 것입니다. ‘이산화 모듈’은 투자 성향, 투자 스타일, 운용 레벨 등에 따라서 고객을 n개의 유형으로 나누는 역할을 합니다.
‘목표달성 투자 분산 학습 프레임워크’는 n개의 유형, 아이작 및 목표달성 투자 메타 데이터를 기반으로 목표투자 엔진 모델링을 수행하죠. 최종적으로 만들어진 모델의 수는 투자 유형의 수와 일치합니다.
이렇게 만들어진 투자 엔진은 고객의 특성과 설정값 등을 고려해 매칭됩니다. 1,212개의 모델 중에서 데이터를 기반으로 고객과 가장 유사한 유형을 선정하죠. 모델이 선정되면 매일, 매주, 매월, 매분기 달성 확률 계산, 포트폴리오 레벨 변경 등과 같은 작업을 수행합니다.
매일 고객 데이터(현재 자산 가치, 투자 기간, 수익률, 미래의 예상 자산 가치)와 시장 데이터를 모델의 입력값(input)에 넣어 목표를 달성하기 위한 확률을 계산.
매주 시장이 크게 변하여 확률의 변동폭이 크다면, 그 원인을 고객들에게 전달.
매월 목표를 달성하기 위한 더 좋은 포트폴리오가 있다면 아이작에게 변경 요청.
매분기 현재의 거시경제 상황과 포트폴리오 내 자산군의 성과, 달성 확률의 변동 등을 분석한 리포트를 만들어 고객에게 전달.
변화하는 시장 상황을 지속적으로 학습한 모델을 서비스하기 위해 핀트는 목표달성 투자를 위한 AI용 서버를 추가로 구축했습니다. 목표달성 확률의 정확도를 높이기 위해 매일 각 엔진 당 100만회 씩 총 12억 회 이상의 시뮬레이션을 진행하고 있죠.
핀트 목표달성 투자 엔진은 ‘고객의 목표가 다르다면 투자의 방식도 달라져야 한다’는 아이디어를 시작으로 개발됐습니다. 생활 속 꾸준한 투자로 건강한 투자 습관을 만들고, 기술로 더 나은 금융 환경을 제공한다는 핀트의 서비스 철학에 기반한 것이죠.
디셈버앤컴퍼니 핀트 목표달성 투자 엔진 개발팀은 오랜 개발기간을 거치며 수많은 연구를 거듭했습니다. 실제 서비스로 구현되기까지 엔진이 선택한 포트폴리오의 유효성을 다양한 시각에서 검증했죠. 앞으로도 핀트는 고객의 입장에서 문제를 정의하고, 이를 해결하기 위한 연구에 최선을 다하겠습니다.
Edit 김준용 Graphic 신지윤
디셈버앤컴퍼니자산운용 준법감시인 심사필 제2023-089호(2023.04.26 ~ 2026.04.25)
• 예금자보호법상 보호상품 아님 I 자산가격 변동 등에 따른 원금손실(일부 또는 전액) 발생 가능 및 투자자 귀속 I 성과수수료는 고객과 합의에 의함 I 투자 전 설명 청취 및 상품설명서·약관 필독 I 고객에게 맞는 투자 또는 수익달성 비보장 I 로보어드바이저 테스트베드 통과 I 테스트베드 통과가 수익달성 비보장
• 핀트는 디셈버앤컴퍼니자산운용의 투자일임서비스입니다.
김정우 PhD, 핀트 플랫폼개발실 더 보기
주문집행엔진의 AI모델링 연구, 개발을 담당하고 있습니다.
정동규 핀트 포트폴리오개발실 더 보기
핀트 투자엔진 아이작(ISAAC)의 전략을 담당하고 있습니다.
윤경호 핀트 플랫폼개발실 더 보기
주문집행엔진의 AI모델링 연구, 개발을 담당하고 있습니다.
