01

Qraft Deep learning asset Management Framework (QDAMF)

Qraft Multi-Channel Feature Extraction Deep Neural Network for Financial Data (Q-DNN)

  • Tabular 데이터로 들어온 복합 금융데이터를 raw data로 넣어주게 되면 일반적으로 학습이 거의 되지 않는데, 이는 금융데이터의 노이즈 특성 때문입니다.

  • 따라서 정보를 핵심정보로 압축해 학습에 이용해야하므로, 금융 데이터의 특성을 고려해 핵심정보를 특징으로 추출하기 위한 구조를 설계했습니다.


  • If you put complex financial data that comes in as tabular data into raw data, it is generally hard to learn because of the noise characteristics of the financial data.

  • Therefore, we need to compress information into core information and use it for learning. We have designed a structure for extracting core information in consideration of characteristics of financial data.

qp.jpg

Patent Pending

QRAFT Technologies


Deep Reinforcement Learning with Adversarial Multi Actors for Financial Data (Q-DRL)

  • Qraft는 금융데이터의 지도학습이 어려운 문제를 해결하기 위해 Proximal Policy Optimization, Soft Actor Critic 기반의 금융데이터용 강화학습 알고리즘을 개발했습니다.

  • 예를 들어 최적 주문집행과 같은 문제는 정답 레이블을 제공하기가 어려우므로, 강화학습 알고리즘을 통해 문제를 해결합니다.

  • 최적 주문집행 문제에서 결정해야 할 것은 주문시점에 따른 총 주문량, 주문의 시장가 및 지정가 배분, 호가창 배분 등이 있는데, 이 결정요인들은 모두 이산적이지 않고 연속적인 값들이며 단일 Actor로 학습하기 어려운 문제입니다.

  • 따라서 Qraft는 복수의 Actor가 역할을 맡아 의사 결정을 내리지만, 서로 간의 견제를 통해 학습이 원활하게 이루어지도록 설계했습니다.


  • Qraft developed a reinforcement learning algorithm for financial data based on Proximal Policy Optimization and Soft Actor Critic in order to solve the difficulties of learning financial data with supervised learning method.

  • For example, problems such as optimal order execution are difficult to provide correct labels, so they are solved through reinforcement learning algorithms.

  • The optimal order execution problem is to determine the total order quantity at the time of the order, the allocation of order types (b/w market orders and limited orders), and the allocation of orders to LOB. These determinants are not discrete but continuous.

  • Although multiple actors have their own roles and are in charge of making decisions, it is designed to facilitate learning process through mutual checks.


Qraft Asynchronous Multi-Network Training Engine (QAMTE)

  • 그러나 여전히 initial value impact가 작지 않기 때문에 오버피팅 가능성이 존재합니다.

  • 이에 Qraft는 Multi threading, Multi-GPU 병렬 연산을 활용해 개별적으로 초기화된 여러 네트워크를 동시 학습시킵니다. 학습 과정에서 검증 데이터상 과최적화가 보이는 모델을 제거하고 성과가 좋은 모델을 살리는 적자생존 방식을 통해 학습을 진행시키며, 최종적으로 모델들에 대한 앙상블을 통해 오버피팅을 최소화합니다.

  • 이를 통해 보다 Robust한 인공지능 학습이 가능합니다.


  • However, there is still the possibility of over-fitting because the initial value impact is not small.

  • Qraft uses multi-threading and multi-GPU parallel operations to simultaneously learn individually initiated networks. In the learning process, learning is promoted through the survival of fittest method that removes models with over-fitting and selects models with good performances. Finally, the over-fitting is minimized through the ensemble of models.

  • This enables more robust artificial intelligence learning.


Uncertainty Quantification

  • 금융 데이터는 노이즈가 심하고 feature 수에 비해 상대적으로 time-series 데이터 길이가 짧고, 학습 데이터로 모든 case에 대한 데이터가 있는 것이 아닙니다.

  • 학습된 데이터와 비슷한 state라면 신뢰도가 높지만 그렇지 않은 경우 uncertainty가 높다고 할 수 있습니다. 예를 들어 근래와 같은 초저금리 상황은 딥러닝 모델이 학습할 수 없었던 상황이고, 이런 상황에서의 모델 출력 결과는 uncertainty가 높을 수 밖에 없습니다. 데이터 부족으로 낯선 상황에서는 확신을 가지고 투자를 하는 것보다 조금 더 보수적으로 투자하는 것이 우월전략입니다.

  • Uncertainty 모형은 조금 더 보수적으로 안정적인 투자를 할 수 있도록 도와줍니다.

  • Qraft는 MC Dropout, MC Batch Normalization외에도 Deep Regression + GPR 등의 방법론을 활용합니다.


  • Financial data is very noisy, has a relatively short time-series data length relative to the number of features, and does not contain data for all cases as learning data.

  • If the state is similar to the learned data, the reliability is high, but if not, the uncertainty is high. For example, the current low interest rate situation is a situation where the deep learning model can not learn, and the uncertainty of the model output in such a situation is inevitably high. In the unfamiliar situation due to lack of data, it is a superior strategy to invest more conservatively than to invest with confidence.

  • The Uncertainty model helps make a more conservative and more stable investment.

  • Qraft uses MC Dropout and MC Batch Normalization as well as Deep Regression + GPR.


Multi Genetic Algorithm for hyper-parameter tuning

  • Genetic algorithm은 19C 후반에 개발된 알고리즘입니다. 오래된 알고리즘이지만, 신경망 학습과 더불어 파라미터 최적화 자체에는 매우 효과적입니다.

  • GA를 Qraft Asynchronous Multi-Network Training Engine(QAMTE)과 함께 응용하면, overfitting에서 벗어날 가능성이 더 높습니다.


  • The genetic algorithm is an algorithm developed in the late 19C. It is an old algorithm, but it is very effective in parameter optimization itself, along with neural network learning.

  • Applying GA together with Qraft Asynchronous Multi-Network Training Engine(QAMTE) is more likely to escape over-fitting.


Qraft Reward function targeted Deep Neural Network Framework for Financial Data

  • 노이즈가 심한 금융 데이터의 특성상 금융 포트폴리오의 비지도학습은 어렵습니다. 이런 경우, 지도학습이 좀 더 유리한데, 지도학습을 하기 위해서는 최적의 포트폴리오를 정답 label로 제공해야 하는 문제점이 존재합니다.

  • Qraft는 보상함수를 최대화하는 최적의 포트폴리오를 실시간으로 연산하고, 이를 통해 딥러닝 레이블로 활용해 금융 영역에서 범용적으로 이용할 수 있는 Framework를 개발했습니다.

  • 보상함수는 상황에 맞춰 변경할 수 있으며 클라이언트의 성향에 맞는 보상함수를 설정해 커스터마이즈가 가능합니다. 예를 들어 클라이언트가 보수적인 성향일 경우 변동성을 최소화하고, 장기간의 기대수익률을 최대화하도록 설계할 수 있습니다.

  • 이 Framework는 Multi-Channel Feature Extraction Deep Neural Network for Financial Data (Q-DNN), Qraft Asynchronous Multi-Network Training Engine (QAMTE)과 함께 적용할 경우 매우 효과적인 것으로 나타나고 있습니다.


  • Due to the nature of the noisy financial data, it is difficult to proceed non supervised learning of financial portfolios. In this case, supervised learning is more advantageous, but there is a problem that it is necessary to provide the optimal portfolio as the correct label in order to proceed supervised learning.

  • Qraft has developed a framework that can be used universally in the financial domain by using the best portfolio to maximize the compensation function in real time and using it as a deep learning label.

  • The compensation function can be changed according to the situation, and it is possible to customize the compensation function according to the needs of the client. For example, if the client is conservative, you can design to minimize volatility and maximize long-term expected returns.

  • This framework has been shown to be very effective when applied with the Multi-Channel Feature Extraction Deep Neural Network for Financial Data (Q-DNN) and Qraft Asynchronous Multi-Network Training Engine (QAMTE).