Qraft Pair trading

Qraft Pair Trading Framework

DE Shaw를 비롯한 많은 헤지펀드들이 아이겐밸류 기반의 페어트레이딩전략을 사용하여 과거 높은 퍼포먼스를 보였지만, 현재는 많은 투자자들이 동시에 비슷한 페어트레이딩 전략을 실행함으로써 전체적인 퍼포먼스가 줄어들고 있는 추세입니다. 크래프트는 딥러닝 강화학습을 적용하여 스프레드에 따른 최적의 경계값을 설정함으로써, 기존의 방법들보다 페어트레이딩의 성과가 향상되었습니다.

Eigenvalue based pair-trading strategy is a well-known market neutral strategy and has been used by many investors including D.E. Shaw&Co. As the strategy is widely accepted and implemented in the market, the effectiveness of strategy is continuously deteriorating. To remedy the deterioration, a reinforcement learning can be applied to enhance the performance of plain pair-trading strategy by setting the optimal range of spreads in the arbitrage transactions.

AI Pair Trading System Architecture

스크린샷 2019-02-27 오후 12.15.46.png

Figure. Steps for proposed pairs-trading strategy using the DQN method. 

Training evaluation

Average Q-value가 학습이 진행될수록 상승하는 모습은 Deep Q-Network의 학습이 잘 이루어지고 있다고 판단할 수 있습니다(Minh et al. 2013). 또한 전략을 실행하고 나서 손절매를하는 비율이 감소하고 포트폴리오를 청산하는 비율이 증가하는 것을 확인할 수 있습니다.  

As the learning progresses, average Q-value also increases, and this means that Deep-Q-Network (DQN) is properly learning. At the same time, the frequency of loss-cut decreases while the portfolio liquidation increases.

스크린샷 2019-02-27 오후 12.18.18.png

Figure. Verification that our proposed model is well-trained. (a) average of Q-values. (b) ratio of portfolios.

스프레드에 맞는 최적의 경계값을 설정함으로써 mean reversion이 발생하지 않을 리스크에 대한 손실을 최소화하고 수익을 극대화합니다.

스크린샷 2019-02-27 오후 12.27.52.png

Figure. An example of optimizing pairs trading system

Test Performance

JPMorgan Chase & Co(JPM) 와 AT&T Inc(T)를 가지고 페어 트레이딩 전략을 실행한 결과입니다. 

  • Training period : 1990/01/02 ~ 2008/12/31

  • Testing period : 2009/01/02 ~ 2018/07/31

  • Data : Adjusted daily closing prices

학습된 네트워크를 가지고 백테스팅한 결과 고정된 경계값을 가지는 기존의 방법들(PTA0 ~ PTA5)과 비교했을 때 Pair trading DQN (PTDQN)이 더 좋은 성과를 보이는 것을 확인할 수 있습니다. 

Table. Average top-5 performance of the proposed method and the traditional pairs-trading strategy in the out-of-sample dataset using TLS.


Figure. Average top-5 profits of PTDQN and PTA0 to PTA5 with the test dataset

Cast Study: Pair Trading for KOSDAQ150 linked ETFs


Figure. DQN based pair trading for ETFs with the test dataset