본문 바로가기
KERD
논문KCI 등재

강화학습을 활용한 주식 포트폴리오 구성 및 트레이딩 시뮬레이션에 관한 연구

Stock Portfolio Construction and Trading Simulation Using Reinforcement Learning

이석준|윤성식
대한경영정보학회 (Daehan Academy Of Management Information Systems)|2021.12|경영과 정보연구 (Management & Information Systems Review)|제40권 제4호|pp. 185-203|DOI 10.29214/damis.2021.40.4.010

0

조회

0

다운로드

4

인용

0

참고문헌

키워드

강화학습포트폴리오 관리Reinforcement learning기술적 분석Technical analysisPortfolio management기본적 분석주가 예측Stock predictionFundamental analysis
주제분류경영학

초록

포트폴리오를 구성하고 관리하는 것은 투자와 자산 관리에 있어 위험을 줄이고 수익률을 극대화하기 위해 필수 적이며 금융시장 관련 연구의 주요 관심사이다. 최근 컴퓨터 하드웨어 기술이 발달함에 따라 다양한 분야에서 뛰어 난 성능을 보인 강화학습 알고리즘을 금융 분야에 적용한 연구가 활발히 진행되고 있다. 하지만 환경과 정책, 에이 전트 등 강화학습 (reinforcement learning)을 구성하는 개체의 파라미터 설정 및 조합의 다양성으로 인해 최적화에 어려움이 있어 보다 다양한 연구가 수행될 필요가 있다. 본 연구는 강화학습을 활용하여 동적으로 주식 포트폴리오 를 구성하고 거래하는 시스템을 제안하고자 하였다. 시스템 제안을 위해 국내 유가증권시장에 상장된 종목들을 대상으로 기본적 데이터와 주가 데이터를 수집한 후 전처리 과정을 통해 지표화하고, A3C 알고리즘을 이용해 설계한 모형에 대한 학습을 수행하였다. 학습한 결과를 바 탕으로 기대수익률이 높은 종목들을 선택하여 주식 포트폴리오를 구성하고 이를 대상으로 테스트 기간에 대해 트레 이딩 시뮬레이션을 실시하여 제안 모형의 성과를 실증 분석하였다. 분석 결과, 본 연구에서 제안한 연구모형이 평균 연 환산수익률 36.64%로 타 비교 대상 알고리즘 (26.72%)과 시 장 평균 수익률 (32.10%) 및 코스피 200 지수 펀드 수익률 (34.08%)보다 우수한 것으로 나타났다. 이러한 결과를 토 대로 개별 종목에 대한 학습보다 시장 전체 종목에 대한 학습이 더 좋은 성과를 얻을 수 있다는 것을 파악했으며 강화학습을 활용한 주식 포트폴리오 구성이 효과적일 수 있음을 확인한 데 본 연구의 의의가 있다.

Abstract

Balancing and managing a portfolio is essential for minimizing risks and maximizing returns in investment and asset management, and it is a major concern for financial market research. In recent, with the development of computer hardware technology, studies on applying reinforcement learning algorithms, which have showed excellent performance in various fields, are being actively conducted for the financial field. However, it is difficult to optimize due to the diversity of parameter settings and combinations of entities constituting reinforcement learning, such as environment, policies, and agents, and more diverse studies need to be conducted. This study aim to develop a system for dynamically balancing stock portfolios and trading using reinforcement learning. For this, stock price data and fundamental data were collected from stocks listed on the Korean securities market, and then indexed through a preprocessing, and a model designed using the A3C algorithm was learned. In empirical study, stock portfolios were constructed by selecting stocks with high expected returns, and trading simulations were conducted on the test period to empirically analyze the performance of the model. As a result, the proposed model was 36.64% of the average annual return, which was superior to other comparison algorithms (26.72%), the market average return (32.10%), and KOSPI 200 index fund return (34.08%). In this study, it was found that learning in the entire market could achieve better results than learning in individual stocks, and it was confirmed that the composition of the stock portfolio using reinforcement learning could be effective.

참고문헌 (51)

  1. 김경훈, "강화 학습 기반 주식 트레이딩 시스템에 대한 연구", 한국정보과학회 학술발표논문집, pp.747~749 (2020)
  2. 김성문, "한국 주식시장에서 비선형계획법을 이용한 마코위츠의 포트폴리오 선정 모형의 투자 성과에 관한 연구", 경영과학, 26(2), pp.19~35 (2009), 한국경영과학회
  3. 김주봉, "A3C를 활용한 블록체인 기반 금융 자산 포트폴리오 관리", 정보처리학회논문지. 컴퓨터 및 통신시스템, 8(1), pp.17~28 (2019), 한국정보처리학회[DOI]
  4. 김태윤, "유가증권 시장에서의 동적 포트폴리오 최적화를 위한 모듈식 강화학습", 한국데이터정보과학회지, 32(1), pp.213~226 (2021), 한국데이터정보과학회[DOI]
  5. 송현정, "딥러닝을 활용한 실시간 주식거래에서의 매매 빈도 패턴과예측 시점에 관한 연구: KOSDAQ 시장을 중심으로", 정보시스템연구, 27(3), pp.123~140 (2018), 한국정보시스템학회[DOI]
  6. 유재필, "DEA-마코위츠 결합 모형을 이용한 건설업종 투자 전략", 한국산학기술학회논문지, 14(2), pp.899~904 (2013), 한국산학기술학회[DOI]
  7. 윤지현, "강화 학습을 이용한 전자 상거래 에이전트", 정보과학회논문지 : 소프트웨어 및 응용, 30(6), pp.579~586 (2003), 한국정보과학회
  8. 이석준, "선물시장의 시스템트레이딩에서 동적시간와핑 알고리즘을 이용한 최적매매빈도의 탐색 및 거래전략의 개발", 한국데이터정보과학회지, 22(2), pp.255~267 (2011), 한국데이터정보과학회
  9. 이우식, "딥러닝분석과 기술적 분석 지표를 이용한 한국 코스피주가지수 방향성 예측", 한국데이터정보과학회지, 28(2), pp.287~295 (2017), 한국데이터정보과학회[DOI]
  10. 장수영, "심층 강화학습 기술 동향", 전자통신동향분석, 34(4), pp.1~14 (2019)
  11. 조현민, "강화학습을 이용한 트레이딩 전략", 한국산학기술학회논문지, 22(1), pp.123~130 (2021), 한국산학기술학회[DOI]
  12. 주일택, "양방향 LSTM 순환신경망 기반 주가예측모델", 한국정보전자통신기술학회 논문지, 11(2), pp.204~208 (2018), 한국정보전자통신기술학회
  13. 최다영, "기업의 성장가능성을 고려한 포트폴리오 선택 전략", 한국산학기술학회논문지, 12(9), pp.3849~3855 (2011), 한국산학기술학회
  14. 하은규, "DQN을 이용한 트레이딩 예측을 위한 강화학습 모델 구현", 한국정보기술학회논문지, 17(4), pp.1~8 (2019), 한국정보기술학회[DOI]
  15. Appel, G., "The moving average convergence-divergence trading method:advanced version" (1985), Scientific Investment Systems
  16. Basu, S., "The relationship between earnings' yield, market value and return for NYSE common stocks: Further evidence", Journal of financial economics, 12(1), pp.129~156 (1983)
  17. Cai, Q., "A novel stock forecasting model based on fuzzy time series and genetic algorithm", Procedia Computer Science, 18, pp.1155~1162 (2013)
  18. Carta, S., "A multi-layer and multi-ensemble stock trader using deep learning and deep reinforcement learning", Applied Intelligence, 51(2), pp.889~905 (2021)
  19. Chong, T. T. L., "Revisiting the Performance of MACD and RSI Oscillators", Journal of risk and financial management, 7(1), pp.1~12 (2014)
  20. Dempster, M. A., "An automated FX trading system using adaptive reinforcement learning", Expert Systems with Applications, 30(3), pp.543~552 (2006)
  21. Deng, Y., "Deep direct reinforcement learning for financial signal representation and trading", IEEE transactions on neural networks and learning systems, 28(3), pp.653~664 (2016)
  22. Ding, X., "Deep learning for event-driven stock prediction", Twenty-fourth international joint conference on artificial intelligence (2015)
  23. Gu, S., "Deep reinforcement learning for robotic manipulation with asynchronous off-policy updates", 2017 IEEE international conference on robotics and automation (ICRA), pp.3389~3396 (2017), IEEE
  24. Hochreiter, S., "Long short-term memory", Neural computation, 9(8), pp.1735~1780 (1997)
  25. Hoseinzade, E., "CNNpred : CNN-based stock market prediction using a diverse set of variables", Expert Systems with Applications, 129, pp.273~285 (2019)
  26. Ince, H., "Kernel principal component analysis and support vector machines for stock price prediction", Iie Transactions, 39(6), pp.629~637 (2007)
  27. Jia, W. U, "Quantitative trading on stock market based on deep reinforcement learning", 2019 International Joint Conference on Neural Networks (IJCNN), pp.1~8 (2019), IEEE
  28. Kamble, R. A., "Short and long term stock trend prediction using decision tree", 2017 International Conference on Intelligent Computing and Control Systems (ICICCS), pp.1371~1375 (2017), IEEE
  29. Kannan, K. S., "Financial stock market forecast using data mining techniques", Proceedings of the International Multiconference of Engineers and computer scientists, 1, pp.4~ (2010)
  30. Kaplanski, G., "Sentiment and stock prices : The case of aviation disasters", Journal of Financial Economics, 95(2), pp.174~201 (2010)
  31. Lai, R. K., "Evolving and clustering fuzzy decision tree for financial time series data forecasting", Expert Systems with Applications, 36(2), pp.3761~3773 (2009)
  32. Lee, S. J., "Using rough set to support investment strategies of real-time trading in futures market", Applied Intelligence, 32(3), pp.364~377 (2010)
  33. Markowitz, H. M., "Portfolio selection" (1968), Yale university press.
  34. Mnih, V, "Asynchronous methods for deep reinforcement learning", International conference on machine learning, pp.1928~1937 (2016), PMLR
  35. Mnih, V., "Playing atari with deep reinforcement learning", ~ (2013)
  36. Nabipour, M., "Deep learning for stock market prediction", Entropy, 22(8), pp.840~ (2020)
  37. Naik, N., "Optimal feature selection of technical indicator and stock prediction using machine learning technique", International Conference on Emerging Technologies in Computer Engineering, pp.261~268 (2019), Springer
  38. Nelson, D. M., "Stock market's price movement prediction with LSTM neural networks", 2017International joint conference on neural networks (IJCNN), pp.1419~1426 (2017), IEEE
  39. Pontiff, J., "Book-tomarket ratios as predictors of market returns", Journal of financial economics, 49(2), pp.141~160 (1998)
  40. Schrittwieser, J., "Mastering atari, go, chess and shogi by planning with a learned model", Nature, 588(7839), pp.604~609 (2020)
  41. Selvin, S., "Stock price prediction using LSTM, RNN and CNN-sliding window model", 2017international conference on advances in computing, communications and informatics, pp.1643~1647 (2017), IEEE
  42. Sharpe, W. F., "The sharpe ratio", Journal of portfolio management, 21(1), pp.49~58 (1994)
  43. Shynkevich, Y., "Forecasting price movements using technical indicators : Investigating the impact of varying input window length", Neurocomputing, 264, pp.71~88 (2017)
  44. Sutton, R. S., "Reinforcement learning: an introduction", pp.22447~ (1998), MIT Press
  45. Vijh, M., "Stock closing price prediction using machine learning techniques", Procedia Computer Science, 167, pp.599~606 (2020)
  46. Vinyals, O., "Grandmaster level in StarCraft II using multi-agent reinforcement learning", Nature, 575(7782), pp.350~354 (2019)
  47. Watkins, C. J. C. H., "Learning form delayed rewards", Ph. D., pp.1989
  48. Wu, M. C., "An effective application of decision tree to stock trading", Expert Systems with applications, 31(2), pp.270~274 (2006)
  49. Wu, M., "Technical analysis of three stock oscillators testing MACD, RSI and KDJ rules in SH & SZ stock markets", 2015 4th International Conference on Computer Science and Network Technology (ICCSNT), 1, pp.320~323 (2015), IEEE
  50. Wu, X., "Adaptive stock trading strategies with deep reinforcement learning methods", Information Sciences, 538, pp.142~158 (2020)
  51. Wu, Y., "Scalable trust-region method for deep reinforcement learning using kroneckerfactored approximation", Advances in neural information processing systems, 30, pp.5279~5288 (2017)

관련 논문AI추천

다중 에이전트 Q-학습 구조에 기반한 주식 매매 시스템의 최적화김유섭, 이재원, 이종우한국정보처리학회 · 정보처리학회 논문지2004 · 제11권 제2호A3C를 활용한 블록체인 기반 금융 자산 포트폴리오 관리권도형, 김주봉, 임현교, 한연희, 허주성한국정보처리학회 · 정보처리학회논문지. 컴퓨터 및 통신시스템2019 · 제8권 제1호심층강화학습 기반의 경기순환 주기별 효율적 자산 배분 모델 연구김강희, 오태연, 정낙현한국품질경영학회 · 품질경영학회지2023 · 제51권 제4호잠재 시장 시뮬레이션과 몬테카를로 트리 탐색을 이용한 포트폴리오 관리 기법박진호, 육승남한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2025 · 제21권 제6호트랜스포머 정책을 활용한 강화학습 기반 포트폴리오 최적화김도국, 정재욱(사)한국스마트미디어학회 · 스마트미디어저널2025 · 제14권 제4호딥 러닝을 이용한 포트폴리오 구성 전략신현준, 유재필한국엔터프라이즈아키텍처학회 · 정보화연구2018 · 제15권 제1호

이 간행물의 다른 논문 (9건)

경제적 가치창출과 사회적 가치창출이 기업이미지에 미치는 영향 -진정성의 조절효과를 중심으로-공해연, 권순동pp. 1-29사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약김남규, 송의석pp. 31-47청년구직자의 중소기업 취업과 선호일자리 정보가치에 대한 인식 차이 비교 연구이정환, 김형석pp. 49-66코로나-19 이후 온라인 교육 서비스품질 개선을 위한 실증적 연구 -IPA기법을 중심으로-이초양, 박재용pp. 67-84전략과 리더십 유형 간의 적합성이 기업성과에 미치는 영향신성욱pp. 85-98
원문 보기