강화학습 기반 플레이어 맞춤형 게임 난이도 동적 조절 시스템 연구
A Study on a Reinforcement Learning-based Player-Adaptive Dynamic Game Difficulty Adjustment System
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 고정된 난이도로 인한 플레이어의 몰입도 저하 문제를 해결하기 위해, 강화학습(Reinforcement Learning) 기반의 동적 난이도 조절(Dynamic Difficulty Adjustment, DDA) 시스템을 제안한다. 제안된 시스템은 물리 엔진 기반의 게임 환경에서 플레이어 에이전트와 밸런싱 에이전트가 상호작용하는 이중 에이전트(Dual-Agent) 구조를 갖는다. 본 연구에서는 두 에이전트의 동시 학습 시 발생하는 비정상성(Non-stationarity) 문제를 해결하고 학습 안정성을 확보하기 위해, 플레이어 에이전트를 사전 학습(Pre-training)한 후 밸런싱 에이전트를 학습시키는 순차적 학습 프레임워크(Sequential Training Framework)를 적용하였다. 플레이어 에이전트는 DQN(Deep Q-Network)을 통해 게임 승리 전략을 학습하며, 밸런싱 에이전트는 플레이어의 승률을 관측하여 게임의 물리 파라미터(중력)를 제어함으로써 목표 승률(50%)을 유지하도록 학습된다. 실험 결과, 밸런싱 에이전트는 플레이어의 실력 변화에 적응하여 난이도를 최적화하였으며, 이를 통해 플레이어의 승률이 목표치에 안정적으로 수렴함을 확인하였다. 이는 본 시스템이 개별 플레이어에게 최적화된 맞춤형 게임 경험을 제공하는 효과적인 방법임을 시사한다.
Abstract
This study proposes a Dynamic Difficulty Adjustment (DDA) system based on reinforcement learning to address the issue of diminished player immersion caused by static difficulty levels. The proposed system employs a dual-agent architecture consisting of a Player Agent and a Balancing Agent within a physics-based game environment. To address the non-stationarity problem arising from simultaneous training and to ensure stability, a Sequential Training Framework was implemented. In this framework, the Player Agent is pre-trained using a Deep Q-Network (DQN) to acquire gameplay strategies, after which the Balancing Agent is trained to maintain a flow-inducing target win rate (50%) by observing the player’s performance and dynamically controlling the physical parameter (gravity). Experimental results demonstrate that the Balancing Agent successfully adapts to variations in player proficiency to optimize difficulty, resulting in the stable convergence of the player’s win rate to the target value. These findings suggest that the proposed system is an effective approach for providing personalized gaming experiences tailored to individual players.