SuperSmall-R1: A Lightweight Reinforcement Learning Model for Mathematical Reasoning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 경량 텍스트 언어모델 DeepSeek-R1-Distill-Qwen-1.5B 를 기반으로 수학 문제 해결에특화된 소형 추론모델 SuperSmall-R1을 제안한다. 제안된 모델은 별도의 지도 미세조정(SFT) 없이, 강화학습만으로 성능을 향상시킨다. 구체적으로, 기존의 GRPO 알고리즘에서 KL 발산 페널티를 제거한ZeroGRPO를 제안하여 정책의 탐색 자유도를 높이고자 하였다. 또한 기존의 복잡한 penalty 기반 보상체계 대신, 간결한 포맷 일치 및 정답 여부만으로 구성된 단순하면서도 효과적인 보상 함수를 적용하였다. 특히 초기부터 어려운 문제를 풀 경우 발생하는 보상 부족 문제를 해결하기 위해 난이도를 점진적으로 높이는 커리큘럼 학습(curriculum learning)을 도입하였다. Math-500 벤치마크를 활용한 실험 결과, 제안된 방법은 원본 베이스모델뿐 아니라 기존 GRPO, Penalty GRPO 알고리즘을 사용한 방법보다 높은정확도를 보이며, 제한된 자원 환경에서도 수학 문제 해결 능력이 효과적으로 향상됨을 확인하였다.
Abstract
In this study, we propose SuperSmall-R1, a lightweight reasoning model specialized for mathematical problem solving, built upon the compact text language model DeepSeek-R1-Distill-Qwen-1.5B. Unlike conventional approaches, the proposed model improves performance solely through reinforcement learning without supervised fine-tuning (SFT). Specifically, we introduce ZeroGRPO, a variant of the GRPO algorithm with the KL-divergence penalty removed, thereby increasing the freedom of policy exploration. In addition, instead of employing a complex penalty-based reward scheme, we adopt a simple yet effective reward function based only on format consistency and answer correctness. To address the issue of insufficient rewards when tackling difficult problems from the beginning, we further incorporate curriculum learning, where the problem difficulty is gradually increased. Experimental results on the Math-500 benchmark demonstrate that our approach outperforms not only the base model but also existing methods based on GRPO and Penalty GRPO, confirming that mathematical reasoning ability can be effectively enhanced even under resource-constrained environments.