경량 Domain Adapter 기반 이상 탐지 특화 Segment Anything Model
Segment Anything Model for Anomaly Detectionwith Lightweight Domain Adapter
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
SAM(Segment Anything Model)의 제로샷 분할 성능은 우수하지만, 이상 탐지와 같은 특수 도메인에서는 성능이 저하된다. 그러나 도메인 적응을 위한 기존의 완전 미세 조정 방식은 높은 연산 비용과 파괴적 망각 문제를 야기한다. 본 논문에서는 SAM 구조를 유지한 채, 경량 Domain Adapter와 Mask Synthesizer를 추가한 AD-SAM을 제안하여 이러한 도메인 적응 문제를 해결하고 약 16%의 성능 향상을 달성하였다. 특히 AD-SAM은 기존 SAM 대비 약 0.6% 수준의 훈련 파라미터를 추가하는 것만으로도 성능을 개선하였으며, 단일 GPU에서도 학습이 가능할 정도로 연산 부담이 적다. AD-SAM은 SAM의 특징 추출 능력을 그대로 활용하면서 도메인 지식을 효과적으로 반영할 수 있도록 설계되었다.
Abstract
While the SAM shows strong zero-shot segmentation performance, its effectiveness drops in specialized domains such as anomaly detection. However, conventional approaches that fully fine-tune the entire model for domain adaptation incur high computational costs and suffer from catastrophic forgetting. In this paper, we propose AD-SAM, which retains the original SAM architecture while incorporating a lightweight Domain Adapter and Mask Synthesizer to address the domain adaptation problem and achieve approximately a 16% performance improvement. Notably, AD-SAM improves performance by adding only about 0.6% of the training parameters compared to the original SAM, and its low computational overhead allows training even on a single GPU. AD-SAM is designed to effectively incorporate domain knowledge while fully leveraging SAM’s feature extraction capabilities.