멀티모달 대조 학습 모델의 프라이버시 보호를 위한 라벨 차등 프라이버시 연구
Label Differential Privacy Study for Privacy Protection in Multimodal Contrastive Learning Model
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 멀티모달 딥러닝은 뛰어난 정확도와 풍부한 지식 학습 능력으로 학계와 산업계에서 많은 관심을 받고 있다. 특히, 대조 학습 기반 연구들은멀티모달 딥러닝의 성능을 비약적으로 향상시키며 핵심적인 역할을 하고 있다. 하지만, 다중 데이터 소스를 활용하는 멀티모달 딥러닝은 데이터간의 결합을 통해 민감한 정보를 추론할 가능성이 커지면서, 단일 모달 딥러닝보다 더 높은 프라이버시 침해 위험을 동반한다. 이는 기존의 단일모달 딥러닝에서 사용되던 프라이버시 보호 기법만으로는 완전히 해결하기 어려운 문제로, 그 중요성이 날로 커지고 있다. 이 문제를 해결하기위해 기존 연구에서는 신뢰 실행 환경에 의존하거나, 프라이버시 위협 데이터를 분류 및 선택적으로 기록하여 보안을 강화하지만, 하드웨어의의존성, 성능 저하, 데이터 분류 정확도 한계 등 문제가 존재한다. 이러한 한계는 확장성과 사용성을 저해하고 새로운 공격에 취약할 가능성이있다. 본 연구는 프라이버시 문제를 해결하기 위해 데이터 준비 과정에서 라벨 차등 프라이버시를 보장하는 Double Randomized Response 알고리즘을 적용하였다. 그 결과, 이미지-테이블 매칭 및 분류 작업에서 80.14%의 정확도를 달성하며 프라이버시 보호와 성능 간 균형을 실증하였다. 이방법은 최초로 멀티모달 딥러닝 모델에 데이터 보안을 고려하였으며 이에 대한 성능을 입증한 의의를 가진다.
Abstract
Recent advancements in multimodal deep learning have garnered significant attention from both academia and industry due to theirexceptional accuracy and ability to learn rich knowledge representations. In particular, contrastive learning based approaches have playeda pivotal role in dramatically enhancing the performance of multimodal deep learning. However, the use of multiple data sources inmultimodal deep learning increases the risk of inferring sensitive information through data fusion, posing a higher privacy invasion attackcompared to unimodal deep learning. This challenge cannot be fully addressed by privacy preserving techniques traditionally employedin unimodal deep learning, underscoring the growing importance of privacy protection in this domain. To address this issue, previousstudies have relied on trusted execution environments or strengthened security by selectively recording data classified as privacythreatening. However, these approaches face limitations such as hardware dependency, performance degradation, and accuracy issuesin data classification. These shortcomings hinder scalability and usability while leaving systems vulnerable to emerging threats. In thisstudy, we address the privacy concerns by applying the Double Randomized Response algorithm, which ensures label differential privacyduring the data preparation process. As a result, we achieved 80.14% accuracy in image-table matching and classification tasks,demonstrating a balance between privacy protection and performance. This method is the first to incorporate data security considerationsinto multimodal deep learning models while substantiating its efficacy, marking a significant contribution to the field.