유방단층촬영술에서 CycleGAN의 Residual U-Net 생성자를 이용한 이미지 생성에 관한 연구
A Study on the Image Generation with Residual U-Net Generator of CycleGAN in Digital Breast Tomography
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 딥러닝 분야는 사이버 보안, 자연어 처리, 생물 정보학, 의료 정보 처리 등 다양한 분야에서 적용되어 가파른 성장을 이뤄왔다. 의료 분야에서의 데이터는 개인 정보 익명화, 라벨링 비용 문제 등과 같은 한계를 가지고 있으며 이를 완화할 수 있는 방안으로 GAN(Generative Adversarial Networks) 기반의 데이터 합성 및 증강에 대한 연구가 고려 되어왔다. 데이터 증강 뿐만 아니라, MRI 영상으로 CT 영상을 합성해내는 것과 같은 작업에도 유용하여 영상 고유 특성에 의해 제한되는 제약들을 극복하는 방법으로 활용되기도 한다. 또한, 딥러닝은 DBT(Digital Breast Tomosynthesis) 영상에서도 병변 분할, 노이즈 제거와 같은 많은 적용 연구가 이뤄지고 있는데, DBT 영상은 기존의 유방을 촬영하는 방식에서 볼 수 없는 암을 진단하는 측면에서 뛰어나다는 장점이 있다. 본 연구에서는 쌍을 이루지 않는 불균형한 조건에서의 DBT(Digital Breast Tomosynthesis) 이미지 데이터 세트에 대해 이미지 합성을 진행할 수 있는 GAN 기반의 모델을 개발한다. 불균형성을 극복하기 위해 Cycle-consistency 개념을 사용한 GAN 모델을 사용하며, 성능 향상을 통해 생성자의 구조는 의료 도메인에서 높은 성능을 보여온 U-net 구조에 Residualblock를 결합하여 사용한다. 모델의 성능 평가는 생성된 이미지에 대해 정량적인 지표를 통해 평가하고 육안으로의 평가도 진행한다. 이런 이미지 합성 모델을 통해 쌍을 이루지 않는 불균형 의료 데이터셋에 대해 데이터 증강에서의 긍정적인 효과를 기대한다.
Abstract
In recent years, the field of deep learning has experienced rapid growth and widespread application across various domains, including cybersecurity, natural language processing, bioinformatics, and medical information processing. Data in the medical domain faces challenges such as anonymizing personal information and labeling cost issues, leading to research considering GAN(Generative Adversarial Networks)-based data synthesis and augmentation as a solution. Not only is data augmentation valuable, but tasks such as synthesizing CT images from MRI images, utilizing deep learning, prove useful in overcoming constraints imposed by the unique characteristics of medical images. Furthermore, deep learning has seen extensive application such as lesion Segmentation and Denoising in Digital Breast Tomosynthesis (DBT) images. DBT images excel in diagnosing cancer that may not be visible in traditional breast imaging methods. In this study, we develop a GAN-based model for synthesizing images from an imbalanced dataset of DBT (Digital Breast Tomosynthesis) images under un-paired conditions. To address the imbalance, a GAN model utilizing the Cycle-consistency concept is employed. For performance improvement, the generator's architecture combines the U-net structure, known for high performance in the medical domain, with Residual Blocks. The model's performance is evaluated quantitatively using metrics for the generated images, and a visual assessment is conducted. Anticipated is a positive impact on data augmentation for imbalanced medical datasets under un-paired conditions through such image synthesis models.
참고문헌 (17)
- L. AlzuBaidi, "Review of deep learning:concepts, CNN architectures, challenges, applications, future directions", Journal of Big Data, 8(53) (2021)
- Y. Chen, "Generative adversarial networks in medical image augmentation : A review", Computers in Biology and Medicine, 144, pp.105382~ (2022)
- H. Yang, "Unpaired brain MR-to-CT synthesis using a structure-constrained CycleGAN, Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support", DLMIA ML-CDS 2018. Lecture Notes in Computer Science, 11045, pp.174~182 (2018)
- S. Vedantham, "Digital breast tomosynthesis : State of the art", Radiology, 277(3), pp.663~684 (2015)
- R. K. Samala, "Evolutionary pruning of transfer learned deep convolutional neural network for breast cancer diagnosis in digital breast tomosynthesis", Physics in Medicine &Biology, 63(9), pp.095005~ (2018)
- X. Lai, "DBT masses automatic megmentation using u-net neural networks", Computational and Methematical Methods in Medicine, 2020, pp.1~10 (2020)
- D. M. N. Araujo, "Denoising digital breast tomosynthesis projections using deep learning with synthetic data as training set", Journal of Medical Imaging, 10(3), pp.034001~ (2023)
- I. Goodfellow, "Generative adversarial nets", Advances in neural information processing systems, 27, pp.2672~2680 (2014)
- J. Y. Zhu, "Unpaired image-to-image translation using cycle-consistent adversarial networks", Proceedings of the IEEE International Conference on Computer Vision, pp.2242~2251 (2017)
- K. He, "Deep residual learning for image recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.770~778 (2016)
- Johnson, "Deep perceptual losses for real-time style transfer and super-resolution", European Conference on Computer Vision, pp.694~711 (2016)
- O. Ronneberger, "U-net: Convolutional networks for biomedical image segmentation", International Conference on Medical Image Computing and Computer-Assisted Intervention, pp.234~241 (2015)
- X. Yin, "U-net-based medical image segmentation", Journal of Healthcare Engineering, 2022 (2022)
- R. C. Gonzalez, "Digital image processing" (2002), Prentice Hall
- Z. Zhengxin, "Road extraction by deep residual u-net", IEEE Geoscience and Remote Sensing Letters, 15(5), pp.749~753 (2018)
- 송호중, "U-Net 모델을 이용한 안저 이미지 재생성에 관한 연구", 한국지식정보기술학회 논문지, 17(3), pp.435~443 (2022), 한국지식정보기술학회[DOI]