유방 병변 제거술을 위한 비마커 기반 AR 수술 프레임워크
Markerless AR Surgical Framework for Breast Lesion Removal
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문에서는 깊이 센서와 3차원 breast CT를 이용하여 유방 병변 제거술을 위한 비마커 기반 AR 수술 프레임워크를 제안한다. 정합에 활용될 mesh의 획득을 위해 깊이 센서를 이용하여 환자 3차원 스캔을 통한 현실 좌표계 상의 환자 mesh를 획득한다. 가상 좌표계 상의 환자 mesh는 3차원 breast CT에서 명암도 기반 피부 분할을 수행하고 3차원 mesh를 생성하여 획득한다. 분할된 피부 영역에서 기울기에 기반하여 유두를 탐색하고, 이를 기준으로 ROI를 설정하여 정합에 활용될 가상 좌표계 상의 정점을 선별한다. 현실과 가상 좌표계 상의 mesh는 무게중심 일치를 통해 일차적 위치 정렬을 수행하고, ICP 기법을 적용하여 정밀 정합을 수행한다. 10명의 환자 데이터를 이용하여 실험한 결과 피부 분할 정확도는 DSC 98.34%, 유두 탐색 오차는 2.99mm, 정합 오차는 5.01mm로 나타났다. 또한, 10개의 팬텀 데이터를 이용한 정합 오차는 3.42mm로 높은 정확도의 AR 가시화를 보였다.
Abstract
In this paper, we propose a markerless AR surgical framework for breast lesion removal using depth sensor and 3D breast CT. In order to acquire a mesh to be used for registration, a patient mesh on the real coordinate system is acquired through a patient 3D scan using a depth sensor. The patient mesh on the virtual coordinate system is obtained by performing contrast-based skin segmentation in 3D breast CT and generating a 3D mesh. Based on the gradient in the segmented skin area, detect the nipple, set the ROI based on this, and select the vertices on the virtual coordinate system to be used for matching. The mesh on the real and virtual coordinate systems align the primary positions through the matching of the center of mass, and applies the ICP method for registration. As a result of experiments using data from 10 patients, the skin segmentation accuracy was DSC 98.34%, the nipple detection error was 2.99 mm, and the registration error was 5.01 mm. In addition, the registration error using 10 phantom data was 3.42 mm, showing high accuracy of AR visualization.
참고문헌 (24)
- 윤현조, "2020 유방암 백서", 한국유방암학회, 1, pp.1~25 (2020)
- 가상, "증강", 혼합현실 기술의 발전과 동향, 정보통신기획평가원, pp.2019, 2~15[DOI]
- 김기영, "미니어처 AR: 증강 현실 기반 차세대 디지로그형 콘텐츠 체험 전시 시스템", 한국차세대컴퓨팅학회 논문지, 5(2), pp.35~40 (2009), 한국차세대컴퓨팅학회
- 김중규, "스마트폰의 증강현실을 활용한 광고의 속성이 광고태도와 브랜드태도, 구매의도에 미치는 영향", 한국차세대컴퓨팅학회 논문지, 9(2), pp.24~35 (2013), 한국차세대컴퓨팅학회
- 박상민, "증강현실을 이용한 척추 수술", 대한척추외과학회지, 26(1), pp.26~32 (2019), 대한척추외과학회
- Y. Adagolodjo, "Marker-Based Registration for Large Deformations-Application to Open Liver Surgery", 2018 IEEE International Conference on Robotics and Automation, pp.4007~4012 (2018)
- E. Wild, "Robust Augmented Reality Guidance with Fluorescent Markers in Laparoscopic Surgery", International Journal of Computer Assisted Radiology and Surgery, 11(6), pp.899~907 (2016)
- H. Choi, "A Portable Surgical Navigation Device to Display Resection Planes for Bone Tumor Surgery", Minimally Invasive Therapy & Allied Techonologies, 26(3), pp.144~150 (2017)
- 김현준, "3차원 수술 항법 장치를 위한 정밀 얼굴 정합", 한국차세대컴퓨팅학회 논문지, 16(1), pp.30~42 (2020), 한국차세대컴퓨팅학회[DOI]
- X. Zhou, "Automated Segmentations of Skin, Soft-tissue, and Skeleton", Medical Imaging 2004: Image Processing, 5370, pp.1634~1639 (2004)
- H. C. Kang, "Automatic Segmentation of Skin and Bone in CT Images Using Iterative Thresholding and Morphological Image Processing", IEIE Transactions on Smart Processing & Computing, 3(4), pp.191~194 (2014)
- J. A. Perez-Carrasco, "Segmentation of Bone Structures by Removal of Skin and using a Convex Relaxation Technique", International Conference on Pattern Recognition Applications and Methods, 1, pp.549~556 (2017)
- P. J. Besl, "A Method for Registration of 3-D Shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2), pp.239~256 (1992)
- K. Pulli, "Multiview Registration for Large Data Sets", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(1), pp.90~102 (2002)
- Z. Zhang, "Iterative Point Matching for Registration of Free-Form Curves and Surfaces", International Journal of Computer Vision, 13(2), pp.119~152 (1994)
- "Occipital Structure Sensor Mark II"[URL]
- W. E. Lorensen, "Marching Cubes: A High Resolution 3D Surface Construction Algorithm", ACM SIGGRAPH Computer Graphics, 21(4), pp.163~169 (1987)
- P. Perona, "Scale-Space and Edge Detection Using Anisotropic Diffusion", IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(7), pp.629~639 (1990)
- N. Otsu, "A Threshold Selection Method From Gray-Level Histogram", IEEE Transactions on Systems, Man, and Cybernetics, SMC-9(1), pp.62~66 (1979)
- R. Adams, "Seeded Region Growing", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(6), pp.641~647 (1994)
- E. Reinhard, "High Dynamic Range Imaging", pp.233~235 (2006), Morgan Kaufmann
- "Fast-Quadric Mesh Simplification"[URL]
- J. Lee, "Efficient Liver Segmentation Using a Level-Set Method with Optimal Detection of the Initial Liver Boundary From Level-Set Speed Images", Computer Methods and Programs in Biomedicine, 88(1), pp.26~38 (2007)
- "Apple iPad Pro 11 A2228"[URL]