본문 바로가기
KERD
논문KCI 등재

의미론적 분할 기반 모델을 이용한 조선소 사외 적치장 객체 자동 관리 기술

(Segmentation Foundation Model-based Automated Yard Management Algorithm)

이병학|박진선|김준현|강태선|김장현|노정현|강기룡|정민규|하성헌
(사)한국스마트미디어학회 (Korean Institute of Smart Media)|2024.02|스마트미디어저널 (Smart Media Journal)|제13권 제2호|pp. 52-61

1

조회

0

다운로드

1

인용

0

참고문헌

키워드

Object DetectionSemantic Segmentation객체 탐지의미론적 분할조선소Shipyard사외 적치장External Storage Yard
주제분류컴퓨터학

초록

조선소에서는 사외 적치장의 관리를 위해 일정 주기로 Unmanned Aerial Vehicle (UAV)을 이용해 항공 영상을 획득하고, 이를 사람이 판독하여 적치장 현황을 파악한다. 이러한 방법은 넓은 면적의 사외 적치장 현황을 파악하는 데 상당한 시간과 인력을 요구한다. 본 논문에서는 이러한 문제점을 해결하고 정확한 사외 적치장 현황을 파악하기 위해 사전 학습된 의미론적 분할 기반 모델(Foundation Model)을 활용한 자동 관리 기술을 제안한다. 또한, 조선소 사외 적치장의 경우 관련 부품이나 장비를 포함한 공개 데이터셋이 충분하지 않기 때문에, 의미론적 분할 기반 모델에 필요한 객체 프롬프트(Prompt)를 생성하기 위한 소규모 사외 적치장 객체 데이터셋을 직접 구축하였다. 이를 이용해 객체 검출기를 소규모 데이터셋에 추가 학습하여 초기 객체 후보를 추출하고, 의미론적 분할 기반 모델인 Segment Anything Model (SAM)의 프롬프트로 활용해 정확한 의미론적 분할 결과를 얻는다. 더 나아가, 지속적인 적치장 데이터셋 수집을 위해 SAM을 활용한 훈련 데이터 생성 파이프라인을 제안한다. 본 연구에서 제안한 방법은 기존의 의미론적 분할 방법과 비교하여 평균적 4.00%p, SegFormer에 비해 5.08%p 높은 성능을 달성하였다.

Abstract

In the shipyard, aerial images are acquired at regular intervals using Unmanned Aerial Vehicles (UAVs) for the management of external storage yards. These images are then investigated by humans to manage the status of the storage yards. This method requires a significant amount of time and manpower especially for large areas. In this paper, we propose an automated management technology based on a semantic segmentation foundation model to address these challenges and accurately assess the status of external storage yards. In addition, as there is insufficient publicly available dataset for external storage yards, we collected a small-scale dataset for external storage yards objects and equipment. Using this dataset, we fine-tune an object detector and extract initial object candidates. They are utilized as prompts for the Segment Anything Model(SAM) to obtain precise semantic segmentation results. Furthermore, to facilitate continuous storage yards dataset collection, we propose a training data generation pipeline using SAM. Our proposed method has achieved 4.00%p higher performance compared to those of previous semantic segmentation methods on average. Specifically, our method has achieved 5.08% higher performance than that of SegFormer.

참고문헌 (34)

  1. J. Yang, "Concrete Crack Segmentation based on UAV-enabled Edge Computing", Neurocomputing, 485, pp.233~241 (2022)
  2. Z. Hong, "Highway Crack Segmentation From Unmanned Aerial Vehicle Images Using Deep Learning", IEEE Geoscience and Remote Sensing Letters, 19, pp.1~5 (2021)
  3. L. Wang, "Transformer Meets Convolution : A Bilateral Awareness Network for Semantic Segmentation of Very Fine Resolution Urban Scene Images", Remote Sensing, 13(16) (2021)
  4. L. Wang, "UNetFormer : A UNet-like Transformer for Efficient Semantic Segmentation of Remote Sensing Urban Scene Imagery", ISPRS Journal of Photogrammetry and Remote Sensing, 190, pp.196~214 (2022)
  5. R. Li, "ABCNet : Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images", ISPRS Journal of Photogrammetry and Remote Sensing, 181, pp.84~98 (2021)
  6. O. Ronneberger, "U-net : Convolutional Networks for Biomedical Image Segmentation", International Conference Medical Image Computing and Computer-Assisted Intervention(MICCAI), pp.234~241 (2015)
  7. H. Zhao, "Pyramid Scene Parsing Network", Proceedings of the IEEE, 2017, 2881~2890
  8. S. Park, "Multi-Path Feature Fusion Module for Semantic Segmentation", Journal of Korea Multimedia Society, 24(1), pp.1~12 (2021)
  9. R. Strudel, "Segmenter : Transformer for Semantic Segmentation", Proceedings of the IEEE, 2021, 7262~7272
  10. E. Xie, "SegFormer : Simple and Efficient Design for Semantic Segmentation with Transformers", Advances in Neural Information Processing Systems (NIPS), pp.12077~12090 (2021)
  11. Y. Lyu, "UAVid : A Sementic Segmentation Dataset for UAV Imagery", ISPRS Journal of Photogrammetry and Remote Sensing, 165, pp.108~119 (2020)
  12. Z. Shao, "Performance Evaluation of Single-Label and Multi-Label REmote Sensig Image Retrieval Using a Dense Labeling Dataset", Remote Sensing, 10(6), pp.964~976 (2018)
  13. Z. Shao, "Multilabel Remote Sensing Image Retrieval based on Fully Convolutional Network", Remote Sensing, 13, pp.318~328 (2020)
  14. "Segment Anything" (2023)[URL]
  15. "Yolov8" (2023)[URL]
  16. J. Long, "Fully Convolutional Networks for Semantic Segmentation", Proceedings of the IEEE, 2015, 3431~3440
  17. Y. Yuan, "Object-Contextual Representations for Semantic Segmentation", Proceedings of European Conference on Computer Vision (ECCV), pp.173~190 (2020)
  18. "Rethinking Atrous Convolutional for Semantic Segmentation" (2017)[URL]
  19. R. Girshick, "Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation", Proceedings of the IEEE, 2014, 580~587
  20. R. Girshick, "Fast R-CNN", Proceedings of the IEEE, 2015, 1440~1448
  21. S. Ren, "Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks", Advances in Neural Information Processing Systems (NIPS) (2018)
  22. K. He, "Mask R-CNN", Proceedings of the IEEE, 2017, 2961~2969
  23. P. Sun, "Sparse R-CNN : End-to-End Object Detection with Learnable Proposals", Proceedings of the IEEE, 2021, 14454~14463
  24. "Deformable DETR : Deformable Transformers for End-to-End Object Detection" (2020)[URL]
  25. J. Redmon, "You Only Look Once : Unified, Real-Time Object Detection", Proceedings of the IEEE, 2016, 779~788
  26. "Yolov3 : An Incremental Improvement" (2018)[URL]
  27. "Yolov4 : Optimal Speed and Accuracy of Object Detection" (2020)[URL]
  28. C. Y. Wang, "Yolov7 : Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detection", Proceedings of the IEEE, 2023, 7464~7475
  29. K. He, "Masked Autoencoders are Scalable Vision Learners", Proceedings of the IEEE, 2022, 16000~16009
  30. "An Image is Worth 16×16 Words : Transformers for Image Recognition at Scale" (2020)[URL]
  31. T. Y. Lin, "Microsoft COCO : Common Objects in Context", Proceedings of European Conference on Computer Vision (ECCV), pp.740~755 (2014)
  32. J. Wang, "Deep High-Resolution Representation Learning for Visual Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(10), pp.3349~3364 (2020)
  33. Z. Liu, "Swin Transformer : Hierarchical Vision Transformer Using Shifted Windows", Proceedings of the IEEE, 2021, 10012~10022
  34. T. Xiao, "Unified Perceptual Parsing for Scene Understanding", Proceedings of European Conference on Computer Vision (ECCV), pp.418~434 (2018)

관련 논문AI추천

FPFH 기반 기하학적 특징 증강을 이용한 조선소 3D 딥러닝 데이터셋 경량화 및 객체 탐지 성능 분석이동건, 정기석대한조선학회 · 대한조선학회 논문집2025 · 제62권 제5호SAM 기반 향상된 Copy-Paste 데이터 증강을통한 고정밀 선박 탐지박진형, 이지상, 장한얼, 표성민한국전기전자학회 · 전기전자학회논문지2025 · 제29권 제4호해양 특화 환경을 위한 제로샷 기반 데이터 자동 라벨링 시스템이상우, 이상욱, 장하윤, 최동걸한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2025 · 제21권 제3호Assessment of ship-block stacking status based on images obtained from drone and geographic information system data김양욱, 김영수, 남병욱, 여현빈, 이경호, 한영수대한조선학회 · International Journal of Naval Architecture and Ocean Engineering2024 · 제16권 건물 객체의 의미 분할을 위한 학습데이터 구축 및 성능 분석김민수, 양기택, 장인성한국국토정보공사 · 지적과 국토정보2025 · 제55권 제2호인공지능 기반 선체 균열 탐지 현장 적용성 연구송상호, 이갑헌, 장화섭, 한기민대한조선학회 · 대한조선학회 논문집2022 · 제59권 제4호

이 간행물의 다른 논문 (15건)

Diffusion Model을 활용한 신용 예측 데이터 불균형 해결 기법오상민, 이주홍pp. 9-15Predicting Desired Fertigation for Rose Using Internet of Things Sensors and Time-Series ModelJongbin Park, Jeonghyun Baek, Dong Sun Park, Mingle Xu, 윤숙pp. 16-22Multi-Cattle Tracking Algorithm with Enhanced Trajectory Estimation in Precision Livestock FarmsShujie Han, 윤숙, Dong Sun Park, Jongbin Park, Alvaro Fuentespp. 23-31플레이 수준 조절이 가능한 강화학습 기반 카드형 대전 게임 에이전트이칠우, 이용철pp. 32-43품질이 관리된 스트레스 측정용 데이터셋 구축을 위한 제언김태훈, 나인섭pp. 44-51
원문 보기