본문 바로가기
KERD
논문KCI 등재

딥러닝 모델을 활용한 포트홀 검출 및 성능 개선을 위한 전처리 방법론 연구

Pothole Detection Using Deep Learning and Domain-based Image Preprocessing Methods

김하영|이영인|허진녕
한국지식정보기술학회 (Korea Knowledge Information Technology Society)|2023.10|한국지식정보기술학회 논문지 (Journal of Knowledge Information Technology and Systems)|제18권 제5호|pp. 1331-1343|DOI 10.34163/jkits.2023.18.5.029

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

Deep learningFPNYOLOv5CLAHEObject detectionComputer visionPotholePothole detectionSobel edge detectionImage preprocessingEfficientDetBiFPN
주제분류학제간연구

초록

최근 집중 호우 발생 빈도가 늘어남에 따라 포트홀 발생 건수가 지속적으로 증가하고 있다. 또한, 도로의 노후화로 인한 노면 파손은 불가피하며, 파손된 도로와 포트홀은 운전자의 주행을 방해하여 다양한 안전사고를 발생시킨다. 이 문제를 효율적으로 해결하기 위해 인공신경망을 활용한 다양한 도로 파손 탐지 연구가 진행되었다. 하지만 기존 연구들에서는 포트홀의 특성에 대한 이해도가 부족하다는 한계점이 존재했고, 더불어 포트홀을 급증시킬 수 있는 위해 요소들이 증가하여 관련 연구의 필요성은 더욱 높아지고 있다. 이에 선행 연구의 한계점을 극복하고자 본 연구에서는 포트홀의 특성을 효과적으로 반영할 수 있는 이미지 전처리 기법과 EfficientDet 기반으로 포트홀 검출을 위한 최적 구조를 제안한다. 제안 전처리 기법은 CLAHE 기법과 Sobel Edge detection 알고리즘 2가지를 결합하여 도로 노면 이미지 내 포트홀을 Contrast 명암 대비에만 의존하여 해결하는 문제가 아닌 전체 이미지에 대한 윤곽선 검출과 명암 대비 제한값 설정으로 포트홀의 경계를 극대화하여 확인 및 학습할 수 있도록 설정하였다. 또한 포트홀 데이터셋에 적합한 최적의 BiFPN Layer 수를 설계함으로써 모듈이 명확한 포트홀 검출이 가능토록 하였다. 본 연구에서 제안하는 방법론을 EfficientDet과 YOLO v5 모델에 적용하여 본 방법론의 타당성을 실험적으로 증명하였다.

Abstract

In recent years, the number of potholes has been increasing due to the high frequency of heavy rainfall. In addition, road surface damage is inevitable due to the aging of roads, and damaged roads (potholes and cracks) interfere with drivers' driving, causing various safety accidents. To efficiently solve this problem, various road damage detection studies have been conducted using artificial neural networks. However, previous studies have been limited by a lack of understanding of potholes. Furthermore, the need for research is growing as the number of risk factors that can cause potholes is rapidly increasing. To overcome the limitations of previous studies, this study proposes an image preprocessing technique that can effectively reflect the characteristics of potholes and an optimal structure for pothole detection based on EfficientDet. The proposed preprocessing technique combines two algorithms, CLAHE and Sobel Edge detection, to identify and learn potholes in road surface images by maximizing the boundaries of potholes through contour detection and contrast thresholding for the entire image, rather than solely relying on contrast. In addition, we designed the optimal number of BiFPN layers for the pothole dataset so that the module can clearly detect potholes. The methodology proposed in this study was applied to EfficientDet and YOLO v5 models to experimentally prove the feasibility of the methodology.

참고문헌 (31)

  1. 홍 성표, "딥러닝기반 도로 포트홀 탐지에 관한 연구", 정보기술융합공학논문지, 12(2), pp.35~41 (2022), IT연구소[DOI]
  2. Distress identification manual for the long-term pavement performance program, "J. S. Miller", Federal Highway Administration, ~ (2003)
  3. 김인기, "제한된 레이블 데이터에 대한 Mean Teacher 반지도학습을 활용한 견고한 포트홀 이미지 분류", 한국컴퓨터정보학회논문지, 28(5), pp.17~28 (2023), 한국컴퓨터정보학회[DOI]
  4. 이한진, "딥러닝 모델에서 포트홀 데이터셋의 성능 향상을 위한 전처리 방법 제안과 YOLO 모델을 통한 검증", 융합신호처리학회 논문지, 23(4), pp.249~255 (2022), 한국융합신호처리학회
  5. 전찬준, "완전 합성곱 신경망을 활용한 자동 포트홀 탐지 기술의 개발 및 평가", 한국ITS학회 논문지, 17(5), pp.55~64 (2018), 한국ITS학회[DOI]
  6. 심승보, "Fast R-CNN을 이용한 객체 인식 기반의 도로 노면 파손 탐지 기법", 한국ITS학회 논문지, 18(2), pp.104~113 (2019), 한국ITS학회[DOI]
  7. A. Bochkovskiy, "YOLOv4 : optimal speed and accuracy of object detection", arXiv preprint arXiv : 2004. 10934, ~ (2020)
  8. 김도완, "빅데이터 처리 활용 및 머신러닝 기법 적용으로 인한 도로 손상 예측 모형 개발", 한국방재학회논문집, 19(1), pp.95~107 (2019), 한국방재학회[DOI]
  9. 황성진, "딥러닝을 이용한 포트홀 검출 시스템", 반도체디스플레이기술학회지, 20(1), pp.88~93 (2021), 한국반도체디스플레이기술학회
  10. C. Koch, "Pothole detection in asphalt pavement image", Advanced Engineering Informatics, 25(3), pp.507~515 (2011)
  11. 심승보, "도로 노면 파손 영상의 다중 분류 심층 신경망 평가를 통한 Backbone Network 선정 기법", 한국ITS학회 논문지, 18(3), pp.106~118 (2019), 한국ITS학회[DOI]
  12. "2018", ~
  13. A. M. Reza, "Realization of the contrast limited adaptive histogram equalization(CLAHE)for real-time image enhancement", Journal of VLSI Signal Processing, 38(1), pp.35~44 (2018)
  14. O. R. Vincent, "A descriptive algorithm for sobel image edge detection", Proceedings of Informing Science & IT Education Conference, 9, pp.97~107 (2009)
  15. M. Tan, "EfficientDet:scalable and efficient object detection", The IEEE, 2020, 10781~10790
  16. S. W. Lee, "A proposal of a real-time pothole detection system based on machine learning and computer vision", Korea Computer Science Conference, pp.7~9 (2018), Korea Information Science Association
  17. 김영로, "아스팔트 도로의 포트홀 검출 방법", 전자공학회논문지, 51(10), pp.248~255 (2014), 대한전자공학회
  18. J. Erikson, "The pothole patrol: using a mobile sensor network for road surface monitoring", Proceedings of the 6th International Conference on Mobile Systems, Applications and Services, pp.29~39 (2008)
  19. X. Yang, "Automatic pixel-level crack detection and measurement using fully convolutional networks", Computer-Aided Civil Infrastructure Engineering, 33(12), pp.1090~1109 (2018)
  20. S. Ren, "Faster R-CNN : towards real-Time object detection with region proposal networks", Proceedings of the International Conference on Neural Information Processing Systems, 1, pp.91~99 (2015)
  21. 권영주, "드론 촬영 이미지 데이터를 기반으로 한 도로 균열 탐지 딥러닝 모델 개발", 토지주택연구, 14(2), pp.125~135 (2023), 한국토지주택공사 토지주택연구원[DOI]
  22. 권오성, "딥러닝 분석체의 인원 카운팅 성능 향상을 위한 후처리 방안", 한국지식정보기술학회 논문지, 18(1), pp.81~89 (2023), 한국지식정보기술학회[DOI]
  23. 박주석, "횡단보도 탐지 머신러닝 시스템", 한국지식정보기술학회 논문지, 16(1), pp.9~19 (2021), 한국지식정보기술학회[DOI]
  24. A. Vaswani, "Attention is all you need", Advances in neural information processing systems(NeurIPS) (2017)
  25. T. B. Brown, "Language models are few-shot learners", Advances in neural information processing systems(NeurIPS) (2020)
  26. K. Vigneshwar, "Detection and counting of pothole using image processing techniques", IEEE International Conference on Computational Intelligence and Computing Research(ICCIC), pp.1~4 (2016)
  27. J. H. Shin, "Development of pothole detection model on road surface using YOLOv4", Journal of KIISE, Korean Institute of Information Scientists and Engineers, pp.1820~1822 (2022)
  28. E. Buza, "Pothole detection with image processing and spectral clustering", Proceedings of the 2nd International Conference on Information Technology and Computer Networks, pp.48~53 (2013)
  29. 민병석, "대비제한 적응 히스토그램 평활화에서 매개변수 결정방법", 한국산학기술학회논문지, 14(3), pp.1378~1387 (2013), 한국산학기술학회[DOI]
  30. Lin T., "Feature pyramid networks for object detection", IEEE Conference on Computer Vision and Pattern Recognition, pp.2117~2125 (2017)
  31. 박희창, "Proposition of Modified Balance Cross Entropy in Association Rule Mining", Journal of The Korean Data Analysis Society, 19(4), pp.1733~1741 (2017), 한국자료분석학회[DOI]

이 간행물의 다른 논문 (33건)

색각 이상자를 위한 색상 검출 및 변환 애플리케이션김윤서, 유승민, 임영준, 김민근, 김익수pp. 1011-10203D 프린터를 활용한 마이크로니들 모양과 배치에 따른 피부 투과 분석김현정, 곽기성, 박수진pp. 1021-1027메타버스 기술로 구현된 소프트웨어의 테스트에 관한 연구송기원, 최민지pp. 1029-1037대두 생산과 활용 방안에 대한 연구김광현, 차승빈pp. 1039-1046크롬 익스텐션을 활용한 유튜브 필터버블 현상 개선김익수, 김지민, 남윤건, 강나윤, 백성준pp. 1047-1056
원문 보기