CUDA 기반 영상 분할을 사용한 비사실적 렌더링
Non-Photorealistic Rendering Using CUDA-Based Image Segmentation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
비사실적 렌더링(NPR; Non-Photorealistic Rendering)은 2차원 영상과 3차원 모델을 대상으로 하는 방법이 다르며 각각의 대상에 NPR을 적용하여 두 콘텐츠를 혼합하면 이질감이 나타나는 문제점이 있다. 본 논문에서는 3차원 객체와 영상에 있어서 각각의 대상에 카툰 및 스케치와같은 비사실적 효과를 적용하여 조화롭게 혼합하는 기법을 제시한다. 제안 기법은 2차원 영상의 데이터를 분석하여 컬러 분포 특징을 얻고 이를 이용하여 실사 영상이나 3D 객체의 컬러 수를 줄인다. 단순화된 컬러맵과 윤곽선 에지 데이터로부터 비사실적 렌더링을 실시한다. 컬러맵정보의 추출 및 적용 과정에서 자연스러운 장면 연출을 위해서 영상분할 과정이 필요하다. 그러나 영상분할 기법은 많은 연산을 필요로 한다. 특히 크기가 큰 입력에 대해서는 비사실적 렌더링에 많은 시간이 소요된다. 처리 시간이 많은 영상분할의 고속화를 위하여 GPU(Graphics Processing Unit)를 이용한 병렬 컴퓨팅을 할 수 있는 GPGPU(General-Purpose GPU)를 사용한다. GPGPU의 사용으로 알고리즘의 수행속도를크게 개선하였다. 또한 영상분할 후 단순화된 컬러를 추출하여 일련의 컬러맵을 생성한 뒤 3D 객체에 NPR을 적용할 때 추출해낸 컬러맵을 적용하여 2차원 영상과 3차원 객채 간의 이질감을 줄이고 조화롭게 하였다.
Abstract
When rendering both three-dimensional objects and photo images together, the non-photorealistic rendering results are in visual discord since the two contents have their own independent color distributions. This paper proposes a non-photorealistic rendering technique which renders both three-dimensional objects and photo images such as cartoons and sketches. The proposed technique computes the color distribution property of the photo images and reduces the number of colors of both photo images and 3D objects. NPR is performed based on the reduced colormaps and edge features. To enhance the natural scene presentation, the image region segmentation process is preferred when extracting and applying colormaps. However, the image segmentation technique needs a lot of computational operations. It takes a long time for non-photorealistic rendering for large size frames. To speed up the time-consuming segmentation procedure, we use GPGPU for the parallel computing using the GPU. As a result, we significantly improve the execution speed of the algorithm.
참고문헌 (18)
- H. Lee, "Cartoon rendering techniques for real-time applications", Korea Multimedia Society, 9(3-4), pp.54~64 (2005)
- Cartoon-Looking Rendering of 3D-Scenes, "P. Decaudin", ~, pp.Research Report INRIA #2919 (1996)
- J. Shi, "Normalized cuts and image segmentation", IEEE Trans. Pattern Analysis and Machine Intelligence, 22(8), pp.888~905 (2000)
- Y. J. Zhang, "A survey on evaluation methods for image segmentation", Pattern recognition, 29(8), pp.1335~1346 (1996)
- T. Son, "Various line stylization of realtime video using the Image Difference and CUDA", HCI'2012 Conference, pp.382~385 (2012)
- 장석, "비사실적 렌더링(NPR)을 위한 컬러기반 점묘화 기법", 정보과학회논문지 : 시스템 및 이론, 33(2), pp.128~136 (2006), 한국정보과학회
- 주헌식, "비사실적 렌더링 기법에 의한3D 카툰 애니메이션 제작에 관한 연구", 한국컴퓨터게임학회논문지, 26(4), pp.179~185 (2013), (사)한국컴퓨터게임학회
- 이호창, "회화적 렌더링을 위한 세일리언시 기반의 스트로크 단계별 세부묘사 제어에 관한 연구", 정보과학회논문지 : 시스템 및 이론, 36(3), pp.199~209 (2009), 한국정보과학회
- 장현호, "모바일 콘텐츠의 수묵 담채 렌더링을 위한 프로세싱 기법", 한국콘텐츠학회 논문지, 11(3), pp.137~146 (2011), 한국콘텐츠학회
- 최성욱, "간단하고 빠른 실시간 연필 스트로크 알고리즘", 정보과학회논문지 : 시스템 및 이론, 33(6), pp.344~353 (2006), 한국정보과학회
- B. Gooch, "Non-photorealistic rendering" (2001), AK Peters, Ltd.
- A. Hertzmann, "Introduction to 3D non-photorealistic rendering : Silhouettes and outlines", SIGGRAPH'99 Course, pp.21~26 (1999)
- H. P. Narkhede, "Review of Image Segmentation Techniques", International Journal of Science and Modern Engineering, pp.2319~6386 (2013)
- P. F. Felzenszwalb, "Efficient graph-based image segmentation", International Journal of Computer Vision, 59(2), pp.167~181 (2004)
- Y. Y. Boykov, "Interactive graph cuts for optimal boundary & region segmentation of objects in ND images", Proceedings of IEEE ICCV'2001, 1, pp.105~112 (2001)
- B. Fulkerson, "Really quick shift : Image segmentation on a GPU", Trends and Topics in Computer Vision, pp.350~358 (2012), Springer
- I. Buck, "GPU computing with NVIDIA CUDA", SIGGRAPH'2007 Course (2007)
- S. Che, "A performance study of general-purpose applications on graphics processors using CUDA", Journal of parallel and distributed computing, 68(10), pp.1370~1380 (2008)