배경 영상을 이용한 시간 일관적 스케치 렌더링
Temporal Coherent Sketch Rendering using Background Image
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
비디오 영상 기반 스타일 렌더링은 이전 영상과 현재 영상 간의 프레임의 색상 및 형태 차이로 인해 발생하는 시간적 일관성 문제가 발생한다. 특히 전경보다는 배경 부분에서 영상이 왜곡되는 현상이 나타난다. 본 연구에서는 배경 영상에서 발생하는 플리커링 현상을 제거하여 시간적 일관성을 유지하기 위해 보정단계에서 배경 영상을 이용하여 원본영상을 보정하는 방법과 렌더링 단계에서 후처리 블러링 방법을 추가하였다. 먼저 보정 단계에서 캠을 통해 영상을 받아오고 원본 영상과 배경 영상 간의 프레임 차이를 이용하여 영상을 보정한다. 이렇게 보정된 영상을 렌더링 단계에서 회색음영 영상으로 바꿔주고 색상을 반전시킨다. 색상 반전된 영상은 양방향 알고리즘을 이용하여 블러링을 해준다. 이후 칼라 닷지 함수를 적용하여 스케치 효과를 주고 다시 한번 양방향 알고리즘을 이용하여 블러링을 해주어 최종 스케치 영상을 출력한다. 원본영상의 보정을 통해 전후프레임의 차이로 인해 발생하는 플리커링 현상을 완화시킬 수가 있으며 후처리 블러링을 통해 불필요한 잡음을 제거하여 스케치의 부드러운 선화를 표현할 수 있다. 제안된 방법은 실시간 스케치 렌더링에 적용이 가능하여 영상 및 게임 콘텐츠 제작 등에 다양하게 사용될 수 있다.
Abstract
Video based stylized rendering have temporal coherence problems occurred by illumination and shape difference in corresponding pixel between previous and current frame. Especially, the rendered image is distorted in the background part rather than the foreground part. In this paper, we suggest original image correction method using background image to reduce flickering effect at background part in correction step and post blurring method using rendered image to improve sketch rendering effect in rendering step. In correction step, video frames can be input through video file or web camera, and then the original video frames can be corrected by using the frame difference between original and background image. In rendering step, we transform corrected frame into grayscale image and invert the color. And then we blur the inverted frame using bilateral filtering and apply color dodge algorithm in the blurred frame. To reduce flickering effect and improve sketching effect, post-blurring method using bilateral filtering is applied again in the rendered frame. Correction method using background image can be reduced flickering effect caused by the difference between previous and current frame. Also, post-blurring method using bilateral filtering can be represented smooth sketch rendering through removing unnecessary noise. Suggested method can be applied to realtime rendering and can be used in various fields such as image and game contents generation.
참고문헌 (15)
- B. Gooch, "Non photorealistic rendering" (2001), A K Peters, Ltd
- M. C. Sousa, "Computer-generated graphite pencil rendering of 3D polygonal models", Proceedings of Eurographics 1999, pp.195~207 (1999)
- M. C. Sousa, "Observational model of blenders and erasers in computer generated pencil rendering", Proceedings of Graphics Interface 1999, pp.157~166 (1999)
- S. Takagi, "Volumetric modeling of colored pencil drawing", Proceedings of Pacific Graphics 1999, pp.250~258 (1999)
- N. Li, "A feature- based pencil drawing method", Proceedings of 1st International Conference on Computer Graphics and Interactive Techniques in Australasia and South East Asia, pp.135~140 (2003)
- S. Yamamoto, "Enhanced LIC pencil filter", Proceedings of International Conference on Computer Graphics, Imaging and Visualization, pp.251~256 (2004)
- S. Yamamoto, "Colored pencil filter with custom colors", Proceedings of Pacific Graphics 2004, pp.329~338 (2004)
- M. Salisbury, "Orientable textures for image-based pen-and-ink illustration", Proceedings of SIGGRAPH, pp.401~406 (1997)
- H. Matsui, "Creating colored pencil images by drawing strokes based on boundaries of regions", Proceedings of Computer Graphics International, pp.148~155 (2005)
- K. Murakami, "Multiple illuminated paper textures for drawing strokes", Proceedings of Computer Graphics International, pp.156~161 (2005)
- S. Valentine, "The hidden power of blend modes in adobe photoshop" (2012), Adobe Press
- W. Zeng, "Automatic moving object extraction in MPEG video", IEEE Transaction on Signals and Image processing, pp.524~527 (2003)
- I. Kartika, "Frame differencing with post processing techniques for moving object detection in outdoor environment", IEEE 7th International Colloquium on Signal Processing and its Applications, pp.172~176 (2011)
- R. A. Haddad, "A class of fast gaussian binomial filters for speech and image processing", IEEE Transactions on Acoustics, Speech and Signal Processing, 39, pp.723~727 (1991)
- C. Tomasi, "Bilateral filtering for gray and color images", IEEE Transactions on Computer Vision, pp.839~846 (1998)