NPT 를 이용한 SVC 비디오/AAC 오디오 동기화 지원 방법
Media Synchronization Algorithm for SVC Video and AAC Audio Based on NPT Information
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 인터넷과 같은 IP망에서 SVC 비디오와 AAC 오디오를 RTP 패킷화하여 전송할 때 RTP 패킷의 헤더에 기록될 타임스탬프 정보로부터 유도해 낼 수 있는 NPT (Normal Play Time)를 이용하여 비디오와 오디오에 대한 동기화를 지원하는 방법에 대해 제안한다. SVC는 시간적 스케일러빌리티 제공을 위해 계층적 B-픽처 (hierarchical B-picture) 예측 구조를 채택하는 관계로 화면의 부호화 (또는 전송) 순서와 디스플레이 순서가 서로 일치하지 않는다. 따라서, 전송 시점에서 각 화면에 대한 RTP 패킷 헤더에 기록될 타임스탬프 값의 증가치가 불규칙적으로 나타나게 된다. 이러한 문제를 해결하면서 효율적인 비디오와 오디오 간의 동기화 지원을 위하여 먼저 서버단에서 SVC 비디오 전송을 위해 필요한 RTP 타임스탬프 값을 자동으로 생성할 수 있는 알고리듬을 제안한다. 그리고 클라이언트단에서 주어진 타임스탬프 값으로부터 SVC 비디오 및 AAC 오디오에 대한 NPT를 유도하여 SVC 비디오와 AAC 오디오 간에 효과적인 미디어 동기화를 지원하는 방법에 대해 제안한다. 제안된 방법에서는 일반적인 동기화 기법에서 요구하는 RTCP SR (sender report) 패킷과 같은 별도의 제어 정보의 전송 및 처리가 필요 없다.
Abstract
In this paper, we propose an efficient media synchronization algorithm based on NPT (Normal Play Time) which can be derivable from the timestamp information in the header part of RTP packet generated for the transport of SVC video and AAC audio over IP networks. Since a hierarchical B-picture scheme is employed to provide temporal scalability of SVC, the display order of pictures is different from an encoding order of the pictures or a transmission order. Therefore, the RTP timestamp value which is specified for each picture at the time of RTP packetization does not increase in a regular pattern. In order to propose an efficient synchronization method between video and audio by overcoming the problem of irregular timestamp generation, we first propose an automatic RTP timestamp generation method at the SVC server side. Thereafter, we propose an efficient media synchronization algorithm between SVC video and AAC audio exploiting the NPT information which is derived from the RTP timestamp values of SVC video and AAC audio at the client side. In the proposed method, we do not need to send and process any RTCP SR (sender report) packet which is required for conventional media synchronization scheme.
참고문헌 (12)
- T. Wieg, "''Joint draft 10 of SVC amendment", Joint Video Team, Doc. JVT-W201, San Jose, CA, USA (2007)
- H. Schwarz, "Overview of the scalable video coding extension of the H.264", AVC standard, 2007, pp.17(9), 1103~1120
- J. Kang, "Development of QoS-aware ubiquitous content access (UCA) testbed", IEEE Trans. Consumer Electronics, 53(1), pp.197~203 (2007)
- H. Sun, "An overview of scalable video streaming", Wireless Communications and Mobile Computing, 7(2), pp.159~172 (2007)
- H. Schulzrinne, "''Real-time transport protocol,'' IETF RFC 3550", ~ (2003)
- D. Wu, "Transporting real-time video over the Internet: Challenges and approaches", Proceedings of the IEEE, 88(12), pp.1855~1877 (2000)
- "ISO", IEC 14496-3, Information technology - Generic coding of audio-visual object - Part 3: Audio, 2001
- "ISO", IEC 14496-15, pp.2007, ~
- S. Wenger, "''RTP payload format for H.264 video,'' IETF RFC 3984", ~ (2005)
- S. Wenger, "''RTP Payload Format for SVC Video,'' IETF Internet Draft: draft-ietf-avt-rtp-svc-02.txt", ~ (2007)
- H. Schulzrinne, "''RTP profile for audio and video conferences with minimal control,'' IETF RFC 1890", ~ (1996)
- L. Bertoglio, "Intermedia synchronization for video conference over IP", Signal processing: Image Communication, 15(1), pp.149~164 (1999)