심도 그래프를 기반으로 한 다각적 알몸 3d 입체 영상 기술 연구
요약: 3D 스테레오 비디오 기술은 점점 더 주목을 받고 있지만, 현재 대부분의 3D 비디오 시스템은 전용 안경을 착용해야 스테레오 효과를 보거나 시청자에게 고정 각도에서 볼 것을 요구하고 있습니다. 멀티 뷰 알몸 3D 스테레오 비디오 시스템은 위의 두 가지 제한을 피하고 최적의 3D 시청 환경을 제공합니다. 현재, 세계에서 가장 진보한 3D 입체 비디오 연구는 깊이 맵을 기반으로 한 다중 시점 3D 입체 비디오 기술에 집중되어 있습니다. 이 문서에서는 깊이 맵 추출, 가상 관측점 합성, 다중 관측점 비디오 합성 등 깊이 맵을 기반으로 하는 다중 시점 노출된 3D 스테레오 비디오 시스템의 몇 가지 주요 기술 측면을 살펴보고 해당 시뮬레이션 실험을 수행했습니다. 실험 결과를 보면 깊이 그래프를 기반으로 한 다중 시점 노출된 3D 스테레오 비디오 시스템은 데이터 양이 적고 전송 효율이 높으며 디스플레이 콘텐츠 적응 조정, 사용자 상호 작용이 좋다는 장점이 있습니다.
키워드: 벌거 벗은 눈 3D 입체 비디오; 깊이 맵 3d 텔레비전
현재 3D 스테레오 비디오 기술은 점점 더 주목받고 있습니다. 그 중 주류 3D 기술로는 주로 쌍안 스테레오 비디오 (두 개의 관측점에 대한 비디오 데이터 포함) 와 다중 시점 스테레오 비디오 (8 개 이상의 관측점에 대한 비디오 데이터 포함) 가 있습니다. 쌍안 입체 영상은 두 가지 종류로 나눌 수 있다. 안경을 끼고 보는 것과 쌍안 누드한 눈을 입체적으로 표시하는 것. 전자는 편광안경을 착용해야 하고 관람에 불편을 끼쳐야 하며, 후자는 관람객에게 고정 각도에서 볼 것을 요구한다. 여러 사람이 같은 모니터를 동시에 볼 때 대부분의 시청자가 최적의 시청 위치를 얻지 못해 시청 환경에 큰 영향을 미칩니다. 멀티 뷰 스테레오 비디오 기술의 경우, 동일한 알몸 3D 스테레오 모니터가 동시에 여러 시야각의 콘텐츠를 제공할 수 있기 때문에 관객은 어떤 자유 각도에서도 시청할 수 있어 시청 편의성이 크게 향상됩니다. 따라서 멀티 뷰 스테레오 비디오는 현재 기술 연구의 주류가 되었습니다. 그러나 쌍안 스테레오 비디오에 비해 다중 시점 스테레오 비디오의 데이터 양이 두 배로 증가하여 저장 및 전송에 불편을 끼쳤습니다. 깊이 맵을 기반으로 하는 다중 시점 스테레오 비디오 기술은 데이터 양이 적다는 장점이 있어 가장 가능성이 높은 다중 시점 스테레오 비디오 구성표가 됩니다. 이 문서에서는 심도 그래프를 기반으로 한 다중 시점 3D 스테레오 비디오 기술의 핵심 기술에 대해 심도 있는 연구를 수행하고 해당 시뮬레이션 실험을 수행했습니다. 이 문서의 각 장은 다음과 같이 구성됩니다. 두 번째 섹션에서는 깊이 맵을 기반으로 하는 다중 관측점 3D 스테레오 시스템의 전체 아키텍처를 소개하고, 세 번째 섹션에서는 깊이 맵 추출, 네 번째 섹션에서는 가상 관측점 생성, 다섯 번째 섹션에서는 다중 관측점 비디오 합성, 여섯 번째 섹션에서는 전체 텍스트를 요약합니다.
1. 깊이 맵을 기반으로 한 다중 뷰 3D 스테레오 비디오 시스템 프레임 워크.
깊이 맵을 기반으로 한 다중 시점 3D 스테레오 비디오 시스템의 기술 프레임워크는 1 과 같습니다. 먼저 원본 비디오 시퀀스를 촬영해야 합니다. 최종 멀티 뷰 오픈 스테레오 디스플레이 시스템에는 9 개 이상의 관측점에 대한 비디오 콘텐츠가 필요하지만 실제 원본 비디오 시퀀스 촬영 단계에서는 2 ~ 3 개의 관측점에 대한 비디오만 찍으면 됩니다. 깊이 맵을 기반으로 하는 가상 관측점 생성 기술은 디코딩측에서 여러 관측점 (이 경우 9 개의 관측점) 의 가상 관측점 비디오를 생성할 수 있기 때문에 깊이 맵을 기반으로 하는 다중 관측점 스테레오 비디오 기술은 데이터 양이 적고 쉽게 전송할 수 있다는 장점이 있습니다.
원본 비디오 시퀀스 촬영이 완료되면 깊이 맵을 추출하여 카메라 매개변수를 계산해야 합니다. 이 단계에서 추출한 깊이 다이어그램의 품질은 나중에 생성되는 가상 관측점 비디오의 품질을 직접 결정합니다. 위 단계를 완료한 후에는 압축 인코딩하여 네트워크를 통해 디코딩 측으로 전송해야 합니다. 데이터를 디코딩한 후 디코딩측은 깊이 그래프를 기반으로 가상 관측점을 생성하며, 원래 2 ~ 3 개 관측점의 비디오 데이터는 9 개 관측점의 비디오 데이터가 됩니다. 결과 9 개의 관측점에 대한 비디오 데이터는 다중 시점 노출된 3D 스테레오 모니터에서 직접 재생할 수 없으므로 모니터에서 사용하는 3D 래스터 구조에 대해 다중 시점 비디오 합성을 수행해야 합니다.
이 문서의 다음 섹션에서는 깊이 맵 추출, 가상 관측점 생성 및 다중 관측점 비디오 합성에 대해 자세히 설명하고 해당 시뮬레이션 실험을 수행합니다.
둘째, 깊이 맵 추출
2. 1 깊이 맵 소개
깊이 그래프는 그림 2-b 와 같이 그레이스케일 이미지이고 그레이스케일 값 범위는 0-255 입니다. 그레이스케일 값은 장면의 깊이 정보와 변환되어 스테레오 비디오 시스템의 실제 응용에 사용되는 깊이 값을 얻을 수 있습니다.
깊이 그래프의 픽셀은 0-255 의 그레이스케일 값입니다. 위에서 설명한 대로 깊이 다이어그램은 주로 가상 관측점 생성에 사용됩니다. 이 절차에서는 실제 깊이 값을 사용하므로 깊이 맵에 있는 픽셀의 그레이스케일 값을 실제 깊이 값으로 변환하는 변환 관계를 설정해야 합니다.
공식 (1) 에서 Z 는 가상 관측점 생성 중 필요한 깊이 값이고, V 는 그림 2-b 의 깊이 이미지에 있는 픽셀의 그레이스케일 값을 나타내고, Znear 및 Zfar 은 각각 비디오 촬영 장면의 가장 가까운 깊이와 가장 먼 깊이를 나타내며, 이 두 값은 원본 비디오 시퀀스의 촬영 중에 측정해야 합니다.
2.2 블록 매칭에 기반한 깊이 맵 추출
나란히 놓인 두 개의 카메라로 같은 장면을 촬영하여 두 장의 이미지를 얻었다. 한 이미지의 깊이 맵을 얻으려면 픽셀을 다른 이미지와 쌍을 이루어야 합니다. 픽셀을 일치시키면 두 이미지 사이의 각 픽셀에 대한 시차를 얻을 수 있습니다. 깊이 값과 시각 차이의 관계는 다음과 같습니다.
여기서 z 는 원하는 깊이 값이고, d 는 픽셀 일치 후 얻은 시각 차이이며, f 는 카메라의 초점 거리이고, b 는 두 카메라의 기준선 거리입니다. 따라서 시각 차이 D 를 사용하면 깊이 값 z 를 쉽게 얻을 수 있습니다. 그러나 중요한 부분은 정확한 시각적 차이를 얻는 것이므로 정확한 픽셀 일치가 필요합니다. 그러나 실제로 카메라 노출 매개변수의 차이로 인해 같은 장면을 촬영해도 픽셀 간에 밝기 차이가 남아 있기 때문에 이미지 블록 일치 방법을 사용하여 픽셀 일치의 루봉성을 어느 정도 높였습니다. 이 실험에서 3? 기본적으로 원본 비디오 시퀀스는 두 개의 엄격하게 수평이 평행한 카메라에 의해 촬영되므로 이미지 블록이 일치할 때 수평 검색만 하고 수직 검색은 하지 않는다는 점을 유의해야 합니다. 전체 깊이 맵 추출 프로세스는 그림 3 과 같습니다.
국제 비디오 표준기구 MPEG 에서 제공하는 다중 뷰 비디오 시퀀스에서 추출한 깊이 다이어그램은 그림 4 에 나와 있습니다.
셋째, 가상 관측점 생성
가상 관측점 생성 기술 [2] 은 왼쪽 및 오른쪽 관측점의 픽셀을 두 관측점 사이의 아무 곳에나 투영하여 카메라 촬영이 아닌 가상 관측점의 비디오 이미지를 생성합니다 (그림 5 참조). 이를 위해서는 왼쪽 및 오른쪽 관측점의 깊이 맵과 카메라 매개변수가 필요합니다. 이 기술은 주로 3D 투영 알고리즘을 사용하여 두 이미지 평면 사이의 해당 점을 찾습니다. 특정 프로세스는 한 이미지 평면의 점을 3d 표준 좌표계로 투영한 다음 3d 표준 좌표계에서 다른 이미지 좌표 평면으로 투영하는 것입니다.
주어진 점 P0 의 경우 좌표는 이미지 평면 V0 에 있는 (u0, v0) 입니다. 해당 점 P 1 의 좌표 (u 1, V 1) 를 찾고 해당 변형점이 이미지 평면 v 1 에 있는 경우 전체 3d 투영 프로세스는 다음과 같이 계산됩니다
여기서 z 는 3D 표준 좌표의 한 점에서 카메라 좌표계의 z 축을 따라 카메라까지의 거리이고 p 는 해당 투영 매트릭스입니다. 투영 행렬 P 는 카메라 내부 행렬 K, 회전 행렬 R 및 변환 행렬 T 로 구성됩니다. P 에 대한 구체적인 설명은 다음과 같습니다. 여기서 K 는 3 입니까? 초점 거리 f, 기울기 매개 변수에 의한 3 의 상부 삼각형 행렬? 가상 카메라 위치의 이론점 (u', v') 으로 구성됩니다. R 과 t 는 표준 좌표 공간에서 카메라의 위치를 설명합니다.
위 단계를 통해 깊이 맵을 기반으로 관측점 합성을 초보적으로 수행할 수 있습니다.
넷째, 멀티 뷰 비디오 합성
4. 1 알몸 3D 입체 디스플레이 원리
관람객이 3D 입체 효과를 경험할 수 있도록 핵심 원리는 그들의 눈이 동시에 다른 화면을 볼 수 있도록 하여 입체효과를 얻는 것이다. 가장 쉬운 방법은 특제 안경을 쓰면 자신이 보는 것을 강제로 통제할 수 있지만, 이런 방안은 관람자 (특히 안경을 쓴 사람) 에게 큰 불편을 안겨 준다. 이 기사에서 사용 된 프로그램은 벌거 벗은 눈의 3D 입체 디스플레이입니다. 주요 구현 방법은 디스플레이 앞에 시차 울타리를 추가하여 울타리를 통해 각 픽셀 라이트의 방출 방향을 제어하여 일부 이미지가 왼쪽 눈으로만 들어가고 일부 이미지는 오른쪽 눈으로만 들어가 두 눈의 시차를 형성하여 입체시각을 만드는 것입니다 (그림 6).
4.2 멀티 뷰 비디오 합성
이 문서에 사용된 노출된 3D 시차 울타리 구조는 복잡하며 울타리를 통해 9 개 관측점의 이미지 내용을 제어하여 9 개 관측점의 이미지를 동일한 모니터에 동시에 표시할 수 있습니다. 관람객은 동시에 이들 중 두 개만 볼 수 있지만 모니터 시야각은 크게 늘어났다. 9 뷰 래스터 울타리 표시를 맞추기 위해 그림 7 과 같이 9 뷰 이미지의 RGB 픽셀을 재정렬해야 합니다. 그림의 숫자는 관측점의 수를 나타냅니다. 9 개의 관측점 이미지의 RGB 값을 그림에 표시된 순서대로 재정렬하면 각 원본 관측점 이미지의 9 배 해상도를 가진 스테레오 이미지를 얻을 수 있으며 다중 관측점 노출된 3D 모니터에서 재생할 수 있습니다. 9 시점 이미지로 구성된 스테레오 이미지는 그림 8 에 나와 있습니다 (스테레오 효과는 9 시점 노출된 그릴 스테레오 디스플레이에서만 볼 수 있음).
결론
심도 그래프를 기반으로 한 멀티 뷰 스테레오 비디오 기술은 현재 3D 스테레오 비디오의 연구 핫스팟입니다. 이 기술은 전용 3D 입체 비디오 안경을 착용할 필요가 없으며 총 데이터 양이 적고 시야각이 큰 장점이 있습니다. 이 문서에서는 깊이 맵 추출, 가상 관측점 합성, 다중 관측점 비디오 합성 등 깊이 맵을 기반으로 하는 다중 시점 노출된 3D 스테레오 비디오 시스템의 몇 가지 주요 기술에 대해 자세히 살펴보고 해당 시뮬레이션 실험을 수행했습니다.
참고
[1] M? Ller, k; 머크, P. 츠웨겐드; 심도도를 사용한 3 차원 영상 표현, IEEE 회의록, 99 권, 4 호, 643-656 페이지, 2065438 년 4 월 +0 1
[2] 은기키-니아, p; 코펠, m; 도슈코프 박사; 라크슈만; 머크, P. K. 뮬러; 츠웨겐드; "깊이 이미지를 기반으로 한 3D 비디오 렌더링 및 고급 텍스처 합성", 멀티미디어, IEEE 회보, 13 권, 3 호, 453-465 페이지, 201/KLOC-
[3] 뮬러, k; 머크, P. "3D 비디오 표준화 과제", 비주얼 커뮤니케이션 및 이미지 처리 (VCIP), 20 1 1 IEEE, 볼륨, 1-4 페이지
[4] Sourimant, g; "다중 뷰 비디오 깊이 맵을 계산하는 간단하고 효과적인 방법", 3d TV-conference: the truevision-capture, transmission and display of 3d video (3d TV-con)
[5] 호프, k; 편안한 시청 조건과 고도의 원격 렌더링을 제공하는 자동 스테레오 디스플레이, 비디오 기술의 회로 및 시스템, IEEE 저널, 10 볼륨, 3 호, 359-365 페이지, 2000 년 4 월
자세한 내용을 보려면 다음 페이지를 클릭하십시오 >>& gt 알몸 3d 기술 논문