가상현실 기술은 20 세기에 발전해 온 참신한 실용 기술이다. 가상 현실 기술에는 컴퓨터, 전자 정보 및 시뮬레이션 기술이 포함되며, 기본적인 구현 방식은 컴퓨터가 가상 환경을 시뮬레이션하여 환경에 몰입감을 주는 것입니다. 사회적 생산성과 과학기술이 지속적으로 발전함에 따라 각 업종의 VR 기술에 대한 수요가 갈수록 커지고 있다. VR 기술도 큰 발전을 이루었고, 점차 새로운 기술 분야가 되었다. 다음은 VR 겨울을 구하기 위한 3D 오디오 기술에 대한 저의 분석입니다. 한번 봅시다.

요즘은 VR 의 겨울이 온다는 말이 자주 있습니다. 최근 좋은 묘사를 보았다: "창업자와 투자자들이 너무 많은 기대와 열정을 담았던 VR 업계는 롤러코스터 같은 한 해를 겪었다." 핵심 기술의 병목 현상이 돌파되기 전에 VR 도 거품이 줄어든 후 이성적으로 생각할 것이다. 3D 오디오는 VR 산업의 핵심 기술 노드로서 오늘 주목할 만하다. 저는 VR 의 겨울을 구하기 위해 3D 오디오 기술에 대한 이성적 분석을 드리고자 합니다.

바이두에서' VR 겨울' 을 검색하면 1, 660,000 개의 결과가 있다.

자본의 얼굴이 바뀌었다: 반년 동안 VR 은 흥청망청 (극객공원, 20 19/07) 으로, 수많은 자본과 창업자들을 끌어들이는 VR 업계가 한겨울 (중국 기업가, 2018/) 에 접어들고 있는 것 같다. 수도 커피가 어떻게 말하는지 들어 봐! "(인터넷 뉴스 2065 438+2006 년 5 월 27 일)" 이불 커버를 조심하세요! VR 은 한겨울을 맞이한다 (소호뉴스 2065 438+05 06 1 1) ...

사람들은 20 15 하반기부터 20 16 초까지의 VR 열풍을 기억합니다. 창업자부터 투자자까지 모든 사람들이 VR 에 대한 무한한 열정과 희망을 가지고 있습니다. 컴퓨터 출신, VR 로 이적한 사람들이 적지 않다. 그들은 바로 이' 뜨거운 흙' 을 보고 대기업에서 나와 VR 업계에 뛰어들었다.

업계에는 높은 품질 기준이 부족하고, 핵심 기술 노드는 아직 돌파하지 못했다. VR 은 치아학어의 아기처럼 아직 초기 단계에 있어 아직 성숙하지 못했다. VR 이 이미 겨울이 된 것이 아니라, 이전의 거품이 합리적으로 압착되고 있다.

여기서' 핵심 기술 노드' 중 하나는 공간 오디오 기술이다. 오늘날 사람들은 그것을 3D 오디오라고 부르는 것을 선호합니다.

유명 VR 제작사 Jaunt 의 수석 오디오 엔지니어인 Adam Summer 가 말했듯이, "(VR 의 경우) 청각은 50%, 시각은 나머지 50% 를 차지한다" 고 말했다.

청각은 공간의 방위, 물거리에 대한 인식 등을 결정한다. 시각은 단서를 제시하고, 청각은 단서가 실제로 존재하는지 확인한다. 시각적인 몰입감이 없다면, 모든 화면의 진실성은 사라질 것이다. 청각 문제를 해결하지 않으면 가상 현실이 가상 현실이 될 수 없다. 말하자면, 3D 오디오는 우리가 중얼거리는 VR 시대가 실제로 도래했는지를 결정한다고 할 수 있다.

먼저 3D 음향을 보급해 보세요.

3D 오디오란 무엇입니까? 간단히 말해서, 3D 오디오는 사운드를 가장 실감나게 시뮬레이션하는 기술로, 관객을 장면과 유사한 음장으로 완전히 복원할 수 있습니다. 비슷한 이름은 파노라마 사운드 체계와 몰입형 오디오도 있습니다. 네가 들을 수 있는 소리는 진실이지 진실이 아니다.

현재 세계에서 가장 성숙한 우주오디오 제작사 중 한 명인 VisiSonics 의 설립자 중 한 명은 "당신이 듣는 소리가 매우 현실적이면 이어폰이 사라진다" 는 말을 했다.

인간의 귀에는 소리를 분석하고 위치시키는 자체 소리 신호 분석 시스템이 있다. 공간의 어느 지점에서든 귀 (고막 앞) 로 전달되는 신호는 필터 시스템으로 설명할 수 있으며, 음원+필터 (전달 함수) 에서 얻은 신호는 소리가 쌍귀막에 도달하기 전의 신호입니다.

우리는 소리가 어떻게 우리의 귀에 도달하는지 신경쓰지 않고, 단지 소리가 우리의 귀에 도달하기 전에 음원과 신호가 다르다는 것을 알기만 하면 된다. 우리의 왼쪽 귀와 오른쪽 귀는 다른 소리를 들었다. 이것은 우리의 진화 때문일 수 있습니다. 시각은 어둠 속에서 위치를 잡을 수 없지만 귀는 좌우 귀의 다른 소리를 통해 위치를 정하고 방어할 수 있다.

이 필터 (전달 함수) 를 HRTF (헤드 관련 전달 함수) 라고 합니다. 공간의 모든 방향에서 쌍귀까지 필터 뱅크가 있는 경우 전체 공간 방향에서 사운드 신호를 복구하는 필터 매트릭스를 얻을 수 있습니다.

HRTF 는 매우 개성이 있다. 모든 사람은 자라면서 자신의 경청에 대한 인식을 형성한다. 그리고 우리 각자의 머리 크기와 귀 간격이 다르고 귀의 윤곽과 나선 모양도 다르다. 그에 더하여, 우리는 자라면서 우리의 독특한 청취 습관을 길러 왔습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성장명언) 여러분이 들은 같은 물체에서 나오는 소리는 사실 약간 다르다고 할 수 있습니다.

사람들이 정말로 듣는 소리를 어떻게 복원합니까? 과학자들의 이에 대한 탐구는 오늘날 결코 신선하지 않다. 거의 한 세기 전 1933, at & amp；; 벨 연구소는 이 기술을 시카고 엑스포로 가져갔다. 이 회사의 성악 연구부는 기계화된 머리를 만들었다. 그들은 이 모조인을' 오스카' 라고 명명했다. 오스카, 귀에 마이크 두 개를 달고 전시실에 앉아 주위의 소리를 줍는다. 오스카는 그가 들은 모든 것을 녹음할 수 있다.

미국 전화 전신 회사. T 벨 연구소에서 제공하는 솔루션을 쌍귀 오디오라고 합니다.

쌍귀 녹음 기술은 인간의 실제 머리 모양, 좌우 귀 거리를 시뮬레이션하여 실제 인간의 청각에 가까운 소리를 녹음할 수 있다. 이것은 물리적으로 HRTF 를 복구하는 효과적인' 멍청한 방법' 이다. 이 길을 따라 독일 마이크 회사인 뉴먼은 쌍귀 녹음 기술에서 1973 부터1992 까지 다양한 돌파구를 마련했다. 더 나은 무선 장비, 가짜 귀의 고막에 마이크를 올려놓는 등.

강력한 산업 수요가 없기 때문에, 쌍귀 녹음 기술은 금세기에 줄곧 발전이 더디다. 이 VR 열풍이 올 때까지 그것은 무대로 돌아가지 않았다. Oculus Rift, Sony Morpheus, Gear 가 가져온 VR 의 보급으로 3D 오디오 기술이' 부흥' 을 맞이하여 VR 오디오라고도 합니다.

3D 오디오 기술의 어려움은 어디에 있습니까?

VR 은 보다 사실적인 몰입감을 만들기 위해 3D 오디오가 필요합니다. Jaunt 수석 오디오 엔지니어인 아담 소머스 (Adam Somers) 는 THE VERGE 와의 인터뷰에서 "몰입감 측면에서 청각은 50%, 시각은 나머지 50% 를 차지한다" 고 묘사했다.

Jaunt 는 미국의 유명한 VR 제작 회사입니다. 지난해 상하이 중국문화산업기금과 디즈니는 6 천 5 백만 달러를 투자했다.

하지만 쌍귀 녹음 기술 자체는 들으면서 고개를 돌리는 것을 지원하지 않는다. 플레이어가 VR 게임을 할 때 뒤에서 소리가 나면 사람의 본능적 반응은 고개를 돌려 뒤를 바라보는 것이다. 이때 소리가 계속 눈앞에 있으면 몰입감이 크게 떨어진다.

실제 음장을 복원하는 또 다른 기술로, 들을 때 고개를 돌리는 것을 지원하지 않습니다. 이 기술을 서라운드 사운드라고 합니다. 서라운드 사운드는 여러 개의 물리적 스피커를 사용하여 360 도 음장을 만들고, 다른 방향의 사운드는 다른 스피커/스피커를 통해 재생됩니다. 이 기술의 가장 유명한 회사는 DTS 와 돌비입니다.

예를 들어 서라운드 영화관은 관객 주위에 많은 스피커를 배치합니다. 화면 왼쪽에서 폭발이 발생하면 왼쪽 스피커에서 소리가 나고 오른쪽에서는 소리가 나지 않습니다. 플레이어의 위치가 고정되어 있기 때문에 관객은 하나의 고정 지점에서만 가장 사실적인 음장을 들을 수 있습니다.

이 문제를 어떻게 해결합니까? 계산이 이미 우선 순위가 되었다.

쌍귀 녹음 기술로 사운드를 얻은 후 HRTF 를 복원한 다음 모든 방향의 HRTF 를 계산하여 머리와 위치가 이동함에 따라 자연스럽게 변하는 공간 오디오 세트를 합성합니다.

이 세 부분 중-방송과 녹음; 처리, 렌더링 (처리); 재생-가장 강력한 기술 장벽은 계산 링크에 있습니다.

핵심 알고리즘은 각 공간 음향 회사의 능력 지수를 테스트하는 것이다. 두 개의 큰 귀를 가진 회사 구호는 모든 것을 설명한다. "우리는 수학을 한다. 그래서 너는 집중할 수 있다." 우리는 수학을 하고, 여러분은 멋진 일을 합니다. ) 이 아일랜드 회사는 현재 우주 오디오 기술 분야에서 선두를 달리고 있다.

어떤 팀은 몇 가지 어리석은 방법으로 계산량을 줄인다. 예를 들어, 3dio 는 가능한 모든 방향의 HRTF 를 동시에 기록할 수 있는 무선 장치를 만들었습니다.

일반적으로 회사의 3D 오디오 코어 알고리즘의 기술 수준은 세 가지 지표로 판단할 수 있습니다.

1, 로컬라이제이션: 사운드의 로컬라이제이션을 나타냅니다. 서라운드 사운드는 360 도 사운드 평면에 좋은 시뮬레이션 효과를 주지만 상하 360 도 시뮬레이션에는 어려움이 있습니다. VR 음향의 난점은 상하 360 도 사운드 시뮬레이션에 있다. 위아래로 실감나게 할 수 있다면, 기술이 더욱 진보한다.

2. 전파: 소리는 폐쇄된 공간에서 한 번만 전파되는 것이 아니라 무수한 반등이 있어서 메아리로 이해할 수 있다. 전파는 사용자가 실제로 실제 공간에 있다고 느낄 수 있는지 여부를 설명하는 데 사용됩니다. 사실감이 강할수록 좋습니다.

3. 차단: 소리가 전파되는 과정에서 중간에 장애물이 있다면, 이 장애물은 소리의 전파에 영향을 미칩니다. VR 오디오 기술이 장애물이 사운드에 미치는 영향을 잘 시뮬레이션할 수 있다면 좋은 VR 오디오를 만드는 것입니다.

위의 세 가지를 제외하고, 공간 오디오의 가장 선진적인 해결책은 Ambisonic 기술이다. 그래서 Ambisonic 을 할 수 있는지 여부도 한 회사의 기술 수준을 판단하는 지표다.

Ambisonic 도 음장 시뮬레이션 방법이지만 팀의 물리, 수학, 컴퓨터의 종합 능력을 시험한다. 공간에서 소리를 받는 위치를 팽창한 풍선으로 생각하면 공간 곳곳의 음파가 풍선 표면에 작용한다.

이 간단한 이치를 이용하여 Ambisonic 은 공간에 스피커 한 무더기를 넣어 실제 상황에서 이 풍선에 대한 음파의 역할을 시뮬레이션한 다음 HRTF 복원을 계산합니다.

Ambisonic 을 통해 얻은 오디오 데이터는 가장 포괄적인 데이터이며 다른 오디오 형식으로 퇴화할 수 있습니다. 예를 들어, 이미지의 Ambisonic 이 jpg 인 경우 돌비 7.0, 돌비 5. 1 등의 오디오 형식은 픽셀과 같습니다.

3D 오디오 기술의 업계 지위를 어떻게 평가합니까?

3D 오디오 기술은 반드시 모든 응용 프로그램 장면을 바꿀 것이다. 전체 공간 오디오 업계에는 두 가지 기회가 있습니다.

첫 번째 기회는 오디오 엔진을 만드는 것입니다. 핵심은 HRTF 함수, 전파 등의 기술, 즉 게임에서 가능한 한 사실적으로 스테레오를 복원하는 방법입니다. 현재 비교적 쉬운 방법은 VR 게임에 서로 다른 가상 스피커를 넣어 Oculus Audio SDK (HRTF 구현 등 효과, 반사 등) 를 맞추는 것이다. ) 을 사용하여 공간 오디오를 구현합니다.

간단하지 않은 여러 가지 방법이 있으며, 팀의 강력한 컴퓨팅 능력이 필요하다. 두 개의 큰 귀, 20 13 가 에든버러에 설립되어 그 중의 선두주자이다. 그들이 만든 플러그인은 현재 업계 최고의 플러그인 중 하나일 것이다.

두 번째 기회는 실제 생활에서 3D 오디오를 적용하는 것입니다. 즉, 전체 동작 비디오와 함께 VR 오디오를 멀티 앵글으로 녹음하는 방법입니다. 이렇게 하면 사용자가 전체 동작 비디오를 보면서 고개를 돌리면 소리가 동적으로 조정됩니다. 응용 시나리오의 경우 3D 오디오 기술은 가상 음악회에 특히 중요합니다.

현재의 글로벌 시장을 고려해 볼 때, 자신의 기술적 난이도로 인해 3D 오디오에 완벽한 솔루션을 제공하는 회사나 팀은 없습니다. 거물급 음향회사 DTS 가 만든 기술은 가깝지만 최종 버전은 공개되지 않아 가격이 매우 높을 가능성이 높다.

가장 주목받는 7 개의 3D 오디오 기술 팀

1, 시각 효과

VisiSonic 은 미국 메릴랜드 대학 연구소에서 20 15 및 10 으로 Oculus 와 협력하는 팀을 시작했습니다. Oculus 는 Oculus Audio SDK 를 위해 RealSpace3D 라는 기술을 구입했습니다. 그들은 3D 오디오와 비디오를 동시에 기록하는 장치를 설계했습니다. 이 장치는 64 개의 마이크가 있는 원통형과 상단 구형 장치로 구성되어 있습니다. 하드웨어 수준, 최고의 기술, 세계 선두 유지.

두 개의 큰 귀

스코틀랜드 에든버러 팀은 최근 페이스북에 인수되었다. 그들의 핵심 기술은 3Dception 이라는 3D 오디오 엔진을 만드는 것이다. 플러그인 수준에서 볼 때, 이 팀은 현재 세계에서 가장 좋은 팀이다. 페이스북에 인수되기 전에 이 팀은 HTCVive 오디오의 계산과 렌더링에 사용되었다고 합니다.

3, 3 소리

이 회사는 현재 시장에서 우주 오디오 라디오 기록 분야의 최고의 회사이다. 그들은 8 귀 라디오 한 대를 생산했다.

4, 번영 오디오

이 회사는 Tilt Brush 와 함께 구글에 인수되어 구글 VR 전략 레이아웃의 일부이다. 그 팀은 아일랜드 더블린 삼일학원에서 왔다. 그들은 이미 두 개의 특허를 신청했다고 주장했다.

5, MintMuse

이전에 미국 샌디에고에서 최근 상하이의 한 팀으로 이사했다. 크리에이티브 팀은 고통에서 왔다. 이들은 주로 렌더링 품질, 알고리즘 최적화, 지연 등을 중심으로 공간 오디오 후작, 코딩, 소프트웨어 플러그인 도구를 디자인하며 현재는 하드웨어 제작에 관여하지 않습니다. 이 그룹은 녹음 문제를 해결하기 위한 것이다. 이들은 전문 VR 파노라마 사운드 소프트웨어를 개발하고 있어 조율사가 파노라마를 편집하는 동안 완제품 효과를 실시간으로 모니터링하고 전체 워크플로우를 단순화할 수 있습니다.

6, 파도

이것은 이스라엘에 위치한 우주 오디오 기술 회사입니다. 예전에는 플러그인, 음향과 같은 전문 녹음실 도구였다. 아비로와 같은 많은 유명한 스튜디오의 파트너입니다.

7, 펄스

미국 노스캐롤라이나 대학교 컴퓨터과는 한 팀을 부화시켰다. 주로 VR 게임과 앱을 위한 3D 오디오를 개발하는데, 제품 이름은 Phonon 입니다. 20 12 에 설립되었습니다. 창업자 anish Chandak 박사는 처음에는 "게임 디자이너와 개발자가 고품질의 공간 오디오를 더 쉽게 만들 수 있도록 도와준다" 고 말했다. 대부분의 수입은 포논의 허가 수입에서 나온다. 그들은 작년에 미국 국립과학재단 (National Science Foundation) 의 투자를 받았고, 이 연구는 일부 정부 프로젝트에도 적용되었다.

VR 게임을 하는 대부분의 스튜디오들은 아직 3D 오디오 기술을 대규모로 사용하기 시작하지 않았다. 주된 이유는' 가난' 이다. "겨울" 이 온 이상 더욱 가난해졌다. 사실, 좋은 내용이 없는 게임 스튜디오들은 여전히 서라운드 사운드 기술을 사용합니다. 극객 스타일의 스튜디오만이 일부 공간 오디오 기술을 적용하기 시작했다. 3D 오디오 기술은 여전히 최첨단 물건이다.

그러나 3D 오디오는 VR 업계 전반에 걸쳐 기본적인 기술 분야입니다.

핵심 기술이 있어야 응용 수준의 다음 돌파구를 기다릴 수 있다. DJI (DJI 드론이 그 예입니다. DJI 의 크리에이티브 팀은 드론이 비즈니스 모델이 되기 전부터 비행 제어의 기술적 지점에서 장기적인 연구와 노력을 기울여 왔습니다.

VR 을 사용자당 하루 동안 사용할 가치가 있다면 기술의 모든 측면에서' 몰입 경험' 을 할 수 있을 만큼 성숙했을 것입니다.

VR 을 저장하려면 먼저 3D 오디오로 시작합니다.

아카이브: 가상 현실 소개

가상현실이란 이름에서 알 수 있듯이 가상과 현실의 결합이다. 이론적으로 가상 현실 기술 (VR) 은 가상 세계를 만들고 체험할 수 있는 컴퓨터 시뮬레이션 시스템입니다. 컴퓨터를 사용하여 시뮬레이션 환경을 만들어 사용자가 환경에 몰입할 수 있도록 합니다. 가상 현실 기술은 실생활의 데이터, 컴퓨터 기술로 생성된 전자 신호를 다양한 출력 장치와 결합하여 사람들이 느낄 수 있는 현상으로 만드는 것이다. 이러한 현상은 현실의 실물일 수도 있고, 우리가 육안으로 볼 수 없는 물질일 수도 있고, 3 차원 모형을 통해 표현될 수도 있다. 이러한 현상은 우리가 직접 볼 수 있는 것이 아니라 컴퓨터 기술로 시뮬레이션한 현실 세계이기 때문에 가상 현실이라고 합니다.

가상현실 기술은 점점 더 많은 사람들이 인정하고 있으며, 사용자는 가상현실 세계에서 가장 진실한 느낌을 경험할 수 있다. 시뮬레이션 환경의 진실성과 현실 세계를 구별하기 어려워 몰입감 있는 느낌을 준다. 한편, 가상 현실은 청각, 시각, 촉각, 미각, 후각 등 인간의 모든 인식 기능을 가지고 있습니다. 마지막으로, 그것은 슈퍼 시뮬레이션 시스템을 가지고 있으며, 실제로 인간-컴퓨터 상호 작용을 실현하여, 사람들이 마음대로 조작할 수 있게 하고, 조작 과정에서 환경에 대한 가장 진실한 피드백을 얻을 수 있게 한다. 바로 가상현실 기술의 존재성, 다중인식성, 상호 작용 등의 특징이 많은 사람들의 사랑을 받고 있다.

을 눌러 섹션을 인쇄할 수도 있습니다