1, 20 14 1 10, Magic Leap 은 20 14 년 9 월에 모집했습니다 Magic Leap 인식 연구 수석 부사장인 게리 브래드스키 (Gary Bradski) 와 컴퓨팅 비주얼 기술 이사인 Jean-Yves Bouguet 이 각각 당시 연설을 했다. 게리는 컴퓨터 비전 분야의 리더이다. 그는 Willow Garage 에서 OpenCV (컴퓨팅 비주얼 도구 라이브러리) 를 만들었고 스탠포드 대학의 컨설턴트 교수이기도 하다. Jean-Yves 는 구글에서 구글 스트리트 경차 제조를 담당했던 전산 시각 기술의 큰 소였다. 그들이 Magic Leap 에 가입하는 것은 매우 충격적이다. 내가 이 정보회의에 참석했을 때 게리는 감지 섹션에서 Magic Leap 의 기술을 소개하고 전설적인 디지털 라이트 필드 영화 현실의 원리를 간략하게 소개하고 녹화를 허용하는 부분에서 사진을 찍었다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), Northern Exposure (미국 TV 드라마), 예술명언) 이 글의 건화물 대부분은 이 강연에서 나온 것이다.

2. 올해 초, 저는 스탠포드 컴퓨팅 사진과 디지털 라이트 필드 디스플레이 교수인 Gordon Wetzstein 의 수업을 들었습니다. EE 367 컴퓨팅 이미징 및 디스플레이: 조명 4 주, 착용 가능한 디스플레이 및 디스플레이 블록 (라이트 필드 디스플레이) 모두 Magic Leap 의 원리에 대해 이야기했습니다. 이제이 코스 웹 사이트에서도 이러한 자료를 볼 수 있습니다. ee 367/cs 448 I: 컴퓨팅 이미징 및 디스플레이.

그건 그렇고, 고 든의 스탠포드 컴퓨팅 그래픽 그룹을 소개 합니다. Marc Levoy (나중에 구글 안경을 만드는 다니엘 교수) 는 광장 연구에 전념해 왔다. Marc Levoy 에서 라이트 필드 카메라를 제안한 후 학생 Ren Ng 이 Lytro 를 창설한 후 라이트 필드 디스플레이 (알몸 3D 모니터) 제조에 이르기까지 이 그룹은 라이트 필드 연구 분야에서 세계 선두주자로 자리매김해 왔다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 과학명언) Magic Leap 은 라이트 필드 표시에 가장 큰 응용 프로그램이 될 수 있습니다. (관련 내용은 전산 이미징 연구 개요를 참조하십시오.)

3. 올해 라이트 필드 이미징 워크샵, 라이트 필드 이미징 기술 세미나에 참가했습니다. 현장에는 많은 라이트 필드 기술의 전시가 있었고, 나는 많은 라이트 필드 디스플레이 기술인 황소와 Magic Leap 에 대한 견해를 교환했다. 특히 Demo, Magic Leap 에 가까운 라이트 필드 기술, Nvidia Douglas Lanman 의 근거리 필드 디스플레이를 경험했습니다. (관련 내용은 가까운 안목장 모니터를 참고하세요. ) 을 참조하십시오

4. 올해 중반에 저는 마이크로소프트연구원 레드몬드를 방문했습니다. 이 연구소의 수석 연구원인 Richard Szeliski 가 Hololens 를 시도해 보라고 했습니다. Hololens 의 비길 데 없는 위치 인식 기술을 느꼈다. 기밀 유지 계약이 있어 이 문서에서는 세부 사항을 제공하지 않고 Magic Leap 과의 원칙적인 비교만 제공합니다.

다음은 건화물입니다.

우선 Magic Leap, Hololens 등 ar 안경에 대한 코프는 현실과 현실 세계에 존재하지 않는 물체의 이미지를 보여 주고 상호 작용하는 것이다. 기술적으로 말하자면, 간단히 두 부분으로 간주할 수 있습니다.

인식); 현실 세계의 일부.

헤드 모니터가 가상 디스플레이를 보여줍니다.

Magic Leap 의 관련 기술을 인식 부분과 디스플레이 부분에서 각각 설명하겠습니다.

먼저, 섹션을 표시합니다

먼저 이 질문에 간단히 대답하세요.

Q 1 입니다. HoloLens 와 Magic Leap 의 차이점은 무엇입니까? 마술 비약의 본질 원리는 무엇입니까?

인식 부분, Hololens 와 Magic Leap 은 기술적 방향에 큰 차이가 없는 공간 인식 위치 지정 기술입니다. 이 기사의 뒷부분에서 중점적으로 소개하겠습니다. Magic Leap 과 Hololens 의 가장 큰 차이점은 표시 섹션에서 나온 것이어야 합니다. Magic Leap 은 광섬유를 사용하여 전체 디지털 라이트 필드를 망막에 직접 투사하여 영화 현실이라고 합니다. Hololens 는 반투명 유리를 사용하며, 측면의 DLP 투영은 가상 물체가 항상 진짜임을 보여줍니다. 시중에 나와 있는 Espon 의 안경 모니터나 구글 글래스와 비슷합니다. 2 차원 디스플레이입니다. 40 도 정도의 작은 시야각으로 몰입감이 할인됩니다.

본질적 물리 원리는 자유 공간에서의 빛의 전파가 4 차원 광장으로 유일하게 표현될 수 있다는 것이다. 이미징 평면의 각 픽셀에는 해당 픽셀의 모든 방향에 대한 광원 정보가 포함되어 있습니다. 이미징 평면의 경우 방향은 2 차원이므로 라이트 필드는 4 차원입니다. 일반적으로 이미징 프로세스는 4 차원 라이트 필드의 2 차원 적분일 뿐 (각 픽셀의 모든 방향에 대한 정보가 픽셀 위에 겹쳐져 있음), 기존 모니터는 이 2 차원 이미지를 보여 주며 다른 2 차원 정보의 손실이 있습니다. Magic Leap 은 전체 4 차원 광장을 망막에 직접 투사하기 때문에 사람들이 Magic Leap 을 통해 보는 물체와 실제 물체는 수학적 차이가 없고 정보 손실이 없다. 이론적으로 Magic Leap 의 장비로는 가상 물체와 실제 물체를 구분할 수 없다.

Magic Leap 과 기타 기술을 사용하는 장치의 가장 큰 차이점은 사람의 눈이 직접 초점 (활성 선택 초점) 을 선택할 수 있다는 것입니다. 예를 들어, 나는 가까운 물체를 보고 싶다. 가까운 물체는 진실이고, 먼 곳의 물체는 텅 비어 있다. 참고: 투사된 라이트 필드가 모든 정보를 복원하기 때문에 실제 물체처럼 사람의 눈이 진짜인 것을 직접 볼 수 있습니다. 예를 들어, 아래 gif 그림과 같이 약 27 초의 가상 태양계 비디오에서 카메라가 초점이 맞지 않고 다시 정렬됩니다. 이 과정은 카메라에서만 발생하며 Magic Leap 의 장치와는 무관하다. 다른 말로 하자면, 가상물체는 거기에 있는데, 너는 관찰자 자신의 일이라고 어떻게 생각하느냐. 이것이 Magic Leap 의 경외심을 불러일으키는 곳이기 때문에 Magic Leap 은 자신의 효과를 영화 현실이라고 부른다.

Q2. 능동적인 선택적 초점의 장점은 무엇입니까? 전통적인 가상 디스플레이 기술에서 왜 현기증이 나나요? Magic Leap 은 어떻게 이 문제를 해결했습니까?

인간의 눈 인식 깊이는 주로 두 눈과 관찰된 물체 사이의 삼각 측량 단서를 통해 관찰된 물체와 관찰자 사이의 거리를 감지하는 것으로 알려져 있다. 그러나 삼각 측량은 인간의 지각 깊이에 대한 유일한 단서가 아니며, 인간의 뇌는 깊이 감지의 또 다른 중요한 단서, 즉 인간의 눈 초점으로 인한 선명도나 초점 단서를 통합합니다. Oculus Rift 나 Hololens 와 같은 기존의 쌍안 가상 디스플레이 기술의 물체는 가상이나 실제가 아닙니다. 예를 들어, 다음 그림에서 먼 성을 볼 때, 근처의 가상 고양이는 비어 있어야 하지만, 전통적인 디스플레이 기술에서 고양이는 여전히 진짜이기 때문에, 당신의 뇌는 혼란스러울 것이며, 고양이는 먼 곳의 매우 큰 물체라고 생각할 것이다. (알버트 아인슈타인, Northern Exposure (미국 TV 드라마), 예술명언) 그러나 이것은 당신의 쌍안 포지셔닝의 결과와 일치하지 않습니다. 수백만 년의 진화 끝에 뇌 프로그램은 고양이가 근처에 있다고 생각하고, 한편으로는 고양이가 먼 곳에 있다고 생각한다. 이리저리 왔다갔다하면 뇌를 태울 수 있기 때문에 구토를 할 수 있다. Magic Leap 은 전체 라이트 필드를 투사하므로 능동적으로 초점을 맞출 수 있습니다. 이 가상의 고양이는 바로 근처에 두고, 네가 그것을 보면 진실이다. 성을 볼 때는 가상이다. 실제 상황과 마찬가지로 어지럽지 않다. 강연에서 게리는 장이브 (Jean-Yves) 를 놀렸고, Oculus 로 10 분 복용하면 구토를 하는 한 남자가, 지금은 하루 매직 Leap 으로 16 시간 복용해도 기절하지 않는다.

보충: 어떤 사람들은 왜 온라인 가상 현실이 프레임 속도가 부족해서 현기증이 나는지 묻습니다.

프레임 속도와 지연은 현재의 주요 문제이지만, 큰 문제도 아니고 현기증을 일으키는 결정적인 요소도 아니다. 이러한 문제는 더 빠른 비디오 카드, 좋은 IMU 와 좋은 화면, 머리 모션 예측 알고리즘으로 잘 해결될 수 있다. 우리는 본질적인 현기증 문제에 관심을 가져야 한다.

이것이 가상현실과 증강 현실의 차이다.

가상현실에서 사용자는 현실 세계를 볼 수 없고, 어지러움은 종종 내이 반고리관이 느끼는 운동이 시각이 보는 운동과 일치하지 않기 때문이다. 그래서 가상현실 게임은 멀미 구토를 자주 합니다. 이 문제에 대한 해결책은 단일 장치로 해결할 수 있는 것이 아니다. 만약 사용자가 정말 가만히 앉아 있다면, 만약 영상이 고속으로 움직이고 있다면, 어떤 장치로 내이 반고리관을 속일 수 있습니까? Omni VR 이나 HTC Vive 와 같은 추적된 VR 시스템과 같은 시중에 나와 있는 일부 솔루션은 이러한 불일치의 문제를 해결하기 위해 걸을 수 있도록 하는 것이지만, 이러한 시스템은 장소의 제한을 받는다. 그러나 VOID 의 응용 프로그램은 VR 의 한계를 잘 활용합니다. 뛰지 않아도 되지만 작은 공간으로 큰 장면을 만들 수 있어 큰 장면 속에 있다고 느낄 수 있다. (윌리엄 셰익스피어, 햄릿, 점프명언) 현재 대부분의 가상현실 체험이나 파노라마 영화는 상대적으로 느린 속도로 시야각을 움직입니다. 그렇지 않으면 침을 뱉을 것입니다.

하지만 Magic Leap 은 AR 증강 현실이다. 현실 세계를 볼 수 있기 때문에 내이 반고리관 인식 불일치 문제가 없다. AR 의 주요 과제는 투영 물체와 실제 물체 사이의 선명도 변화 문제를 해결하는 것입니다. 그래서 Magic Leap 이 제시한 해결책은 이 문제를 잘 해결했다. 그러나 모두 이론적이며, 실제 엔지니어링 능력은 시간에 의해 증명될 것이다.

Q3. 왜 헤드 모니터가 있습니까? 왜 벌거벗은 홀로그래피가 안 되나요? Magic Leap 은 어떻게 구현됩니까?

수백 년 동안 인류는 허공에서 가상 물체를 보는 것을 고려하고 있다. 각종 공상 과학 영화에도 공기 중의 홀로그램이 많다.

그러나 실제로 본질에 대해 생각하는 것은 물리적으로 어렵습니다. 순수한 공기에는 빛을 반사하거나 굴절시킬 수 있는 매체가 없습니다. 전시에서 가장 중요한 것은 매체입니다. Magic Leap 은 안경이 필요 없다는 위챗 소문이 많다. 나는 번역 실수로 인한 것 같다. 매직 립 테크 (Magic Leap Tech) 를 통해 직접 촬영합니다. 영상에 쓰여졌는데, 많은 문장 들이' 직시' 나' 벌거벗은 눈 홀로그램' 으로 잘못 번역되었다. 실제로 이 동영상은 Magic Leap 의 기술을 통해 카메라에 의해 촬영됐다.

현재 홀로그램은 기본적으로 홀로필름 시대 (아래 그림, 내가 광장 세미나에서 본 홀로필름 소불상) 또는 초음 초음 콘서트용 프로젝션 어레이로 특수 유리에 만든 모조 홀로그래피 (특정 각도의 영상만 표시하고 다른 각도의 빛은 무시) 에 머물러 있다.

Magic Leap 이 달성하고자 하는 것은 전 세계를 당신의 책상으로 바꾸는 비전입니다. 따라서 초음의 미래처럼 3D 홀로그램 투명 화면을 미디어로 만들거나 전 세계에 홀로그램을 만드는 대신, 사람의 눈으로 직접 시작하여 전체 라이트 필드를 우리 앞에 직접 두는 것이 더 쉽습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 예술명언) 사실 영위달도 이런 광장 안경을 만들고 있어요.

영위다가 채택한 방법은 2 차원 모니터 앞에 마이크로렌즈 배열을 넣어 4 차원 광장을 만드는 것이다. 2 차원 픽셀을 4 차원 픽셀에 매핑하는 것과 같습니다. 자연 해상도가 높지 않기 때문에 이 라이트 필드 모니터나 카메라 (Lytro) 의 해상도도 높지 않습니다. 내가 직접 테스트한 결과, 효과는 기본적으로 모자이크 화풍의 도안을 보는 것이다.

Magic Leap 은 광섬유 투영을 사용하는 완전히 다른 방법으로 라이트 필드를 표시합니다. 그러나 Magic Leap 이 사용하는 광섬유 투사 방식은 새로운 것이 아니다. 워싱턴 대학 출신의 에릭 시벨 교수인 Magic Leap 에서 광섬유 프로젝터를 맡고 있는 Brian Schowengerdt 는 초고해상도 광섬유 내시경 업무에 8 년 종사하다. 간단한 원리는 광섬유 빔이 1mm 지름의 파이프에서 고속으로 회전하고 회전 방향을 바꾼 다음 광범위한 스캔을 수행할 수 있다는 것입니다. Magic Leap 창업자의 영리함은 이러한 고해상도 광섬유 스캐너를 찾았다는 것입니다. 빛의 가역성으로 인해 고해상도 프로젝터를 거꾸로 만들 수 있다. 6 년 전 논문에서 1mm 너비 9mm 길이의 광섬유는 몇 인치의 HD 나비 이미지를 투사할 수 있다. 현재의 기술 추정은 이미 그 때를 넘어섰다.

그러나 이러한 광섬유 고해상도 프로젝터는 라이트 필드를 복원할 수 없으며, 4 차원 라이트 필드를 생성하려면 광섬유의 반대쪽 끝에 마이크로렌즈 배열을 배치해야 합니다. 이것이 영위다와 같은 방법인지 궁금하실 겁니다. 아닙니다. 광섬유 빔이 스캔되어 회전하기 때문에 이 마이크로렌즈 어레이는 매우 촘촘할 필요가 없습니다. 스캔 영역을 표시하면 됩니다. 타임라인에 많은 양의 데이터를 분산하는 것과 같습니다. 이는 통신의 시분과 같습니다. 사람의 눈은 100 프레임의 변화를 구분하기 어렵기 때문입니다. 스캔 프레임 속도가 충분히 높을 한, 사람의 눈은 모니터가 회전하고 있는지 분간할 수 없다. 따라서 Magic Leap 의 장치는 작고 해상도가 높을 수 있습니다.

그는 직접 스탠퍼드 대학에 와서 스캔광으로 대용량 3D 모니터를 전시하는 강연을 했다. 이것은 Magic Leap 의 초기 원형이어야 한다. (관련 내용은 광섬유 스캔 모니터를 참조하십시오. ) 을 참조하십시오

둘째, 지각 부분

Q4. 첫째, 증강 현실이 지각 부분을 갖는 이유는 무엇입니까?

모니터에서 가상 물체를 올바른 위치에 배치하려면 실제 위치 (위치) 와 실제 3D 구조 (지도 제작) 를 알아야 하기 때문입니다. 최근 Magic Leap 데모 비디오를 예로 들어 보겠습니다. 예를 들어, 테이블 위에 가상 태양열 시스템이 있는데, 착용자의 머리가 움직일 때 태양열 시스템은 제자리에 머물러 있습니다. 이를 위해서는 장치가 실시간으로 관찰자 시야각의 정확한 위치와 방향을 알고 있어야 이미지가 표시되어야 하는 위치를 계산할 수 있습니다. 또한 책상 위에 햇빛이 반사되는 것을 볼 수 있습니다. 이를 위해서는 장치가 테이블의 3 차원 구조와 표면 정보를 알고 있어야 합니다. 따라서 테이블 이미지 레이어에 겹쳐진 이미지를 정확하게 투사할 수 있습니다. 어려움은 실시간으로 전체 인식 부분을 계산하는 방법으로 장비 착용자가 지연을 느끼지 못하게 하는 것이다. 포지셔닝이 지연되면 착용자는 현기증을 느낄 수 있고, 가상 물체가 화면에서 떠다니는 것은 가짜로 보일 수 있다. Magic Leap 이 주장하는 소위 영화화의 진실은 무의미하다.

3 차원 감지 부분은 신선하지 않다. 컴퓨터 비전이나 로봇학에서 슬램 (동기 위치 및 지도 그리기) 을 한 지 30 년이 되었다. 다양한 센서 (라이더, 광학 카메라, 깊이 카메라, 관성 센서) 의 융합을 통해 장치는 3D 공간에서 정확한 위치를 얻을 수 있으며 주변 3D 공간을 실시간으로 재구성할 수 있습니다.

슬램 기술은 최근 특히 인기가 있습니다. 최근 2 년과 올해 모두 거물과 벤처 인수와 배치가 공간 위치 탐지 기술이 많은 회사가 있다. 무인차, 가상현실, 드론 등 가장 강력한 세 가지 기술 트렌드가 공간 포지셔닝과 불가분의 관계에 있기 때문이다. 슬람은 이 위대한 공사를 완성하는 기초이다. 저도 슬램 기술을 배워서 접촉이 많아요. 여러분이 이 분야를 쉽게 이해할 수 있도록 최근 그랜드슬램 업계의 큰 사건과 인물들을 열거해 보겠습니다.

스탠포드 대학의 로봇 교수인 바스티안 테론은 현대 SLAM 기술의 선구자이다. DARPA 챌린지 대회에서 승리한 후, 그는 구글에 가서 무인 자동차를 만들었다. 슬램 학술권의 대부분의 연구파는 세바스티안의 제자이자 손대이다.

2. (무인차) 우버는 올해 CMU 카네기멜론 대학의 NREC (National Robot Engineering R&D 센터) 를 취득하고 ATC (선진기술 R&D 센터) 를 공동 설립했다. 탐사 로봇 위치 추적 기술에 종사했던 이 연구원들은 모두 우보 공관국에 가서 무인차를 만들었다.

3. (가상현실) 초현실시각은 최근 Oculus Rift 에 인수됐고, 설립자 Richard Newcombe 는 유명 DTAM Kinect fusion(HoloLens 의 holo lens 핵심 기술) 의 발명가이다. Oculus Rift 도 지난해 13th Labs (실제로 휴대전화에 SLAM 을 가지고 있는 회사) 를 인수했다.

4. (가상현실) 구글 프로젝트 탱고는 올해 세계 최초의 슬램 기능을 갖춘 상용 태블릿을 발표했다. 애플은 지난 5 월 Metaio SLAM 를 인수했고, Metaio AR 의 슬럼은 이미 AR 의 앱에서 오랫동안 사용되었다. 인텔은 SLAM 을 시연할 수 있는 심도카메라 Real Sense 를 발표하고 CES 에 드론의 자동장애 기능과 자동순찰 기능을 선보였다.

5. (드론) 스카이디오, 구글 엑스프로ject 위닝UAV 창업자 니콜라스 로이의 학생인 아담 브리 (Adam Bry) 가 설립해 A 16z 의 투자를 받아 2000 을 평가했다 (관련 내용: http://www.cc.gatech.edu/~ 델라레트/프랭크 드라레트/프랭크 _ 드라레트/프랭크 _ dellaert.html)

SLAM 은 기본 기술로, 사실 세계에서 슬램 또는 센서 융합을 잘하는 사람은 100 을 넘지 않을 수 있으며, 대부분 알고 있습니다. 이렇게 많은 회사들이 이렇게 많은 사람을 강탈하니, 경쟁이 치열하다는 것은 상상할 수 있다. 그래서 Magic Leap 은 창업회사로서 대량의 자본을 통합해야 대기업과 인재 자원을 쟁탈할 수 있다.

Q5. Magic Leap 의 감성 부분은 어떤 기술인가요?

이 사진은 Magic Leap Stanford 박람회에서 Gary 교수가 Magic Leap 인식 부분에 있는 기술 구조와 노선입니다. 교정을 중심으로 네 가지 다른 컴퓨터 시각 기술 스택이 개발되었다는 것을 알 수 있다.

1. 사진에서 전체 Magic Leap 감지 섹션의 핵심 단계는 교정 (이미지 또는 센서 교정) 입니다. Magic Leap 또는 Hololens 와 같은 활성 위치 지정 장치에는 다양한 카메라와 센서가 있고, 카메라 매개변수와 카메라 간의 관계 매개변수 교정은 모든 작업을 시작하는 첫 번째 단계입니다. 이 단계 카메라와 센서 매개변수가 정확하지 않으면 뒤의 위치는 허튼소리이다. 컴퓨터 시각 기술에 종사한 사람들은 전통적인 교정 부분에 많은 시간이 소요되고, 카메라로 바둑판을 찍고, 반복적으로 데이터를 수집하여 교정해야 한다는 것을 알고 있다. 그러나 Magic Leap 의 Gary 는 새로운 교정 방법을 발명했고, 특이한 모양의 구조를 교정기로 직접 사용했으며, 카메라는 한 번에 교정을 완료하여 속도가 매우 빠르다. 이 장면은 사진을 찍을 수 없다.

2. 교정 부분이 있으면 가장 중요한 3 차원 인식 위치 지정 부분 (왼쪽 아래 모서리의 기술 스택) 이 시작되어 4 단계로 나뉩니다.

2. 1 첫 번째는 평면 표면 추적입니다. 가상 태양계의 시연에서 볼 수 있듯이, 가상 태양은 테이블 위에 빛을 반사하는데, 이 반사는 장비 착용자가 움직이면 위치를 바꿀 수 있다. 마치 태양이 실제로 공중에 걸려 빛을 발하는 것처럼 테이블 표면에 반사된다. (알버트 아인슈타인, Northern Exposure (미국 TV 드라마), 과학명언) 이를 위해서는 테이블 표면이 어디에 있는지 실시간으로 알고 가상 태양과 평면 사이의 관계를 계산하여 태양 반사의 위치를 계산하고 장비 착용자 안경의 해당 좌석에 중첩해야 합니다. 깊이 정보가 정확합니다. 어려움은 평면의 실시간 탐지와 지정된 평면 위치의 부드러움에 있습니다. 그렇지 않으면 반사가 점프합니다. 데모에서 우리는 Magic Leap 이 이 단계에서 잘 하고 있다는 것을 알 수 있다.

2.2 그런 다음 스파 스 슬램 (스파 스 슬램); 게리는 Info Session 에서 실시간 3D 재구성 및 위치 알고리즘을 선보였습니다. 알고리즘의 실시간 성능을 위해 먼저 고속 스파스 또는 반스파스 3D 위치 알고리즘을 구현했습니다. 효과로 볼 때, 현재의 오픈 소스 LSD 알고리즘과 크게 다르지 않다.

2.3 다음은 센서입니다. 시각과 IMU (시각 및 관성 센서의 융합).

미사일은 일반적으로 순관성 센서를 사용하여 능동적으로 위치를 지정하지만, 민간급 저정밀도 관성 센서에는 같은 방법을 사용할 수 없으며, 2 차 통합 후에는 반드시 표류할 것이다. 그러나 시각적 부분 처리 속도가 높지 않아 쉽게 가려지고 위치 노봉이 높지 않다. 시각과 관성 센서를 통합하는 것은 최근 몇 년 동안 매우 유행하는 방법이다.

예를 들면 다음과 같습니다.

구글 탱고 (Google Tango) 는 IMU 와 심도카메라의 통합으로 매우 좋습니다. DJI 의 드론 Phantom 3 또는 Inspire 1 광학 단안 카메라와 드론의 관성 센서를 결합하면 GPS 없이 매우 놀라운 안정적 호버링을 얻을 수 있습니다. Hololens 는 SLAM 에서 잘 했다고 할 수 있습니다. SLAM 을 만들기 위해 칩을 맞춤형으로 제작했습니다. 알고리즘은 KinectFusion 의 핵심 일맥과 맞물려 개인 테스트를 통해 위치 지정 효과가 매우 좋다고 한다. (하얗고 특색이 없는 벽에 직면하여 나는 서서 점프할 수 있지만, 현장 중앙으로 돌아온 후에도 위치 지정은 여전히 정확하고 전혀 표류하지 않는다. ) 을 참조하십시오

2.4 마지막으로 3D 맵과 Dense SLAM(3D 맵 재구성) 이 있습니다. 다음 그림은 Magic Leap Shanjing 사무실의 3D 지도 재구성입니다. 장비를 들고 한 바퀴 돌면 사무실 전체의 3D 지도가 복원되고 정교한 지도가 있습니다. 책꽂이의 책은 변형되지 않고 재건할 수 있다.

AR 의 상호 작용은 완전히 새로운 영역이기 때문에 사람들이 가상 세계와 원활하게 상호 작용할 수 있도록 머신 비전을 기반으로 한 인식 및 추적 알고리즘이 최우선 순위가 되었습니다. 새로운 인간-컴퓨터 상호 작용 체험 부분은 많은 기술 비축이 필요하다.

게리는 다음 세 가지를 자세히 설명하지 않았지만, 그들의 레이아웃을 볼 수 있습니다. 나는 단지 네가 이해할 수 있도록 몇 가지 주석을 덧붙일 뿐이다.

3. 1 크라우드 소싱. 향후 기계 학습을 위해 데이터를 수집하는 데 사용됩니다. 합리적인 피드백 학습 메커니즘을 구축하고 동적으로 증분적으로 데이터를 수집해야 합니다.

3.2 기계 학습& 심도 학습 기계 학습과 심도 있는 학습. 후속 인식 알고리즘의 생산을 위해 기계 학습 알고리즘 아키텍처를 구축해야 합니다.

3.3 장면 객체 인식 장면 객체 인식. 장면의 오브젝트를 식별하고, 오브젝트의 유형과 특징을 구분하고, 더 나은 상호 작용을 수행합니다. 예를 들어 강아지를 보면 알아볼 수 있고, 그러면 시스템은 개 P 를 개괴로 바꿔서 직접 탓할 수 있다.

3.4 행동 인식 행동 인식. 장면에서 사람이나 사물을 식별하는 동작 (예: 뛰기 또는 점프, 걷기 또는 앉기) 은 보다 동적인 게임 상호 작용에 사용할 수 있습니다. 참, 국내에 스탠퍼드 동창이 운영하는 녹색심안이라는 회사도 이 방면의 연구를 하고 있습니다.

추적 측면

4. 1 제스처 인식. 상호 작용을 위해, 사실 모든 AR/VR 회사는 이 방면의 기술 비축을 하고 있다.

4.2 목표 추적 목표 추적. 이 기술은 매우 중요하다. 예를 들어, Magic Leap 은 코끼리의 Demo 를 보유하고 있습니다. 적어도 당신은 자신의 손의 3 차원 위치 정보를 알고 실시간으로 추적해야 코끼리를 올바른 위치에 놓을 수 있다.

4.3 3D 스캔 3D 스캔. 현실 물체를 가상할 수 있다. 예를 들어, 예술품을 집어 들고 3 차원 스캔을 하면, 멀리 있는 사용자들은 가상 세계에서 같은 물건을 공유하고 놀 수 있습니다.

4.4 인체는 인체 추적을 추적한다. 예를 들어, 현실의 모든 캐릭터에 혈봉과 능력점을 추가할 수 있습니다.

5. 1 안구 추적 안구 추적. Gary 는 Magic Leap 의 렌더링에는 안구 추적이 필요하지 않지만 4 차원 라이트 필드를 계산하기 때문에 Magic Leap 의 렌더링 계산량이 크다고 설명했습니다. 안구 운동 추적을 하면 3D 엔진의 오브젝트 렌더링 및 장면 렌더링에 대한 압력을 줄일 수 있는 훌륭한 최적화 전략입니다.

5.2 감정 인식 감정 인식. Magic Leap 이 그녀의 영화에 묘사된 인공지능 운영체제가 되고 싶다면 주인의 감정을 인식하고 배려심 넘치는 감정 호위 효과를 낼 수 있다.

5.3 생체 인식 생체 인식. 예를 들어, 실제 장면에서 사람을 식별하고 각 머리에 이름을 표시합니다. 얼굴 인식은 그 중 하나다. 중국 칭화반 형제가 운영하는 회사인 Face++ 가 이 방면에서 가장 잘 하고 있다.

요약: 간단히 말해서, Magic Leap 의 이 부분은 다른 많은 회사들과 비슷하다. 게리도 우리와 합류했지만, 그의 야망은 매우 원대하지만, 이 부분의 경쟁은 매우 치열하다.

Q6: Magic Leap 이 인식과 디스플레이를 해결했음에도 불구하고 다음 어려움은 무엇입니까?

1, 계산 장비 및 계산량

Magic Leap 은 4 차원 라이트 필드를 계산하는데, 계산량이 놀랍다. Magic Leap 이 지금 어떻게 해결되는지 모르겠다. 영위다가 핍박적인 모바일 그래픽을 못 하면 어떡하죠? 당신은 자신의 전용 회로를 만들 수 있습니까? 타이탄 X 네 대를 가지고 가는 것은 장난이 아니다.

아래 그림은 올해 제가 시그라프 2015 의 VR 데모에 참가했는데, 모두 큰 가방을 메고 VR 을 하고 있습니다. 10 년 후의 인류는 오늘날의 인류가 VR 을 추구하는 것을 보면 웃겨요? 하하.

2, 배터리! 배터리! 배터리! 모든 전자 장비의 고통

3. 운영 체제

솔직히 말해서,' 세상은 너의 새로운 데스크톱이다' 가 그들의 비전이라면, Magic Leap 의 비전에서 상호 작용을 지원할 수 있는 운영체제는 없다. 그들은 스스로 바퀴를 발명해야 한다.

4. 가상 물체의 상호 작용 경험에 물리적 느낌을 더합니다.

촉각을 갖기 위해 대화형 장갑과 상호 작용 손잡이가 VR 계의 화제다. 현재의 특허로 볼 때, Magic Leap 이 더 높은 통찰력을 가질 수 있다는 것을 알 수 없다. 아마도 Kickstarter 가 결국 제패할 수 있을 것이고, Magic Leap 이 그를 되찾을 것이다.