하이엔드 스마트폰의 하이라이트가 점점 줄어들고 있어 레이투는 더 이상 휴대전화의 장점을 보여줄 수 없다. 그래서 더 횡포한 쌍카메라가 나타났다. 여기서 말하는 쌍카메라는 이전의 스마트폰처럼 카메라 한 개가 앞에 있고 카메라 한 개가 뒤에 있는 것이 아니라 한 쌍의 눈과 두 개의 후면 카메라가 사람의 눈을 시뮬레이션하여 더 많은 사진 촬영 기능을 제공하고 더 나은 사진 촬영 효과를 얻을 수 있다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 사진명언)
일반적으로 현재 스마트폰의 카메라 인터페이스는 MIPI (Mobile Industry Processor Interface) 인터페이스입니다. 과거에는 모바일 플랫폼에 두 개의 MIPI 커넥터만 있었는데, 하나는 전면 카메라용이고 다른 하나는 후면 카메라용입니다. 듀얼 카메라가 되려면 플랫폼이 최소 3 개의 MIPI 인터페이스를 지원해야 합니다. 사실 이전의 하이엔드 플랫폼에서 더 높은 픽셀, 듀얼 ISP(Image)? 신호? 처리, 이미지 신호 프로세서), 예를 들어 16M 카메라를 지원하기 위해 2 개의 8M 기능 ISP 를 사용합니다. 이 플랫폼은 MIPI 가 2 개밖에 없을 가능성이 높지만, 엔지니어가 전면 싱글 카메라+후면 듀얼 카메라를 만드는 것을 막을 수는 없습니다.
듀얼 카메라 어플리케이션
이것이 문제입니다. 듀얼 카메라는 무엇을 할 수 있습니까?
1, 듀얼 카메라는 거리를 측정할 수 있으며 거리 관련 어플리케이션에 사용할 수 있습니다.
사람의 눈은 물체의 거리를 쉽게 찾을 수 있지만, 한 눈을 감으면 위치 지정 능력이 많이 떨어진다. 듀얼 카메라는 사람의 눈을 시뮬레이션하는 응용이다. 간단히 말해서, 거리를 측정하는 것은 카메라와 왼쪽/오른쪽 카메라 사이의 각도 θ 1 및 θ2 에 고정 Y 값 (두 카메라의 중심 거리) 을 추가하여 z 값 (즉, 객체와 카메라 사이의 거리) 을 쉽게 계산할 수 있도록 알고리즘을 통해 계산됩니다.
그러나 이것도 계산하기 쉽다. 두 카메라의 중심 거리가 너무 작으면 계산 가능한 거리가 매우 가까워집니다. 더 긴 거리를 계산하려면 왼쪽과 오른쪽 카메라 사이의 거리를 넓혀야 한다.
위 그림에서 볼 수 있듯이, 이중 카메라의 알고리즘을 통해 물체의 거리를 판단할 수 있기 때문에 다음과 같은 특수 효과를 쉽게 만들 수 있습니다.
배경이 흐릿하다
SLR 카메라의 가장 두드러진 특징 중 하나는 큰 조리개입니다. 이중 카메라는 서로 다른 촬영된 물체의 거리를 측정하고, 큰 조리개가 필요한 물체를 겨냥하고, 다른 거리의 물체를 흐리게 하기 때문에 큰 조리개의 효과를 쉽게 얻을 수 있습니다.
) 을 참조하십시오
B, 배경 대체
거리를 측정할 수 있고, 피사체의 주체를 추출할 수 있고, 배경을 바꿀 수 있기 때문에 PS 보다 쉽게 파낼 수 있습니다.
C, 배경 효과
거리는 측정할 수 있고, 주제와 배경은 분리할 수 있기 때문에 배경에 대해 무엇을 해도 쉬워요. 여기서는 너무 많은 묘사를 하지 않습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 거리명언)
D, 거리 측정
이 그림은 다른 물체의 거리를 명확하게 식별하는데, 이 거리 정보는 다른 색으로 표시된다. AP 가 서로 다른 물체의 거리 정보를 얻을 때 이러한 기능을 수행할 수 있습니다.
2, 듀얼 카메라는 광학 줌을 할 수 있습니다.
광학 줌은 주로 왼쪽과 오른쪽 카메라가 서로 다른 FOV (시야각) 를 사용하여 두 카메라의 시야를 다르게 만드는 것을 말합니다. 사용자가 광각 사진이 필요할 때 시야각이 85 도인 왼쪽 카메라를 사용하여 광각 효과를 얻습니다. 사용자가 장초점 사진을 필요로 할 때 시야각이 45 도인 적합한 카메라를 사용하여 장초점 효과를 얻을 수 있습니다.
왼쪽 및 오른쪽 카메라가 촬영한 물체의 높이가 겹치도록 광학 줌 듀얼 카메라 모듈은 적용된 카메라 모듈에서 너무 멀리 떨어져 있지 않아야 하지만 왼쪽 및 오른쪽 카메라는 최대한 가까이 배치해야 합니다.
두 카메라의 FOV 가 다르면 하나는 크고 하나는 작으며 알고리즘을 통해 두 광학 렌즈 사이의 효과를 실현하면 광학 줌을 쉽게 수행할 수 있습니다.
듀얼 카메라를 사용하지 않으면 그림을 확대하면 텍스트가 선명하지 않습니다.
듀얼 카메라를 사용하는 경우 그림을 확대한 후에도 텍스트가 선명합니다.
이 그림은 광각 그래프와 장초점 그래프의 조합으로 알고리즘을 통해 중간 자세의 사진을 계산하여 디테일이 왜곡되지 않도록 합니다.
3, 어두운 빛 효과 향상
일반적으로 어두운 조명 향상은 두 개의 카메라, 즉 RGBG 가 있는 표준 카메라 하나와 RGBG 필터가 제거된 흑백 카메라에서 수행됩니다. RGBG 는 물체의 색상을 얻는 데 사용되고, 흑백 카메라는 촬영된 물체의 광도를 판단하기 위해 더 나은 빛의 양을 얻는 데 사용됩니다. 그런 다음 두 이미지를 혼합하여 더 나은 어두운 조명 향상을 얻습니다.
현재 두 가지 융합 방법이 있습니다.
흑백 그림을 주체로 컬러 사진에서 얻은 각 픽셀의 색상을 흑백 그림에 붙여 두 개의 그림을 융합합니다.
컬러 사진을 주체로 흑백 사진에서 얻은 각 이미지의 광도를 컬러 사진에 보정하고 두 그림을 융합한다.
어떤 방식이 통합에 더 적합한지, 사람마다 다른 견해를 가질 수 있으니 여기서는 논의하지 않겠습니다.
마찬가지로, 어두운 조명 향상의 경우 왼쪽 및 오른쪽 카메라에서 촬영한 물체의 높이가 겹치도록 이중 카메라 모듈을 최대한 가깝게 해야 합니다.
화웨이 P9 는 실제로 이 모델의 모듈을 선택했다는 점에 유의해야 한다.
물론, 현재 이런 알고리즘의 효과는 분명하지 않다는 업계 인사들도 있다. 어두운 빛 보상은 특히 야간에 촬영할 때 사용자에게 도움이 된다. 하지만 소니와 삼성의 듀얼 PD 기술이 좋다고 생각하는 고객도 있다. 듀얼 PD 카메라를 이용한 어두운 조명 보상을 선호한다.
듀얼 카메라도 듀얼 PD 다크 라이트 보정 효과가 좋다. 화웨이 P9 와 삼성의 갤럭시 S7 Edge 를 비교해 보면 답이 있다.
이것은 일반적으로 컬러+흑백 카메라를 사용한다. 화면의 밝기 강도는 흑백 카메라에 의해 얻어져 화면의 어두운 빛을 보정한다.
4.3D 촬영 및 3D 모델링
3D 촬영과 3D 모델링의 알고리즘은 실제로 거리 응용과 비슷하지만 정확도가 더 높고 때로는 적외선 거리를 사용하여 거리를 더 정확하게 판단해야 하는 경우도 있습니다.
듀얼 카메라 알고리즘에 대해서는 ISP(Image) 를 언급해야 하나요? 신호? 이미지 신호 프로세서 처리), ISP 의 주요 기능은 선형 보정, 노이즈 제거, 불량 제거, 보간, 흰색 균형, 자동 노출 제어 등의 프런트 엔드 이미지 센서 출력 신호를 사후 처리하는 것입니다. ISP 를 사용해야만 서로 다른 광학 조건에서 장면 세부 사항을 잘 복원할 수 있으며, ISP 기술은 휴대폰의 이미징 품질을 크게 결정합니다.
기능 컴퓨터 시대에 ISP 는 카메라에 구축되어 있으며, 픽셀별 카메라와 성능이 다른 ISP 를 갖추고 있습니다. 휴대전화 카메라 픽셀이 커지면서 ISP 성능에 대한 요구도 높아지고 있다. ISP 를 카메라 센서에 통합하면 카메라 모듈이 너무 커서 사진 촬영 효과에도 영향을 줄 수 있습니다. 그래서 스마트폰 시대에 ISP 는 일반적으로 메인 칩 SoC 에 있었다. 일부 브랜드 고객은 더 나은 결과를 얻기 위해 ISP 를 추가하여 더 전문적인 사진 효과를 얻을 수도 있습니다.
좋은 카메라 알고리즘에는 좋은 ISP 가 필요합니다. ISP 와 알고리즘은 서로를 보완하며 필수적입니다. 듀얼 카메라는 ISP 성능 요구 사항이 더 높습니다. 첫째, 왼쪽 및 오른쪽 카메라의 신호를 동시에 처리하기 위해 단일 ISP 는 더 이상 이중 카메라의 요구를 충족시킬 수 없습니다. 이를 위해서는 이중 ISP 가 필요합니다.
어두운 조명 향상을 예로 들면, 컬러/흑백 이미지는 각각 ISP 채널과 보정 채널로 들어가고, 두 이미지를 일치시킵니다 (예: 두 이미지 중 동일한 부분을 추출하고, 카메라 하나만 촬영한 부분을 제거함). 그런 다음 관련 이미지를 차단, 감지, 보정 등의 알고리즘을 처리합니다. 마지막으로 두 이미지를 혼합하여 색상을 향상시킵니다. 물론, 실제로 ISP 는 이 그림보다 알고리즘으로 더 많은 일을 합니다.
물론 이 안에는 작은 에피소드도 있다. 결국 두 개의 ISP 가 있는데, 두 개의 ISP 에는 처리 속도와 처리 능력이 다른 문제가 있습니다. 두 ISP 가 동시에 샘플링할 수 있도록 이중 카메라 촬영이 필요한 화면은 동시에 촬영됩니다. 해결 방법 중 하나는 센서에 동기화 신호 핀을 부여하는 것입니다. 두 카메라의 동기화 신호는 도킹되어 사진을 읽을 때마다 타임 스탬프가 찍힙니다. ISP 는 타임스탬프를 통해 좌우 카메라로 촬영한 사진이 동시에 촬영되고 마지막으로 융합됨을 보증했다.
일반 3D 영화 촬영과는 다릅니다. 휴대전화에 있는 두 카메라는 이미지 촬영 중 두 카메라 사이의 거리가 사람의 눈과 거리가 다르기 때문에 충분한 시각적 차이를 만들 수 없습니다. 그리고 사람들에게 더 눈에 띄게 3D 시각 효과를 주기 위해서. 따라서 향상에는 종종 알고리즘이 필요합니다.
거리를 측정할 수 있기 때문에 후속 듀얼 카메라는 3D 사진뿐만 아니라 3D 모델링도 가능합니다. 이때 나는 쌍카메라의 중요성이 더욱 중요하다고 생각한다.
HDR 및 해상도 향상과 같은 다른 효과도 향상되었습니다. 이러한 기능은 실제로 단일 카메라로 구현할 수 있지만, 이중 카메라는 효과를 더 좋게 만들 수 있습니다. 하나씩 열거하지 않겠습니다.
요약:
현재 이 기능들은 모두 쌍카메라 휴대폰에서 가장 흔히 볼 수 있는 기능이다. 배경 가상화/교체, 어두운 조명 효과는 사용자에게 더 많은 사진 효과를 제공합니다. 광학 줌은 줌 기능의 카메라 기능을 느끼게 합니다. 하지만 개인적으로 미래에 가장 흥미로운 것은 3D 기능이라고 생각합니다.
올해 VR 이 이렇게 화났는데 VR 소재는 어디서 나왔나요? 아니면 듀얼 카메라 알고리즘의 최적화에 의존해야 합니다. 3D 사진 촬영 및 모델링 알고리즘이 성숙하면 듀얼 카메라가 더 인기가 있습니다.
듀얼 카메라 에코 체인
앞에서 우리는 이중 카메라의 응용과 원리에 대해 이야기했다. 이제 듀얼 카메라의 산업 체인을 살펴봅시다.
1, 듀얼 카메라 알고리즘 공급업체
알고리즘은 ISP 와 협력해야 하기 때문에 알고리즘과 ISP 는 상호 보완적이다. 알고리즘을 잘 하려면 좋은 ISP 가 있어야 한다.
주요 플랫폼 공급업체인 고통/연발과에는 자체 ISP 가 있어 자체 이중 카메라 알고리즘도 개발되었습니다. 그것의 알고리즘에 관해서는, 아직 시장의 검증이 필요하다.
센서 공급업체인 소니 삼성 OV 도 쌍카메라 알고리즘을 적극적으로 개발하고 있어 아직 양산 제품을 보지 못했다. 하지만 기능기 시대에는 ISP 가 없었습니다. 이 카메라 센서 공급업체들은 2M/5M 을 할 때 자신의 ISP 를 맞춰야 하기 때문에 스스로 ISP 를 개발한 경험이 있다. 따라서 이중 촬영 알고리즘의 개발은 비교적 경험이 있다.
애플은 지난해 Linx 를 인수했고, 다중 카메라 특허와 알고리즘도 가지고 있다. 자신의 이중 카메라 모델에 사용될지 여부는 올해의 아이폰 7 에 달려 있다. 이론적으로 Linx 에는 애플이 대형 공장에 가서 쌍카메라의 IP 인증을 사지 않을 수 있는 충분한 알고리즘이 있다.
이러한 플랫폼 외에도 센서 공급업체와 브랜드의 스마트폰은 자체 듀얼 카메라 알고리즘을 개발하고 있으며, 다른 공급업체들을 하나씩 나열해 보겠습니다.
화정, 1996 은 대만성에 설립되어 주로 자체 ISP 칩을 개발한다. 일부 고급 휴대폰, 카메라, 자동차는 모두 ISP 의 껍데기를 사용한다. 듀얼 카메라 폰도 자체 ISP 를 가지고 있습니다. 거리 응용 프로그램, 광학 줌, 어두운 조명 보정이 모두 나무를 만들었다.
이스라엘 회사입니다. 알고리즘의 장점은 주로 광학 줌 및 어두운 광 보상에 있습니다. 심도 분야에서도 몇 가지 연구가 있다. 미디어 홍보로 볼 때, hTC 는 이미 그것의 알고리즘을 채택했다.
사이펀은 1994 에 설립되어 미국에 본사를 두고 있으며 상하이, 항주, 남교토에 기술센터를 두고 있습니다. 무지개 소프트의 강점은 광학 줌과 암광 보상입니다. 이전 문장 의 두 번째 광학 줌 과 암광 보충 그림 은 Irisoft 에서 온 것 이다.
상하이 흥심웨이는 20 1 1 에 설립된 회사로 주로 이미지 프로세서 개발에 종사하고 있습니다. 현재, 그 제품은 주로 차량 시장에 쓰인다. 독립 ISP 를 개발하는 소수의 회사로서 이중 카메라 알고리즘과 ISP 도 개발하고 있습니다. 쌍촬영 시장 이후 X-Chip 은 잠재력이 큰 다크호스가 될 것이다.
쌍카메라가 방금 나왔기 때문에 각 집은 알고리즘에서 각각 우열을 가지고 있다. 하지만 현재 선보이고 있는 쌍카메라 휴대전화의 효과로 볼 때 각 알고리즘이 개선되어야 한다. 각종 알고리즘 능력이 올라가면 반드시 듀얼 카메라를 휴대전화의 표준으로 만들 것이다.
2. 듀얼 카메라 센서 공급업체
두 카메라가 사진을 찍을 때 동기화 타임 스탬프가 필요하기 때문에 카메라 센서에 동기화 신호가 필요합니다. 현재 이런 동기 신호를 제공하는 센서 공급업체는 소니, 삼성, OV, 그코비입니다. 그래서 듀얼 카메라 센서는 주로 이 제품들을 사용한다.
3. 듀얼 카메라 모듈 공급업체
현재 쌍카메라를 만들 수 있는 모듈 공장에는 광보, 우순, 신력, 나목가, O-Film, 삼성전기, 추체 등이 많다. 그러나 양산 경험이 있는 것은 주로 광보, 우순과 신력이다. 화웨이의 기종은 주로 광보와 우순의 모듈을 사용한다. O-Film 과 삼성전기는 강력한 공장 능력에 힘입어 현재 듀얼 카메라 모듈 분야에서 큰 걸음으로 전진하고 있다. Namuga 는 각 알고리즘 회사와 좋은 의사소통 관계를 유지하고 있으며 삼성 휴대전화의 공급업체로 듀얼 카메라 모듈 분야에서 점차 힘을 내고 있다.
그러나 기능마다 다른 모듈이 필요합니다. 앞서 언급한 네 가지 함수를 계속 예로 들어 보겠습니다.
거리 응용 프로그램의 일반적인 방법은 카메라의 크기입니다. 일반적인 카메라 사양은 13M+2M, 13M+5M 입니다.
이 두 가지 방법으로 물체와 렌즈 사이의 거리를 더 잘 계산할 수 있다.
광학 줌 듀얼 카메라 모듈, 가장 중요한 것은 다음 그림과 같이 두 카메라에 서로 다른 FOV 가 필요하다는 것입니다.
다른 FOV, 다른 초점, 그리고 알고리즘을 통해 광학 줌 기능을 구현할 수 있습니다.
일반적인 어두운 조명 향상은 다음 그림과 같이 RGB 트루 컬러 카메라와 단색 흑백 카메라로 촬영됩니다.
알고리즘의 경우 들어오는 빛의 양은 주로 오른쪽의 흑백 카메라에서 읽어서 왼쪽 RGB 카메라의 색상을 보정합니다.
3D 촬영 및 모델링은 거리 관련 모듈과 약간 유사합니다. 다만 3D 는 거리에 대한 정확도가 더 높다. 이 경우, 두 카메라의 거리를 좀 더 멀리 놓아야 하는데, 어떤 것은 적외선 보조 위치를 이용하여 거리를 측정하고, 결국 3D 촬영과 모델링의 역할을 할 필요가 있다.
이중 카메라 모듈 제조의 어려움
일반 듀얼 카메라에는 * * 베이스보드 또는 * * * 브래킷의 두 가지 유형이 있습니다. 다음 그림과 같이 나타납니다.
* * * 기판의 경우 두 개의 카메라 센서 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 2 * * * 브래킷을 사용하는 경우 위 그림과 같이 센서가 브래킷으로 고정되어 있으며 각 센서에는 자체 베이스보드와 FPC 가 있습니다.
* * * 후면판의 장점: 두 개의 센서가 같은 판에 앉을 수 있어 넘어지지 않습니다.
* * * 기판의 단점: 생산량이 낮아 가격이 높다.
* * * 스탠드 장점: 생산량이 높고 가격이 좋습니다.
* * * 브래킷의 단점: 두 개의 개별 센서 모듈이므로 동일한 평면에 놓이도록 AA 교정이 필요합니다. 난이도가 높고 내림성이 떨어집니다.
결론적으로, 두 방법 모두 각각 장단점이 있다. 현재 화웨이만 * * * 기판 방식을 채택하고 있다. 그러나 어느 쪽이든 현재의 수익률은 매우 나쁘기 때문에 비용은 여전히 매우 높다.
듀얼 카메라의 미래
알고리즘을 개선하고 모듈 수율을 높이면 듀얼 카메라는 여전히 많은 장점을 가지고 있습니다.
하지만 기능마다 모듈 배치에 대한 요구 사항이 다르기 때문에 듀얼 카메라는 현재 모든 사람의 카메라 요구 사항을 충족하지 못할 수 있습니다.
구글은 프로젝트 탱고를 출시할 때 거리 측정과 3D 모델링이 필요할 때 멀리 떨어진 카메라 두 개를 사용할 수 있다는 세 가지 카메라 개념을 교묘하게 제시했다. 광학 줌과 어두운 광 보정을 하면 두 개의 근거리 렌즈를 사용할 수 있다. 심지어 이런 깊이감은 적외선과 결합하여 거리를 더 정확하게 측정할 수 있다.
어쨌든 듀얼 카메라 알고리즘의 진화와 VR 요구 사항이 증가함에 따라 카메라는 점점 더 중요한 역할을 하고 있습니다. 듀얼 카메라 휴대 전화, 전면 듀얼 카메라 및 후면 3 개의 카메라도 향후 1 년 동안 점점 더 보편화될 가능성이 높습니다.