16 / 30 · 감각
카메라와 깊이 센서
01 · 뜯어볼 부품
깊이 카메라는 두 렌즈의 시차나 빛이 갔다 오는 시간으로, 영상의 화소마다 물체까지의 거리를 함께 잽니다.
완료한 강의
02 · 3D 분해
눌러서 뜯어보기
부품을 누르면 설명이 열리고, 아래 공급망 표에서 그 부품을 만드는 기업이 강조됩니다. 3D를 열지 않아도 부품 버튼으로 같은 설명을 볼 수 있습니다.
교육용 예시 · 제조사 내부 설계가 아닙니다
부품을 하나 골라 보세요.
하우징
부품을 담는 막대 모양 몸체입니다(3D는 뚜껑을 떼어 낸 모습). 스테레오 방식은 두 렌즈 사이의 간격을 기준으로 거리를 셈하므로, 몸체가 휘어 간격이 틀어지면 거리도 틀어집니다. 한 깊이 카메라 데이터시트도 스테레오 모듈을 "단단하게 보강한 모듈"로 정의합니다.
왼쪽 카메라 · 수신 렌즈
스테레오에서는 오른쪽 카메라와 간격(기준선)을 두고 같은 장면을 찍는 왼쪽 눈입니다. 위에서 "ToF"를 고르면 같은 자리가 돌아온 적외선을 모으는 수신 렌즈가 되고, 바로 옆에 적외선 발광부가 붙습니다.
오른쪽 카메라
왼쪽 카메라와 나란히 같은 장면을 찍는 오른쪽 눈입니다. 같은 점이 두 영상에서 얼마나 어긋나는지(시차)가 거리 계산의 재료가 됩니다. ToF를 고르면 이 렌즈는 숨고 앞판 오른쪽 절반이 비는데, 렌즈 하나로 재는 ToF는 두 눈을 떨어뜨려 둘 필요가 없어서입니다.
적외선 투사기
눈에 보이지 않는 적외선 점 무늬를 앞에 비춥니다. 흰 벽처럼 무늬가 없는 곳에서는 두 영상에서 같은 점을 찾기 어려운데, 비춘 무늬가 짝을 찾을 단서가 됩니다. 스테레오에서만 쓰는 부품이라 ToF를 고르면 숨습니다.
적외선 발광부
ToF를 고르면 수신 렌즈 바로 옆에 나타나는 발광부입니다. 짧은 적외선 펄스를 쏘고, 물체에 맞고 돌아온 빛은 옆의 수신 렌즈가 받습니다. 스테레오에서는 숨어 있어 고를 수 없습니다.
이미지 센서
렌즈 바로 뒤의 칩입니다. 렌즈가 모은 빛을 화소마다 전기 신호로 바꾸고, 그 신호가 모여 영상이 됩니다. 3D는 렌즈마다 센서 카드 하나를 붙였고, 파란 격자가 화소가 늘어선 면입니다.
거리 계산 칩
두 영상에서 같은 점을 짝지어 어긋난 정도로 화소마다 거리를 계산하는 칩입니다(ToF에서는 빛이 갔다 온 시간으로 계산). 한 깊이 카메라 데이터시트는 이 칩이 왼쪽 영상의 점을 오른쪽 영상의 점과 맞춰 본 뒤 그 어긋남으로 깊이 값을 내고, 깊이 영상을 이어 동영상으로 내보낸다고 설명합니다.
03 · 원리
어떻게 움직이나
카메라는 렌즈가 모은 빛을 이미지 센서에 비추어 찍습니다. 삼성전자의 이미지 센서 안내대로 센서는 빛을 전기 신호로 바꾸고, 화소마다 붙은 색 필터가 빨강·초록·파랑 가운데 한 색만 통과시켜 색을 나눕니다. 그런데 사진 한 장에는 물체까지의 거리가 직접 담기지 않습니다. 가까이 있는 작은 컵과 멀리 있는 큰 컵이 같은 크기로 찍힐 수 있기 때문입니다. 걷고 고개를 돌리는 로봇에게는 찍는 방식도 문제입니다. 소니는 화면 전체를 한순간에 찍는 글로벌 셔터 센서가 빠르게 움직이는 물체도 일그러짐 없이 담는다고 설명하고, 한 깊이 카메라 제품(D435i)은 깊이를 재는 센서에 글로벌 셔터를, 색 영상 센서에 롤링 셔터를 씁니다.
스테레오 깊이 카메라는 사람의 두 눈처럼 카메라 두 대를 간격을 두고 나란히 놓습니다. 한 깊이 카메라 데이터시트의 설명대로 거리 계산 칩이 왼쪽 영상의 점을 오른쪽 영상에서 찾아, 두 점이 어긋난 정도(시차)로 화소마다 거리를 냅니다. 가까운 물체일수록 시차가 크고 먼 물체일수록 작아져서, 스테레오는 가까울수록 정확하고 오차는 거리의 제곱으로 커집니다(제조사 안내). 같은 제조사 안내는 자사 두 제품을 견주며, 시야가 넓고 두 카메라 간격이 좁고 화소가 적은 쪽이 같은 거리에서 깊이 잡음이 더 크다고 적습니다. 흰 벽처럼 무늬가 없으면 짝지을 점이 없어서, 투사기가 눈에 보이지 않는 적외선 무늬를 비춰 단서를 더합니다. 위 3D에서 "스테레오"를 고르고 움직여 보기를 누르면 표적이 다가오며 두 시선이 벌어지는데, 표적과 시선은 원리를 보이려는 교육용 표시입니다.
ToF(Time of Flight, 빛의 비행시간) 방식은 시차 대신 시간을 잽니다. LG이노텍의 ToF 모듈 설명대로 발광부가 적외선을 쏘고, 물체에 맞고 돌아온 빛을 수신부 센서가 받아 그 시간 차로 거리를 셉니다. 소니의 산업용 센서 안내는 쏜 때와 받은 때 사이의 시간을 직접 재는 직접 ToF와, 돌아온 빛이 화소에 쌓는 전하로 재는 간접 ToF를 나눕니다. 빛은 1나노초(10억분의 1초)에 약 30 cm를 가서, 1 m 앞 물체까지 갔다 오는 데 약 6.7나노초가 걸립니다. 3D의 빛 펄스는 한 번 갔다 오는 데 4.5초를 쓰는 교육용 표시입니다. 1 m 앞 물체라면 실제 빛보다 약 7억 배 느린 셈입니다. ToF는 렌즈 하나로 재기 때문에 두 카메라를 떨어뜨려 둘 필요가 없고, 3D에서도 ToF를 고르면 앞판 오른쪽 절반이 빕니다.
세 로봇의 눈은 세는 단위부터 다릅니다(공개 기준). G1은 개발 문서가 머리에 D435i 깊이 카메라를 단다고 적습니다. D435i 데이터시트를 보면 이 막대 하나에 깊이용 이미지 센서 두 개와 적외선 투사기, 색 영상 센서, IMU가 함께 들어 있습니다. 옵티머스(2022 시제품)는 카메라 영상으로 주변을 보고 자기 위치를 추정한다고 발표했지만, 카메라 수와 위치는 밝히지 않았습니다. Figure 02는 RGB 카메라 6개를 밝혔고, Figure 03은 새 카메라 구조가 카메라마다 프레임률을 높이고 지연을 줄이고 시야를 넓혔다고 발표했지만 무엇과 견준 값인지는 적지 않았습니다. Figure 03은 손바닥에도 카메라를 넣어, 손이 찬장 안으로 들어가 주 카메라가 가려져도 손 가까이를 본다고 설명합니다. 그래서 G1의 깊이 카메라 1개와 Figure 02의 RGB 카메라 6개는 그대로 견줄 수 없습니다.
비유
스테레오 깊이 카메라는 한쪽 눈씩 번갈아 감고 손가락을 볼 때와 닮았습니다. 코앞에 세운 손가락은 눈을 바꿀 때마다 크게 뛰고, 멀리 있는 창문은 거의 움직이지 않습니다. 두 눈이 본 위치가 어긋난 정도로 거리를 아는 셈이고, 두 카메라가 그 두 눈입니다.
비유가 맞지 않는 곳
사람은 한쪽 눈만으로도 물건의 크기나 그림자 같은 단서로 거리를 어림하지만, 스테레오 카메라는 두 영상에서 같은 점을 찾아야 거리가 나옵니다. 무늬 없는 흰 벽처럼 짝을 찾기 어려운 곳에서는 거리가 비거나 틀어질 수 있어서, 적외선 무늬를 비추는 투사기는 짝을 찾을 단서를 더하는 장치입니다.
04 · 방식 비교
같은 일을 하는 다른 방식
| 방식 | 크기 | 보는 범위 | 정확도 | 가격 | 쓰이는 곳 |
|---|---|---|---|---|---|
| 이미지 센서 | 칩 하나에 화소가 격자로 늘어섬 · 렌즈와 기판을 붙여야 카메라가 됨 · 로봇·XR 기기의 동작 추적용 한 글로벌 셔터 센서는 640 × 640 화소 | 시야는 렌즈가, 얼마나 잘게 보는지는 화소 수가 정함 · 한 깊이 카메라의 색 영상은 1920 × 1080 화소 | 빠르게 움직일 때는 화면 전체를 한순간에 찍는 글로벌 셔터가 상이 덜 일그러짐(소니 센서 안내) | 이 강의가 확인한 자료에는 센서 칩 단가가 없음 · 로봇 한 대의 센서 칩 값은 칩 하나의 값보다 들어가는 센서 수에 따라 커짐(깊이 카메라 하나에 셋) | Figure 02의 RGB 카메라, 깊이 카메라 안의 센서, 스마트폰·자동차 카메라 |
| 깊이 카메라 | 한 스테레오 제품(D435i)은 90 × 25 × 25 mm · 두 렌즈 간격은 제품마다 대개 18~95 mm(데이터시트) | 한 스테레오 제품은 0.3~3 m가 알맞은 거리, 깊이 시야 87° × 58° · 한 태블릿의 라이다 스캐너는 5 m까지 | 한 스테레오 제품은 2 m에서 오차 2% 미만 · 스테레오 오차는 멀수록 거리의 제곱으로 커짐(원리 단 참고) | 이 강의가 확인한 자료에는 공식 단가가 없음 · 값에는 이미지 센서·투사기·거리 계산 칩과 IMU의 부품 값이 함께 듦(D435i 구성) | G1 머리(개발 문서 · 이 줄의 수치는 제품 사양이며 G1에서 잰 값이 아님), 물류·서비스 로봇, 스마트폰·태블릿의 3D 센싱 |
산업용 팔에서는
공장에서 로봇 팔 옆에 다는 머신 비전 카메라는 보는 조건을 사람이 맞춰 줍니다. 한 산업용 카메라 회사의 입문 자료는 검사할 부품을 카메라 앞 정해진 자리에 붙잡아 두고, 빛을 일정하게 조절해 비춰야 한다고 설명합니다. 걸어 다니는 휴머노이드는 그럴 수 없습니다. 머리가 흔들리고, 조명은 집과 창고마다 다르며, 물건이 놓인 자리도 정해져 있지 않습니다. 그래서 휴머노이드의 눈은 조명과 위치를 고를 수 없는 채로 거리까지 재야 합니다. 가까운 이웃은 오히려 스마트폰과 태블릿입니다. 한 스마트폰의 얼굴 인식 카메라는 보이지 않는 적외선 점을 3만 개 넘게 비춰 얼굴 모양을 재고, 한 태블릿의 라이다 스캐너는 나노초 단위로 빛을 세어 5 m 앞까지 거리를 잰다고 밝혔습니다. 원리는 같지만, 로봇은 얼굴 하나나 방 한 칸이 아니라 움직이는 동안의 주변 전체를 계속 재야 합니다.
05 · 공급망 표
누가 만들고, 한 대에 몇 개 들어가나
방식마다 부품을 만드는 기업과 상장 시장·종목 코드, 공개된 공급 관계를 모았습니다. 위에서 부품을 고르면 그 부품의 방식이 강조됩니다.
실시간 주가나 투자 추천이 아닌 사업 구조 학습 자료입니다.
어느 로봇에 납품하거나 쓰이는지는 ‘확인’ 표시가 붙은 공급 관계에서만 알 수 있습니다.
- 확인
- 공시나 공식 발표에 고객 이름이 나옵니다.
- 고객 미공개
- 회사가 고객 이름 없이 공식적으로 밝혔습니다.
- 보도
- 주요 언론·증권사 보도입니다. 매체와 날짜를 함께 적습니다.
| 기업 | 국가 | 상장 | 공급 관계 |
|---|---|---|---|
이미지 센서렌즈로 모은 빛을 화소마다 전기 신호로 바꾸는 반도체 칩(CMOS 이미지 센서)입니다. 센서는 칩이고, 렌즈와 기판을 붙여야 카메라가 됩니다. 화면 전체를 한순간에 찍는 글로벌 셔터 센서는 빠르게 움직이는 장면에서도 상이 덜 휩니다.쓰이는 곳
| |||
| 이 방식을 만드는 기업 | |||
| 인피니언 | 독일 | 독일 IFX | 이 자료에 실린 공급 관계 없음 |
| 소니 세미컨덕터 솔루션즈 | 일본 | 모회사 Sony Group · 도쿄 6758 | 이 자료에 실린 공급 관계 없음 |
| 삼성전자 | 한국 | 코스피 005930 | 이 자료에 실린 공급 관계 없음 |
| 깊이 카메라색만 찍는 카메라와 달리 화소마다 물체까지의 거리를 함께 재는 카메라 완제품·모듈입니다. 두 카메라가 같은 점을 보는 각도 차이(시차)로 재는 스테레오, 쏜 빛이 돌아오는 시간을 재는 ToF, 비춘 무늬 빛이 휘는 모양으로 재는 구조광 방식이 있고, 안에 이미지 센서가 들어갑니다.쓰이는 곳 | |||
| 이 방식을 만드는 기업 | |||
| 리얼센스 | 미국 | 비상장 |
|
| 오비중광 | 중국 | 상하이 688322 |
|
| LG이노텍 | 한국 | 코스피 011070 | 이 자료에 실린 공급 관계 없음 |
로봇 한 대에 들어가는 수
강의마다 세는 대상이 다르니 숫자 옆 설명을 함께 보세요. 공개되지 않은 값은 미공개로 둡니다.
- Unitree G1뜯어보는 로봇1개
개발 문서가 머리에 단다고 적은 D435i 깊이 카메라 한 대를 셌습니다. 데이터시트상 이 카메라(막대) 안에는 깊이용 이미지 센서 두 개와 색 영상 센서가 함께 들어 있어, 이미지 센서로 세면 셋입니다. 색 영상 센서는 깊이 모듈 밖, 같은 막대 안에 있습니다. 라이다는 카메라가 아니라 17강에서 따로 셉니다.
출처 · 유니트리 G1 개발 문서: G1 소개(2026-09-17 갱신, 머리의 LIVOX-MID360 라이다·D435i 깊이 카메라와 시야, 사양표의 "깊이 카메라+3D 라이다") - Tesla Optimus미공개
2022 AI Day는 시제품이 카메라 영상으로 주변을 본다고만 밝히고 카메라 수와 위치는 밝히지 않았습니다. 이후 세대의 카메라 구성도 공식 발표로 확인하지 못했습니다.
출처 · 테슬라 AI Day 2022 공식 영상(Tesla 유튜브, 자율 기능 발표 47:39~49:05: 오토파일럿의 점유 네트워크를 로봇에 옮김·카메라 영상의 특징점으로 위치 추정) - Figure6개
Figure 02 기준, 몸에 단 RGB 카메라 수입니다(2024-08 보도자료). Figure 03은 손바닥 카메라를 더했다고 밝혔지만 전체 카메라 수는 밝히지 않아, 이 수는 Figure 03의 수가 아닙니다.
출처 · 피규어 Figure 02 공개 보도자료(PR Newswire, 2024-08-06, "6 onboard RGB cameras")
06 · 투자자 관점
무엇이 이익이 되고, 무엇이 과대 해석인가
로봇의 "카메라 수"는 이미지 센서 회사가 봐야 할 숫자와 다릅니다. G1이 머리에 단 깊이 카메라 막대에는 데이터시트상 이미지 센서가 셋(깊이용 둘, 색 영상 하나) 들어가고, Figure 03은 손바닥마다 카메라를 더했습니다. 그래서 센서 칩 수요는 카메라 대수가 아니라 그 안의 이미지 센서 수로 세어야 합니다. 그 위의 층도 나눠 봐야 합니다. 이미지 센서 회사는 칩을 팔고, 깊이 카메라 회사는 칩에 렌즈·투사기·거리 계산 칩을 붙인 완제품을 팝니다. 공급망 표의 확인 관계들도 로봇 회사 문서나 부품 회사 자료가 그 제품을 쓴다고 적은 수준이어서, 구매 계약이나 물량까지 알려 주지는 않습니다. 사는 쪽도 회사마다 다릅니다. 피규어는 Figure 03의 센서·액추에이터·배터리 같은 핵심 모듈을 모두 직접 설계했다고 밝혔습니다. 센서 회사의 로봇 관련 발표를 읽을 때는 몇 대에 들어갔는지보다 한 대에 센서가 몇 개 들어가는지를 먼저 찾아보세요.
07 · 뉴스 해부 연습
이 기사, 무엇을 더 확인할까
아래 기사를 읽고 더 확인해야 할 것을 모두 고른 뒤 "확인"을 누르세요. 항목마다 이유가 열립니다.
카메라 모듈 업체 K사, "휴머노이드용 3D 깊이 카메라 양산 시작"… 고객사·물량은 비공개
스테레오는 가까울수록 정확하고 멀어지면 오차가 빠르게 커지며, ToF는 렌즈 하나로 재는 대신 빛을 쏘는 발광부가 필요합니다. 방식과 알맞은 거리를 알아야 손 가까이를 보는 용도인지, 걸어갈 길을 보는 용도인지 가늠할 수 있습니다.
같은 "깊이 카메라 공급"이라도 칩 하나와 완제품 한 대는 이 회사가 버는 몫이 다릅니다. 완제품이라면 그 안의 이미지 센서를 누가 만드는지도 따로 물어야 합니다.
로봇마다 카메라를 세는 단위가 다릅니다. G1은 깊이 카메라 한 대를, Figure 02는 RGB 카메라 6개를 밝혔고, 옵티머스(2022 시제품)는 수를 밝히지 않았습니다. 게다가 어느 로봇이 이 회사 제품을 쓰는지는 기사만으로 알 수 없습니다.
스테레오 깊이 카메라의 오차는 거리의 제곱으로 커지고, 무늬 없는 벽에서는 투사기가 단서를 더해야 합니다. G1도 머리에 깊이 카메라와 라이다를 함께 달았고(개발 문서), 라이다는 다음 강의에서 뜯어봅니다.
08 · 퀴즈와 다음 부품
세 문제로 확인하기
세 문제를 모두 맞히면 이 강의를 완료로 기록합니다.
스테레오 깊이 카메라가 거리를 셈하는 재료는?
ToF 방식에서 빛이 1 m 앞 물체까지 갔다 오는 데 걸리는 시간은 약 얼마인가?
G1의 깊이 카메라 수를 Figure 02의 RGB 카메라 수와 그대로 견줄 수 없는 까닭은?
다음에 뜯어볼 부품
다음 강의에서는 빛줄기를 돌려 주변을 점으로 그리는 라이다와, 몸이 얼마나 기울고 도는지를 재는 작은 칩 IMU를 뜯어봅니다.