21 / 30 · 두뇌
시뮬레이션에서 현실로
01 · 무엇을 배우나
시뮬레이션에서 배운 동작은 가상 세계의 마찰·무게·모터가 현실과 다른 만큼 실제 로봇에서 어긋날 수 있습니다.
완료한 강의
02 · 3D 실험
직접 움직여 보기
로봇 손이 0.2 kg짜리 물건을 쥐고 버틸 때, 시뮬레이션에서 가정한 마찰계수로 쥐는 힘을 정하고 현장의 실제 마찰계수에서도 버티는지 보는 학습용 모형입니다. 쥐는 힘은 무게(약 1.96 N)를 가정한 마찰계수로 나눈 값에 20% 여유를 더해 정하고, 현장에서 버티는 힘은 실제 마찰계수에 그 힘을 곱해 셈합니다. 마찰계수는 모두 가상의 값이고, 실제 손과 물건의 재질을 잰 값이 아닙니다. 이 모형에는 학습한 정책도 되먹임도 없고 마찰 값 하나만 다르지만, 실제 로봇은 여러 물리 값을 바꿔 가며 학습하고 센서로 바로잡습니다. 3D에서는 팔이 검은 상자를 쥐고 있고, 손끝을 두른 파란 고리가 시뮬레이션이 예상한 상자 자리입니다. 버티지 못하는 조건에서 움직여 보기를 누르면 상자가 고리에서 빠져 아래 받침판으로 떨어집니다.
조건을 바꾸면 아래 결과가 바로 바뀌고, 움직여 보기를 누르면 3D에서 그 조건의 움직임을 볼 수 있습니다. 3D를 열지 않아도 조절기와 결과는 그대로 쓸 수 있습니다.
교육용 예시 · 제조사 내부 설계가 아닙니다
학습용 모형의 결과
현장에서도 무게를 지지합니다
- 계획한 쥐는 힘
- 4.71 N
- 시뮬레이션의 마찰계수로 셈한 쥐는 힘입니다. 가정한 마찰이 작을수록 미끄러지지 않으려고 더 세게 쥐도록 계획합니다.
- 현장에서 버티는 힘
- 2.35 N
- 계획한 힘으로 쥐었을 때 실제 마찰이 버텨 주는 힘입니다(실제 마찰계수 × 쥐는 힘).
- 지지 여유
- 0.39 N
- 현장에서 버티는 힘에서 물건의 무게를 뺀 값이고, 0보다 작으면 미끄러집니다. 이 모형의 여유는 실제 마찰이 가정보다 약 17% 넘게 작으면 바닥납니다.
가정과 한계
- 질량 0.2 kg를 지지하도록 계산한 힘에 20% 여유를 더합니다. 현장 지지력 = 실제 마찰계수 × 그 힘. 재질 계수는 모두 가상입니다.
학습용 모형입니다. 실제 제품의 성능 시험이나 AI 추론을 실행하는 화면이 아닙니다.
03 · 원리
왜 그렇게 되나
로봇의 동작은 실제 로봇에 올리기 전에 가상 공간에서 먼저 시험하고 연습시키기도 합니다. 한 물리 엔진(MuJoCo)의 공식 사이트도 그 쓰임으로, 실제 로봇에 올리기 전에 제어 방식을 시험하고 검증하는 일을 듭니다. 피규어는 GPU로 가속한 물리 시뮬레이션에서 물리 값이 저마다 다른 가상의 Figure 02를 한꺼번에 아주 많이 돌려 걸음을 강화학습했다고 밝혔습니다(2025-03). 유니트리의 공개 강화학습 저장소는 그 흐름을 네 단계로 적습니다. 시뮬레이션에서 보상을 가장 크게 하는 정책을 찾고(Train), 같은 시뮬레이터에서 기대대로 움직이는지 보고(Play), 다른 시뮬레이터에 옮겨 처음 시뮬레이터의 특성에만 맞춘 것이 아닌지 확인한 뒤(Sim2Sim), 실제 로봇에 올립니다(Sim2Real). Sim2Sim은 정책이 한 시뮬레이터의 버릇에만 맞춰지지 않았는지 보는 중간 시험입니다.
문제는 가상 세계가 현실과 똑같지 않다는 점입니다. 같은 엔진의 계산 설명서는 접촉을 푸는 여러 계산 방식을 "물리 현실의 서로 다른 근사"라고 부릅니다. 위 실험에서 시뮬레이션이 마찰계수를 0.5로 가정했고 현장도 0.5이면 지지 여유가 0.39 N 남지만, 비교 조건처럼 현장 마찰이 0.2이면 지지 여유가 -1.02 N이 되어 물건이 미끄러집니다. 가정한 마찰보다 현장이 미끄러우면 계획한 힘으로는 버티지 못합니다(이 모형 기준). 테슬라도 옵티머스(2022 시제품) 발표에서, 이상화한 로봇 모델로 짠 걸음 계획을 실제 로봇에 그대로 올리자 몇 걸음 만에 넘어지는 장면을 보여 주었습니다. 발표는 실제 로봇에 진동·유연함·센서 잡음이 있어, 계획이 모르는 힘이 몸을 흔든다고 설명했습니다.
간격을 줄이는 방법으로는 가상 세계를 현실에 더 가깝게 맞추는 것 말고도, 가상 로봇마다 마찰·무게 같은 물리 값이나 무늬·색 같은 겉모습을 일부러 바꿔 학습시키는 방법인 도메인 무작위화가 있습니다. 2017년의 한 연구는 일부러 비현실적인 무작위 무늬를 입힌 시뮬레이션 영상만으로 학습한 물체 위치 검출기가 실제 영상에서 1.5 cm 정확도를 냈다고 보고했고, 피규어도 가상 로봇마다 물리 값을 무작위로 바꿔 시뮬레이션과 현실의 간격을 메운다고 설명합니다. 피규어는 여기에 더해, 학습한 정책의 출력을 kHz 단위로 도는 토크 제어로 다시 다듬어, 액추에이터를 본뜬 모델의 오차를 메운다고 적었습니다. 테슬라는 2022년 발표에서 센서로 실제 자세를 추정해 계획과 견주고, 그 차이만큼 동작을 바로잡아 밀려도 서 있게 했다고 설명했습니다.
피규어는 Figure 02의 걸음 정책이 추가 조정 없이 실제 로봇으로 옮겨졌고(zero-shot) 실제 Figure 02 여러 대에서 같은 신경망이 돈다고 발표했습니다(2025-03). 같은 발표는 이 정책이 로봇마다의 차이, 바닥 마찰의 변화, 밀침에도 견딘다고 적었지만, 이는 회사가 고른 시연이라 다른 바닥·다른 조건의 성공률은 적혀 있지 않습니다. Helix 02 발표(2026-01)는 전신 균형을 맡는 S0를 사람 동작 자료와 강화학습으로, 시뮬레이션 안에서만 학습했다고 밝혔습니다. G1은 유니트리 공식 저장소에 MuJoCo와 Isaac Lab으로 만든 시뮬레이션 환경이 있고, 강화학습 도구는 실제 G1에 올리는 순서까지 적습니다. 옵티머스(2022 시제품)는 테슬라가 자율주행용 시뮬레이터에 로봇의 걸음 제어 코드를 넣어 돌렸다고 발표했습니다. “시뮬레이션에서만 학습했다”는 말은 현실 시험의 횟수·조건과 함께 읽어야 합니다.
비유
시뮬레이션 연습은 운전 연습용 시뮬레이터와 닮았습니다. 진짜 차를 망가뜨리지 않고 수없이 연습할 수 있지만, 화면 속 도로의 미끄러움이 실제 빗길과 다르면 연습한 감각이 그대로 통하지 않습니다.
비유가 맞지 않는 곳
사람은 실제 빗길에서 바퀴가 미끄러지는 것을 느끼면 곧바로 속도를 줄이지만, 위 실험의 계획은 한 번 정한 쥐는 힘을 바꾸지 않습니다. 그래서 현실에서 바로잡는 되먹임이 없으면 가정이 틀린 만큼 그대로 어긋납니다.
04 · 방식 비교
같은 일을 하는 다른 방식
| 방식 | 도는 곳과 규모 | 연습량 | 물리 정확도 | 가격 | 쓰이는 곳 |
|---|---|---|---|---|---|
| 로봇 시뮬레이션 플랫폼 | 로봇이 아니라 개발용 컴퓨터·서버에서 도는 소프트웨어 · 가상 로봇 여러 대를 한꺼번에 돌리기도 함 | GPU로 가속하면 가상 로봇 여럿을 함께 돌려 짧은 시간에 많은 시도를 모음(피규어 발표) | 접촉·마찰 계산은 물리 현실의 근사(물리 엔진 설명서) · 다른 시뮬레이터로 다시 시험하는 Sim2Sim 단계를 두기도 함(유니트리 저장소) | 로봇 학습에 널리 쓰이는 두 시뮬레이터(Isaac Sim·MuJoCo)는 무료 오픈소스(각 공식 페이지) · 산업용 팔의 한 오프라인 프로그래밍 도구는 프리미엄 라이선스를 따로 신청받고 30일 시험판을 둠(가격은 페이지에 없음) | G1 학습·검증 환경(유니트리 공식 저장소), Figure 02 걸음 학습(걷기 발표는 시뮬레이터 이름을 밝히지 않음), 공장 로봇 셀의 오프라인 프로그래밍 |
산업용 팔에서는
산업용 팔에도 시뮬레이션을 쓰지만 목적이 다릅니다. ABB는 오프라인 프로그래밍 도구 RobotStudio가 실제 로봇을 돌리는 소프트웨어를 그대로 옮긴 가상 제어기 위에서 돌아, 현장과 똑같은 로봇 프로그램과 설정 파일로 시뮬레이션한다고 설명합니다. 생산을 멈추지 않고 사무실 PC에서 프로그램을 짜고 시험한다는 것이고, 그래서 매우 현실에 가까운 시뮬레이션이 된다고 설명합니다. 견줘 보면 이 도구의 시뮬레이션은 정해 둔 경로를 맞춰 보는 곳이고, 휴머노이드에게는 새 동작을 배우는 곳입니다. 같은 셀에서 같은 경로를 도는 팔과 달리, 물건을 쥐고 걷는 로봇은 마찰과 접촉의 차이가 결과를 가릅니다.
05 · 공급망 표
누가 만드나
방식마다 부품을 만드는 기업과 상장 시장·종목 코드, 공개된 공급 관계를 모았습니다.
실시간 주가나 투자 추천이 아닌 사업 구조 학습 자료입니다.
어느 로봇에 납품하거나 쓰이는지는 ‘확인’ 표시가 붙은 공급 관계에서만 알 수 있습니다.
- 확인
- 공시나 공식 발표에 고객 이름이 나옵니다.
- 고객 미공개
- 회사가 고객 이름 없이 공식적으로 밝혔습니다.
- 보도
- 주요 언론·증권사 보도입니다. 매체와 날짜를 함께 적습니다.
| 기업 | 국가 | 상장 | 공급 관계 |
|---|---|---|---|
로봇 시뮬레이션 플랫폼로봇과 주변 물체·바닥을 컴퓨터 속 가상 공간에 만들어, 실제 로봇을 움직이기 전에 동작을 시험하고 학습시키는 소프트웨어입니다. 물리 엔진이 마찰·충돌·무게를 계산하는데, 가상 값이 실제와 다르면 시뮬레이션에서 배운 동작이 현장에서 그대로 통하지 않을 수 있습니다.쓰이는 곳
| |||
| 이 방식을 만드는 기업 | |||
| 엔비디아 | 미국 | 나스닥 NVDA |
|
| 구글 딥마인드 | 영국 | 모회사 Alphabet · 나스닥 GOOGL |
|
| ABB 로보틱스 | 스위스 | 모회사 ABB Ltd · 스위스 ABBN | 이 자료에 실린 공급 관계 없음 |
06 · 투자자 관점
무엇이 이익이 되고, 무엇이 과대 해석인가
시뮬레이션 플랫폼은 휴머노이드 공급망에서 돈의 흐름이 잘 보이지 않는 층입니다. 로봇 학습에 널리 쓰이는 시뮬레이터 가운데 둘(Isaac Sim·MuJoCo)은 무료 오픈소스로 공개돼 있어서, 무료 시뮬레이터를 쓴다는 확인 관계는 구매 계약이 아니라 개발 도구를 쓴다는 뜻입니다. 공급망 표의 시뮬레이션 관계도 로봇 회사의 저장소나 소프트웨어 회사의 글이 그 도구를 쓴다고 적은 수준입니다. 무료 도구를 내놓은 회사가 무엇으로 돈을 버는지(연산 장비·클라우드·기업용 지원 등)는 회사마다 달라, 그 회사의 사업 설명에서 따로 확인해야 합니다. 반대로 산업용 팔의 한 시뮬레이터처럼 프리미엄 라이선스를 따로 두는 제품도 있습니다. 시뮬레이터 회사의 로봇 관련 발표를 읽을 때는 고객 이름보다, 그 회사가 실제로 받는 대가가 무엇인지를 찾아보세요.
07 · 뉴스 해부 연습
이 기사, 무엇을 더 확인할까
아래 기사를 읽고 더 확인해야 할 것을 모두 고른 뒤 "확인"을 누르세요. 항목마다 이유가 열립니다.
휴머노이드 업체 S사, "시뮬레이션에서만 학습한 AI로 실제 로봇이 처음 걷는 바닥도 문제없이 걸어"
시뮬레이션에서 옮겨 온 정책이 회사가 고른 한 장면에서 잘 걷는 것과, 여러 바닥에서 여러 번 시험해 성공률을 낸 것은 다른 증거입니다. 젖은 바닥이나 경사처럼 마찰이 다른 조건이 시험에 들어갔는지도 봐야 합니다.
피규어는 가상 로봇마다 물리 값을 무작위로 바꿔 시뮬레이션과 현실의 간격을 메운다고 설명합니다. 위 실험처럼 현장 마찰이 가정에서 크게 벗어나면 계획한 힘이 버티지 못할 수 있습니다(이 모형 기준).
시뮬레이션의 접촉과 마찰은 물리 현실의 근사라서, 가상에서 쌓은 시간이 현실의 같은 시간과 같은 경험이 되지는 않습니다. 테슬라도 이상화한 모델로 짠 걸음이 실제 로봇에서 몇 걸음 만에 넘어지는 장면을 보여 줬습니다.
유니트리의 강화학습 도구도 다른 시뮬레이터로 다시 시험하는 단계(Sim2Sim)와 실제 로봇에 올리는 단계(Sim2Real)를 따로 둡니다. 학습을 가상에서 했어도 현실 시험은 남습니다.
08 · 퀴즈와 다음 예고
세 문제로 확인하기
세 문제를 모두 맞히면 이 강의를 완료로 기록합니다.
위 실험에서 시뮬레이션 마찰계수 0.5, 현장 마찰계수 0.4이면 어떻게 되나?
도메인 무작위화를 바르게 설명한 것은?
유니트리 강화학습 저장소의 Sim2Sim 단계가 하는 일은?
다음 강의에서 볼 것
다음 강의에서는 말로 한 지시와 카메라로 본 장면을 함께 받아 로봇의 행동으로 바꾸는 VLA 모델을, 지시·관측·행동을 잇는 실험으로 봅니다.