피지컬 AI 연구와 현장 읽기 · 심화 워크북

진행 순서

• 두 연구의 입력, 출력 행동과 사용한 작업 환경을 자료에서 각각 찾습니다.
• 학습에 쓰인 조건과 평가에서 새로 바뀐 조건을 구분합니다. 공개 요약에서 확인할 수 없으면 논문 확인 과제로 남깁니다.
• 가림이 없는 지시와 가려진 지시를 실행하고 행동 전 필요한 확인을 기록합니다.
• 현장으로 옮길 때의 센서·지연·물체·실패 복구 차이를 작성하고 독립 평가 기준을 정합니다.

기록할 내용

RT-2 · 입력과 일반화 주장

영상·언어·행동의 연결, 새 조건의 정의, 자료 위치

RoboTAP · 시범과 관측

시각 추적과 시범의 역할, 필요한 데이터와 적용 작업

공정한 비교 조건

같은 물체·하드웨어·성공 기준인지 / 비교할 수 없는 이유

실패와 사람 개입

모호한 지시·가림·낙하·복구·원격조작의 기록 기준

현장 평가 설계

학습에 없는 조건과 독립 평가 자료, 중단 기준

마지막 확인

• 연구 소개를 상용 현장 가동률로 쓰지 않았다
• 학습·평가 조건의 겹침과 차이를 확인했다
• VLA 출력과 모터 제어 및 안전 기능을 구분했다
• 실험은 실제 AI 추론이 아닌 교육 시나리오임을 기록했다

출처와 확인 범위

• Google DeepMind · RT-2

  RT-2는 시각·언어 지식과 로봇 행동을 연결하는 연구 접근이다.

  추가 확인: 사용자 현장의 물체·하드웨어·장기 무개입 평가

• Google DeepMind · RoboTAP

  RoboTAP은 시각 추적을 활용해 시범에서 행동을 배우는 연구를 설명한다.

  추가 확인: RT-2와 동일한 작업·하드웨어·실패 기준에서의 직접 비교

출처와 확인 범위

• Google DeepMind · RT-2 연구 발표

  2023년 연구 발표의 영상·언어·행동 연결을 확인합니다. 연구 결과를 모든 로봇·현장에 일반화하지 않습니다.

  출처 확인일: 2026-10-14

• Google DeepMind · RoboTAP 연구

  시범과 시각 추적을 이용한 모방학습 연구 소개입니다. 체험의 보간은 신경망 학습이나 논문 성능 재현이 아닙니다.

  출처 확인일: 2026-10-14

• Tobin 외 · Domain Randomization 원 논문

  시뮬레이션에서 현실로 옮기기 위한 시각적 변동 연구입니다. 마찰 체험은 원리를 넓혀 설명하는 별도 교육용 가정입니다.

  출처 확인일: 2026-10-14

• NVIDIA · 피지컬 AI의 범위

  물리적 세계의 인식과 행동, 학습·평가 흐름을 참고했다. 제조사의 개념 소개이며 모든 로봇의 표준 구조를 뜻하지 않는다.

  출처 확인일: 2026-10-14

관련 강의

• 16강 · 규칙 기반과 학습 기반
• 17강 · 시범에서 무엇을 배울까
• 18강 · 보상이 가르치는 행동
• 19강 · 시뮬레이션과 현실의 간격
• 20강 · 영상·언어·행동을 잇는 VLA