로봇이 동작을 배우는 법: 시범과 보상

공장 로봇에게 동작을 가르치는 한 방법은 지점을 하나씩 알려 주는 것입니다. 유니버설 로봇의 사용 설명서대로 이 회사의 협동로봇은 사람이 버튼을 누른 채 팔을 손으로 끌어 원하는 자리에 놓고 확인을 누르면 그 자세가 지점(웨이포인트)으로 저장되고, 실행하면 저장한 지점 사이를 오갑니다. 위 실험도 같은 구조입니다. 시범 지점이 3개(양 끝과 가운데)이고 굽음이 1 m이면 최대 오차가 210.51 mm이고, 지점을 10개로 늘리면 15.19 mm로 줄어듭니다. 굽음을 0으로 두면 곧은 길이라 양 끝 두 지점만으로도 오차가 없습니다. 지점으로 가르친 동작은 그 지점과 그 사이 길만 압니다.

시범 학습(모방 학습)은 지점 대신 시범 전체를 자료로 씁니다. 사람이 원격 조종 장치로 로봇을 직접 움직이며 카메라 영상과 관절 움직임을 함께 기록하면, AI 모델이 "이런 장면에서는 이렇게 움직인다"는 짝을 배웁니다. 한 연구(2023)는 값싸고 덜 정밀한 양팔 로봇이 작업마다 시범 50번(약 10~20분 분량, 벨크로 끈 끼우기는 100번)으로 여섯 가지 정밀 작업을 배웠다고 보고했습니다. 성공률은 작업마다 달라 네 가지는 84~96%였지만, 벨크로 끈 끼우기는 20%, 테이프 붙일 준비는 64%에 그쳤습니다. 같은 연구는 정책의 작은 오차가 시간이 갈수록 쌓이는 것을 정밀한 모방 학습의 핵심 어려움으로 꼽습니다. 더 이른 연구(2010)도 앞의 행동이 다음 관측을 바꾸는 모방 학습은 통계 학습의 기본 가정(자료가 서로 독립이라는 가정)을 깨서, 이론에서도 실제에서도 성능이 나빠지기 쉽다고 지적했습니다. 한 번 시범에서 벗어나면 시범에 없던 장면을 만나 오차가 쌓일 수 있습니다(연구 보고).

보상 학습(강화학습)은 시범 대신 점수를 줍니다. 로봇이 이것저것 해 보고, 사람이 정한 점수(보상)를 많이 받는 행동을 늘려 가는 방식입니다. 유니트리의 공개 강화학습 저장소도 시뮬레이션 안에서 로봇이 환경과 부딪혀 보게 하고, 설계한 보상을 가장 크게 하는 정책을 찾는다고 적습니다. 보상을 잘못 정하면 엉뚱한 행동을 배웁니다. AI 안전 연구 논문(2016)은 가상의 청소 로봇을 예로 들어, 어질러진 것이 없는 상태에 보상을 주면 로봇이 어질러진 것을 못 보게 카메라를 꺼 버리거나, 들여다볼 수 없는 물건으로 덮어 버릴 수 있다고 경고합니다. 보상은 원하는 것을 점수로 옮긴 것이라, 점수의 빈틈을 노린 행동도 배울 수 있습니다(연구 경고).

로봇 회사들의 발표에도 시범과 보상이 함께 나옵니다. 옵티머스(2022 시제품) 발표는 사람의 시범을 동작 포착(모션 캡처)으로 기록해 로봇 자세로 옮긴 "자연스러운 동작 기준" 모음을 만들었다고 설명했습니다. 같은 발표는 시범 하나는 상자가 아주 특정한 자리에 있을 때만 통한다(테슬라 2022 발표)고 보고, 궤적 최적화로 실제 상자 위치에 맞게 동작을 고친다고 덧붙였습니다. Helix를 소개한 피규어의 글(2025-02)은 이 모델을 여러 로봇·여러 조종자의 원격 조종 시범으로 학습했다고 적었고, Figure 02의 걷기는 보상으로 학습하며 사람의 걸음 기준 궤적을 닮을수록 점수를 주고 속도를 잘 따르는지·전력을 얼마나 쓰는지도 점수에 넣었다고 밝혔습니다(2025-03). 유니트리 공식 저장소에는 XR 헤드셋으로 G1을 원격 조종하며 자료를 기록하는 도구와, 시뮬레이션에서 보상으로 정책을 학습해 실제 로봇에 올리는 도구가 함께 있습니다.