VLA: 보고 듣고 움직이는 AI 모델

VLA는 시각(Vision)·언어(Language)·행동(Action)을 한 모델로 잇는다는 뜻입니다. 2023년 RT-2 논문은 인터넷의 그림과 글로 학습한 시각 언어 모델에 로봇 행동을 글자(토큰)처럼 적어 함께 학습시키고, 이런 모델을 VLA라고 불렀습니다. 논문은 이렇게 학습한 모델이 처음 보는 물체를 더 잘 다루고, 로봇 학습 자료에 없던 지시도 알아듣는다고 보고했습니다. 피지컬 인텔리전스의 π0(2024-10)는 30억 매개변수 시각 언어 모델에서 출발해 연속적인 행동 출력을 더하고, 모터 명령을 초당 최대 50번 낸다고 설명합니다. 인터넷에서 배운 그림·글 지식 위에 로봇 자료를 더해, 장면과 말을 행동으로 바꿉니다.

위 실험은 그 연결을 사람이 손으로 적어 둔 모형입니다. 지시 "왼쪽 상자를 집어라"는 언제나 -0.5 m로 가고, 상자가 가려지면 멈춥니다. 실제 VLA는 이 연결을 자료에서 배웁니다. 그래서 앞의 논문처럼 학습 자료에 없던 표현에도 행동을 내놓을 수 있지만, 그 행동이 틀릴 수도 있습니다. π0.5를 발표한 피지컬 인텔리전스는 모든 실험을 학습 자료에 없던 집에서 했다고 밝히면서도, 모델이 아직 완벽과 거리가 멀고 첫 시도에 늘 성공하지는 않으며 판단과 모터 명령 양쪽에서 자주 실수한다고 적었습니다(2025-04). 처음 보는 곳에서 된다는 발표도 실패가 함께 적혀 있는지 봐야 합니다.

모델이 크면 판단이 느려지는데, 관절은 빠른 명령을 기다립니다. 피규어는 Helix(2025-02)를 장면과 말을 이해하는 큰 모델(S2)과, 그 결과를 받아 상체를 빠르게 움직이는 작은 모델(S1)로 나눠 로봇 안의 GPU에서 따로 돌린다고 밝혔습니다. Helix 02(2026-01)에서는 S2가 목표를 느리게 따지고 S1이 빠르게 생각한다고 설명하며, 그 아래에서 전신의 균형·접촉을 더 빠르게 맡는 S0를 더했습니다. 한 칩 회사가 공개한 휴머노이드용 모델 논문(GR00T N1, 2025)도 장면과 지시를 해석하는 모듈과 실시간 동작을 만드는 모듈을 나눈 이중 구조를 씁니다. 어디서 돌리는지도 갈립니다. 피규어는 Helix가 모두 로봇 안에서 돈다고 밝혔지만, 유니트리가 공개한 G1용 VLA(UnifoLM-VLA-0)는 저장소 설명상 추론을 서버에서 합니다. Google DeepMind는 Gemini Robotics의 온디바이스 모델을 통신망 없이 로봇에서 돌도록 따로 만들었다고 소개합니다. 모델을 로봇 안에서 돌리느냐 서버에서 돌리느냐에 따라 로봇에 실을 연산 장치가 달라집니다.

세 로봇 회사는 각자 자기 모델을 내세우지만, 밝힌 정도가 다릅니다(공개 기준). 피규어의 Helix는 자체 개발 모델로, 공개 시각 언어 모델 위에 만든 S2와 S1을 여러 로봇·여러 조종자의 원격 조종 자료로 학습했다고 밝혔습니다. 피규어는 처음 보는 작은 집안 물건을 "○○를 집어라" 같은 말만으로 집었다고 발표했지만(2025-02), 시험한 물건의 정확한 수와 성공률은 적지 않았습니다. 유니트리는 G1 자료로 학습한 자체 개발 모델 UnifoLM-VLA-0의 코드와 가중치를 공개했고(2026-01-29), 판매되는 G1에 기본으로 들어간다는 설명은 저장소에 없습니다. 옵티머스(2022 시제품)의 경우 테슬라는 자율주행 차의 시각 신경망을 그대로 옮겨 오고 학습 자료만 새로 모았다고 발표했으며, 그 발표의 로봇 부분에는 말로 지시를 받는 모델 이야기가 없습니다. 처음 보는 물건도 집는다는 말은 발표한 회사·날짜·시험 조건을 붙여서 옮겨야 합니다.