사진으로 부품 살펴보기
빠른 길과 피해야 할 길
이동 로봇의 목적지는 같아도 경로는 여러 개일 수 있습니다. 이동 시간과 충돌을 어떻게 평가하는지에 따라 선택이 달라집니다.
2018년 전시장 사진입니다. 로봇과 상부 운반 장치의 구성을 보여 주며 실제 공장 납품이나 생산성 수치의 증거로 쓰지 않습니다.
FFOliver · 원본 사진 · CC BY-SA 4.0
비율을 유지해 긴 변 최대 1200px로 축소(원본보다 확대하지 않음), JPEG 재압축 및 EXIF 제거. 추가 자르기·형태 변경 없음.
- 로봇의 진행 방향을 생각해 봅니다.
- 차체가 통과할 공간을 확인합니다.
- 사진만으로 충돌 회피 정책의 안전성을 판단하지 않습니다.
점수 규칙이 선택을 바꿉니다
고정 후보 두 개를 비교하는 교육용 예입니다. 시간 1초당 비용 5점, 충돌 비용 50점일 때 우회 경로의 점수가 더 높습니다.
- 지름길 A: 2초와 충돌 1회: −10 − 50 = −60점입니다.
- 우회 B: 5초와 충돌 0회: −25점입니다.
- 선택: −25가 −60보다 높습니다. 실제 강화학습은 실행하지 않습니다.
실습을 처음 한다면, 이 순서대로 따라 해보세요
- 시간 비용 5점/s, 충돌 비용 50점으로 실행합니다.
화면에서 볼 것 지름길 −60점, 우회 −25점과 선택 결과를 봅니다.
그 이유 50점 충돌 손실이 시간 절약 15점보다 큽니다.
- 충돌 비용만 0점으로 바꿉니다.
화면에서 볼 것 지름길 −10점이 우회 −25점보다 높아집니다.
그 이유 계산에 넣지 않은 충돌은 선택에서 불이익이 없습니다.
- 충돌 비용을 15점으로 바꿉니다.
화면에서 볼 것 두 경로가 −25점으로 같고 우회가 선택됩니다.
그 이유 작성된 동점 처리 규칙도 결과의 일부입니다.
한 단계씩 이해하기
원리 01
점수가 높은 것과 좋은 행동은 같을까요
시험에서 속도만 채점하면 글씨를 읽기 어렵게 써도 빨리 제출하는 사람이 유리할 수 있습니다. 로봇의 보상도 같은 문제를 가집니다. 무엇을 계산에서 빼놓았는지에 따라 점수가 높은 행동이 사람의 기대와 달라질 수 있습니다.
실습은 시간 비용과 충돌 비용을 합쳐 음수로 만듭니다. 비용이 작으면 보상은 큽니다. 예를 들어 −10점은 −25점보다 높습니다. 음수라는 이유로 모두 같은 실패로 보지 말고, 어떤 선택의 손실이 더 작은지 비교해 보세요.
원리 02
선택지는 두 개로 고정되어 있습니다
지름길 A는 2초가 걸리고 충돌이 1회 있습니다. 우회 경로 B는 5초가 걸리고 충돌이 없습니다. 화면에서 비용을 바꿔도 길의 시간이나 충돌 횟수는 변하지 않습니다. 새로운 경로를 탐색하거나 실제 로봇을 움직여 데이터를 모으지 않습니다.
시간 비용이 초당 5점이면 지름길의 시간 비용은 10점, 우회는 25점입니다. 지름길이 절약하는 15점보다 충돌 비용이 크면 우회가 유리합니다. 동점이면 우회를 선택하도록 작성되어 있으므로 경계값에서도 결과를 확인할 수 있습니다.
원리 03
안전은 점수 하나로 끝나지 않습니다
충돌 비용을 높이면 이 두 후보 사이에서는 우회가 선택됩니다. 그렇다고 모든 실제 상황의 충돌을 막는 안전 장치가 생긴 것은 아닙니다. 현실에는 예측하지 못한 장애물, 측정 오류, 멈추기까지의 지연이 있습니다.
실제 설계에서는 피해야 하는 상태와 정지 조건을 별도로 정하고 시험합니다. 보상과 안전 제약은 같은 말이 아닙니다. 학습 결과를 평가할 때에도 총점만 보지 않고 충돌, 작업 완료, 사람 개입을 나눠 읽어야 원치 않는 선택을 찾을 수 있습니다.
숫자로 천천히 따라가기
충돌을 무시하면 지름길이 이깁니다
아래 숫자는 이 강의 실습의 교육용 예시입니다.
- 시간 1초의 비용을 5점으로 둡니다.
- 지름길은 2 × 5 = 10점의 시간 비용이 듭니다.
- 충돌 비용이 0이면 지름길 보상은 −10점입니다.
- 우회 보상은 −5 × 5 = −25점이므로 지름길이 선택됩니다.
빠른 선택이 바람직한 선택인지는 보상 밖의 결과까지 살펴봐야 알 수 있습니다.
이렇게 오해하기 쉬워요
흔한 생각 이 장면은 강화학습을 실시간으로 수행한다.
미리 정해진 두 후보의 점수를 비교합니다. 학습이나 탐색은 실행하지 않습니다.
흔한 생각 충돌 비용을 크게 쓰면 안전 인증이 된다.
가상 점수의 선택 결과이며 실제 안전 검증을 대신하지 않습니다.
오늘 가져갈 세 문장
이것만은 기억해 주세요
- 보상에는 사람이 정한 우선순위가 들어갑니다.
- 음수 보상도 크기를 비교해 선택합니다.
- 완료율과 위험을 따로 확인합니다.
강의 설명과 적용
강화학습은 행동 뒤의 결과와 보상을 이용해 누적 보상을 높이는 행동을 찾는 접근입니다. 정답 동작을 매번 보여주는 모방학습과 정보가 주어지는 방식이 다릅니다.
보상은 사람이 원하는 일을 대신 표현한 숫자입니다. 이동 속도만 높게 평가하면 물건을 떨어뜨리거나 거칠게 밀어도 높은 점수를 받는 허점이 생길 수 있습니다.
작업 완료, 충돌, 에너지와 시간에 대한 기준을 나누고 실제 목적과 맞는지 확인합니다. 보상 점수와 실제 작업 품질을 서로 독립된 지표로 평가하는 이유입니다.
현실 로봇에서 시행착오는 장비 손상과 운영 비용을 만들 수 있습니다. 시뮬레이션 학습 뒤에도 안전 제약과 별도 검증을 거쳐야 하며 학습 성공이 곧 현장 허용을 의미하지 않습니다.
3D 실습 과제
시간 비용 5점/s에서 충돌 비용 50점과 0점을 실행하세요. 선택 경로·소요시간·충돌 여부와 보상이 같은 목적을 지지하는지 비교하세요.
정해진 행동 후보의 보상 비교입니다. 강화학습 최적화나 실제 정책 훈련을 실행하지 않습니다.
관련 3D 실험 열기확인 문제
보상은 높아졌는데 상자 파손도 늘었습니다. 적절한 해석은?
- 목적을 대리한 보상에 허점이 있다
- 높은 보상이므로 성공이다
- 파손 측정을 중단한다
풀이 보기
최적화한 숫자가 실제 목표와 어긋날 수 있습니다.
출처와 확인 범위
OpenAI Spinning Up · 강화학습 기초
관측·행동·보상·누적 보상의 정의를 참고합니다. 체험은 고정 경로의 점수 비교이며 정책을 학습하지 않습니다.
출처 확인일: 2026-10-14