『피지컬 AI 시스템 설계』 — 화면 밖으로 나오는 AI, 그 전환의 지도

피지컬AI 시스템 설계

챗봇 다음이 궁금한 개발자를 위한 책 — 『피지컬 AI 시스템 설계』 리뷰

 이 책을 펼치기 전

요즘 AI 뉴스를 볼 때마다 조금 지쳐 있었다. 매일 새 모델 이름이 쏟아지는데, VLA·GR00T·π(파이) 계열 같은 단어는 눈에만 익을 뿐 머릿속에서 서로 연결이 안 됐다. 챗GPT로 코드 짜고 문서 만드는 건 일상이 됐는데, "그래서 이 AI가 로봇을 움직이는 거랑 무슨 상관이지?"라는 질문 앞에선 늘 말문이 막혔다.

그러던 차에 이 책, 『피지컬 AI 시스템 설계』(엥지유니버스 지음 / 한빛미디어 / 320쪽)를 받았다.

 서문에서 마음을 놓다

전자책을 열고 표지를 넘기니 지은이 소개, 그리고 '이 책에 대하여'라는 서문이 나온다. 여기서부터 이 책의 태도가 드러난다. 저자는 현직 로봇 개발자인데, 이렇게 고백한다. 챗GPT가 보여준 도약이 로봇 분야에서도 곧 일어날 것이라 기대했지만, 현실 세계를 다루는 로봇은 텍스트나 이미지보다 훨씬 까다로운 문제를 안고 있었다고. 센서 데이터엔 오차가 있고, 물건을 잡는 순간엔 힘과 접촉이 복잡하게 변하며, 같은 명령이라도 대상의 위치·무게·재질에 따라 완전히 다른 행동이 필요하다는 것.

기술을 파는 사람이 아니라 현장에서 한계를 직접 겪어본 사람의 목소리라는 게 첫 장부터 느껴져서 신뢰가 갔다. 대중이 기대하는 "똑똑한 로봇"과 실제 현장에서 만들 수 있는 로봇 사이에 큰 간격이 있다는 문장에서, 나도 모르게 고개를 끄덕였다.

 이 책의 진짜 핵심: "최신 기술보다 중요한 것은 변화의 흐름"

서문에 아예 이런 소제목이 있다. "최신 기술보다 중요한 것은 변화의 흐름이다." 저자는 이 책이 "지금 가장 최신 기술이 무엇인가"를 설명하는 데 목적을 두지 않았다고 못 박는다. 피지컬 AI는 아직 하나의 정답으로 수렴된 단계가 아니고, 지금 주목받는 기술도 몇 달 뒤엔 대체될 수 있으니, **"어떤 한계에 부딪혔고, 그 한계를 넘기 위해 어떤 아이디어가 등장했는지"**를 따라가야 방향을 읽을 수 있다는 것이다.

이 관점이 책 전체를 관통한다. LLM 기반 플래닝에서 시작해 → VLA 모델 → 오픈 로봇 데이터셋 → 중간 표현 → 연속 행동 → 듀얼 시스템 구조 → 디지털 트윈 → 합성 데이터 → 파인튜닝 → 온디바이스 실행 → 지속 학습 시스템까지, 하나의 흐름으로 꿰어진다. 그래서 개별 모델 이름을 외우는 게 아니라, 새 뉴스가 떠도 "아, 이건 그 흐름의 어디쯤이겠구나" 하고 스스로 위치를 짚는 감각이 생긴다.

 읽으면서 가장 시원했던 순간

4장(VLA 모델의 탄생)을 반신반의하며 읽기 시작했다. RT-1, RoboCat, RT-2… 또 이름 폭탄이겠거니 했는데, "실제 로봇 제어도 트랜스포머로 스케일링할 수 있을까?"라는 질문에서 출발해 RT-1이 그걸 증명하고 → RT-2가 웹 지식을 로봇 행동으로 전이시키는 흐름으로 자연스럽게 이어진다. 흩어져 있던 퍼즐이 맞춰지는 기분이었다.

6~7장(중간 표현·연속 액션 → 듀얼 시스템 설계)에선 "왜 이미지와 문장만으로는 실전에서 실패하는가"라는 대목에 밑줄을 그었다. 생각하는 층(추론)과 움직이는 층(행동)을 나눈다는 설계 원리가, 평소 백엔드에서 관심사를 분리하던 감각과 겹쳐서 유독 반가웠다.

 로봇이 없어도 시작할 수 있다니

가장 실용적으로 다가온 건 3부(로봇 없이 시작하는 피지컬 AI 실전 개발)였다. "이 분야는 비싼 로봇 팔이 있어야 하는 거 아냐?"라는 편견이 있었는데, 이 책은 시뮬레이터와 오픈소스만으로도 구조를 이해하고 실험할 수 있다고 안내한다. 데이터 수집·가공(9장)부터 디지털 트윈(10장), 합성 데이터(11장), 파인튜닝(12장), 온디바이스 최적화(13장)까지 파이프라인 전체가 하나로 정리된다.

그래서 16장을 읽고는 참지 못하고 노트북을 열어 우분투 환경에서 LeRobot 프레임워크 진입점을 따라가 봤다. (환경 세팅에서 한 번 삐끗해 저녁을 통째로 날렸지만, 이건 순전히 내 탓…) 완벽한 매뉴얼은 아니어도 "일단 손을 대볼 수 있게" 출발선을 짚어주는 것만으로 충분히 고마웠다.

 아쉬운 점도 솔직하게

• 워낙 빠르게 변하는 분야라 특정 모델·수치는 시간이 지나면 갱신될 수밖에 없다. (다만 저자가 처음부터 '구조와 아이디어' 중심으로 써서 이 한계는 꽤 상쇄된다.)
• 14장(디지털 트윈 구축 사례) 같은 일부 장은 분량이 짧아 맛보기에 가깝다. 더 깊이 파려면 원 논문·공식 문서를 곁들여야 한다.

한마디로 이 책은 '지도'이지 '매뉴얼'은 아니다. 하지만 어디서부터 봐야 할지 몰라 헤매던 나에겐, 지도가 매뉴얼보다 백 배 더 필요했다.

 이런 분께 추천합니다

• 생성형 AI는 익숙한데 피지컬 AI는 막막한 소프트웨어 개발자
• VLA·GR00T·π 같은 키워드를 파편적으로만 아는, 큰 그림이 필요한 분
• 로봇 장비 없이 시뮬레이터·오픈소스로 직접 실험해보고 싶은 분
• 피지컬 AI 시대의 커리어를 고민하는 주니어·현업 개발자 (18~19장 커리어 로드맵이 알차다)

 총평 ⭐️⭐️⭐️⭐️☆ (4.5/5)

책을 덮으며 가장 크게 남은 건 지식이 아니라 **'방향감'**이었다. 이제 새 로봇 AI 뉴스를 봐도 그 흐름의 어디쯤인지 가늠할 수 있게 됐다. 피지컬 AI가 아직 완성되지 않은 기술이라 오히려 지금 시작하는 사람에게 기회가 많다는 저자의 메시지가, 묘하게 오래 마음에 남는다.

한 줄 평: 유행어의 홍수 속에서 '흐름'을 쥐여주는, 피지컬 AI 입문의 좋은 첫 지도.

 

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.