말 잘하는 AI 넘어 ‘움직이는 AI’ 안전으로…한국 스타트업이 글로벌 연합 주도
- 에임인텔리전스, 피지컬 AI 안전 컨소시엄 ‘PASC’ 출범
- 빅테크 소속 전문가·대학 연구자 등 30여 명 참여
- 위험 정의·벤치마크·적대적 시험 추진…국제 표준 영향력 확보 주목
로봇과 자율주행차, 산업장비처럼 현실 공간에서 직접 움직이는 인공지능(AI)의 위험을 공동 연구하는 글로벌 협력체가 한국 스타트업 주도로 출범했다. 생성형 AI의 유해 답변을 차단하는 수준을 넘어 AI의 판단이 물리적 사고로 이어지지 않도록 시험하고 통제하는 기준을 마련하려는 시도다.
AI 보안 전문기업 에임인텔리전스는 글로벌 피지컬 AI 안전 컨소시엄 ‘PASC(Physical AI Safety Consortium)’를 출범했다고 17일 밝혔다. PASC는 피지컬 AI 안전의 공통 정의와 평가 방법론, 벤치마크, 향후 표준화에 필요한 연구 기반을 공동으로 마련하는 개방형 연구 연합체다.
피지컬 AI는 카메라와 각종 센서로 주변 환경을 인식하고 스스로 판단해 로봇팔이나 바퀴, 차량 조향장치 등을 움직이는 AI를 의미한다. 잘못된 답변을 화면에 표시하는 생성형 AI와 달리 오류가 충돌이나 낙상, 설비 파손, 인명 피해로 곧바로 연결될 수 있다.
PASC에는 구글과 마이크로소프트, 오라클, LG전자 소속 전문가를 비롯해 국내외 대학과 AI 안전 연구기관 연구자 등 30여 명이 참여한다. 다만 해당 기업들이 법인 차원에서 공식 회원으로 가입했다고 보기보다는 각 기업 소속 전문가들이 연구에 참여하는 형태로 이해할 필요가 있다.
에임인텔리전스가 컨소시엄을 소집해 비영리 방식으로 운영하며, 개인과 기관은 연구 결과와 AI 모델, 로봇 하드웨어, 컴퓨팅 자원, 데이터 등 다양한 형태로 참여할 수 있다. 특정 기업의 기술을 인증하는 조직이 아니라 산업계와 학계가 공통으로 사용할 안전 연구의 기반을 만드는 데 목적을 두고 있다.
PASC의 첫 공동 과제는 피지컬 AI 안전의 범위와 평가 방향을 정리한 공식 문서를 만드는 것이다. 이후 공동 평가체계와 벤치마크 설계, 실제 운용 환경을 가정한 적대적 시험, 시뮬레이션과 현실 로봇을 연결한 검증 연구로 활동을 확대할 계획이다.
핵심 연구 질문도 제시했다. 로봇이 일으킬 수 있는 위험을 충분히 정의할 수 있는지, 사고로 이어지기 전 위험 징후를 발견할 수 있는지, 기종과 환경이 바뀌어도 평가 결과가 유지되는지, 외부 공격자가 상황에 맞춰 방식을 바꾸는 적응형 공격을 가해도 안전장치가 견딜 수 있는지 등을 검증한다.
이는 피지컬 AI 안전을 제품 출시 전 한 번 통과하는 검사가 아니라 운용 기간 내내 관찰하고 갱신해야 하는 과정으로 본다는 의미다. 같은 로봇이라도 공장과 병원, 가정에서 위험의 종류와 허용 수준이 달라지며, 소프트웨어가 업데이트되거나 주변 환경이 변하면 기존 안전평가가 더 이상 유효하지 않을 수 있기 때문이다.
에임인텔리전스는 AI 시스템의 취약점을 공격자의 관점에서 찾아내는 자동화 레드팀 플랫폼과 유해한 동작을 실시간으로 차단하는 가드레일 기술을 개발해 왔다. PASC 출범은 이러한 AI 보안 역량을 언어모델에서 로봇과 자율 시스템으로 확장하려는 전략으로 풀이된다.
한국 기업이 초기 논의를 주도한다는 점도 의미가 있다. 피지컬 AI 안전 기준이 국제 표준과 제품 인증 체계로 발전하면 이를 먼저 설계하고 검증한 기업과 연구기관은 글로벌 로봇·자율주행 시장에서 기술적 영향력을 확보할 수 있다. 반대로 해외 기준이 먼저 굳어지면 국내 기업은 뒤늦게 제품 설계와 시험방식을 바꿔야 할 수 있다.
다만 컨소시엄 출범 자체가 국제 표준 제정을 의미하지는 않는다. 참여자의 소속과 명성보다 실제 공개되는 연구 결과와 벤치마크의 신뢰성, 다양한 로봇에서의 재현 가능성이 중요하다. 사고 책임과 데이터 공개 범위, 기업 기밀 보호, 국가별 규제 차이도 풀어야 할 과제다.
향후 PASC가 공통 시험 데이터와 평가 도구를 공개하고 국제 표준화 기구 및 규제기관과 협력할 수 있다면 한국은 피지컬 AI를 만드는 국가를 넘어 안전한 운용 규칙을 제시하는 국가로 영역을 넓힐 수 있다. 로봇의 성능 경쟁이 빨라질수록 그 행동을 어디까지 믿고 맡길 수 있는지를 증명하는 기술도 핵심 산업으로 성장할 전망이다.
더 좋은 미래를 위한 콘텐츠 플랫폼 – <굿퓨처데일리>