젠슨 황 CEO의 장녀 매디슨 황 엔비디아 수석이사 등 엔비디아 주요 관계자들이 18일 서울 서초구에 구축 중인 LG 데이터팩토리를 방문했다. 사진은 LG전자 클로이드가 매디슨 황 수석이사에게 환영 꽃다발을 전달하는 모습

LG-엔비디아, ‘로봇의 교과서’ 만든다…10만 시간 데이터로 피지컬 AI 승부

2026년 08월 18일 굿퓨처데일리 서정원 기자

구광모·젠슨 황 협력 합의 나흘 만에 실무진 회동…로봇 사업화 속도
양재 데이터팩토리에 클로이드 최대 300대 투입…실제·가상 데이터 함께 축적
제조·가전 현장과 엔비디아 플랫폼 결합…한국형 피지컬 AI 생태계 확장 주목

LG전자와 엔비디아가 인공지능(AI) 로봇의 성능을 좌우할 대규모 학습 데이터 구축에 나섰다. 구광모 LG그룹 회장과 젠슨 황 엔비디아 최고경영자(CEO)가 전략적 사업협력에 합의한 지 나흘 만에 양사 핵심 관계자들이 로봇 데이터 생산 현장에서 다시 만나면서 협력이 선언 단계를 넘어 실행 단계로 빠르게 이동하고 있다.

이번 협력의 중심은 서울 서초구 양재동에 구축 중인 LG 데이터팩토리다. 일반적인 공장이 제품을 생산한다면 이곳은 로봇이 현실 세계에서 보고 판단하고 움직이는 데 필요한 학습 데이터를 생산한다. 로봇이 가정과 공장에서 다양한 작업을 반복 수행하고, 그 과정에서 수집한 데이터를 검증·정제해 다시 로봇 파운데이션 모델 학습에 활용하는 구조다.

18일 LG 데이터팩토리를 찾은 매디슨 황 엔비디아 옴니버스·로보틱스 제품 마케팅 수석이사를 비롯한 엔비디아 관계자들은 류재철 LG전자 CEO, 현신균 LG CNS CEO, 정수헌 LG사이언스파크 대표 등과 데이터팩토리 가동 현황과 로보틱스 협력 방안을 점검했다.

매디슨 황 수석은 젠슨 황 CEO의 장녀이지만 이번 방문의 의미는 가족관계보다 엔비디아에서 맡고 있는 역할에 있다. 옴니버스와 로보틱스 기술의 시장 적용을 담당하는 핵심 관계자가 LG의 실제 데이터 생산 현장을 방문했다는 점에서 양사가 로봇 학습과 사업화 방안을 구체적으로 협의하기 시작한 것으로 볼 수 있다.

양사 회동은 지난 13일 미국 캘리포니아주 산타클라라 엔비디아 본사에서 구광모 회장과 젠슨 황 CEO가 미래 전략사업 협력을 위한 업무협약을 체결한 직후 이뤄졌다. 대기업 간 업무협약이 실제 사업으로 이어지기까지 상당한 시간이 걸리는 경우가 많다는 점을 고려하면 나흘 만의 후속 회동은 양측이 피지컬 AI를 우선순위가 높은 전략사업으로 보고 있음을 보여준다.

피지컬 AI는 언어와 이미지를 생성하는 기존 AI를 넘어 현실 세계를 인식하고 판단해 물리적으로 행동하는 인공지능을 뜻한다. 사람의 지시를 이해하는 것만으로는 충분하지 않다. 물체의 크기와 무게, 마찰력, 주변 사람의 움직임, 공간의 제약을 파악하고 예기치 않은 상황에서도 안전하게 행동해야 한다.

로봇이 컵을 옮기는 단순한 작업을 수행할 때도 컵의 재질과 모양, 손잡이 방향, 내용물의 양, 테이블 높이, 로봇 손의 힘을 함께 계산해야 한다. 같은 세탁물을 개는 작업도 옷의 크기와 소재, 구겨진 형태가 매번 다르다. 현실에는 언어모델의 문서 데이터처럼 정돈된 정답이 존재하지 않기 때문에 피지컬 AI 경쟁에서는 얼마나 다양하고 정확한 행동 데이터를 확보하느냐가 핵심이다.

LG전자는 현재 자체 제작한 ‘LG 클로이드(CLOiD)’를 데이터팩토리에 투입해 청소와 물건 정리, 부품 운반·적재·조립 등 가정과 제조 현장에서 필요한 작업 데이터를 수집하고 있다. 가정처럼 구성한 공간에서는 생활 동작을 학습하고, 미국 테네시 세탁기 공장의 공정을 재현한 공간에서는 실제 생산현장에서 필요한 작업을 훈련한다.

LG CNS의 물류 자동화 기술과 LG이노텍의 로봇 손 관련 역량도 데이터팩토리에 결합된다. LG전자는 투입 로봇을 단계적으로 늘려 연내 최대 300대 규모로 확대할 계획이다. 데이터팩토리는 지하 1층부터 지상 3층까지 4개 층, 연면적 약 1만㎡ 규모로 조성되며 연내 본격적인 가동을 목표로 하고 있다.

LG전자는 로봇들이 실제 공간에서 수집한 데이터에 엔비디아의 피지컬 AI 기술을 적용해 데이터의 규모와 다양성을 확대할 방침이다. 엔비디아 옴니버스 라이브러리와 코스모스 오픈월드 모델, 아이작 로보틱스 개발 플랫폼 등이 활용된다.

옴니버스는 공장과 가정, 물류센터 등 현실 공간을 가상세계에 구현하는 디지털 트윈 기반을 제공한다. 코스모스는 현실 세계의 움직임과 물리법칙을 이해하고 다양한 상황을 생성하는 월드모델 역할을 한다. 아이작은 가상공간에서 로봇의 동작을 훈련하고 검증하는 개발 플랫폼이다.

이 기술들을 이용하면 실제 로봇이 모든 조건을 일일이 반복하지 않고도 조명과 물체 위치, 바닥 상태, 작업 순서, 장애물 등 다양한 환경을 가상으로 만들어 학습할 수 있다. 컵 하나를 집는 실제 동작을 바탕으로 컵의 크기와 재질, 위치가 다른 수많은 가상 상황을 생성해 훈련하는 방식이다.

실제 데이터는 현실성과 신뢰도가 높지만 수집에 많은 시간과 비용이 든다. 합성 데이터는 짧은 시간에 다양한 상황을 만들 수 있지만 현실의 복잡성을 완전히 재현하기 어렵다. LG전자는 실제 데이터와 합성 데이터를 함께 활용해 각각의 한계를 보완한다는 전략이다.

LG전자가 올해 말까지 직접 수집하는 데이터와 가상으로 증폭·합성하는 데이터를 합하면 학습 분량은 총 10만 시간에 이를 것으로 예상된다. 햇수로 환산하면 약 12년 동안 쉬지 않고 로봇을 작동시켜야 얻을 수 있는 규모다.

그러나 10만 시간이라는 숫자만으로 로봇의 경쟁력이 보장되는 것은 아니다. 같은 행동이 반복된 데이터보다 다양한 환경과 예외 상황, 실패 과정이 포함된 고품질 데이터가 중요하다. 로봇이 작업에 성공한 장면뿐 아니라 물체를 놓치거나 균형을 잃고 사람의 접근에 대응하지 못한 사례도 안전한 로봇을 만드는 중요한 학습자료가 된다.

양재 데이터팩토리가 단순히 데이터를 많이 쌓는 시설이 아니라 데이터를 검증하고 실패 원인을 분석해 새로운 학습 과정으로 연결하는 ‘데이터 플라이휠’을 구축해야 하는 이유다. 로봇이 현장에서 데이터를 수집하고, AI가 이를 분석해 모델을 개선하며, 향상된 모델을 다시 로봇에 적용해 새로운 데이터를 확보하는 선순환 구조가 핵심이다.

LG전자와 엔비디아의 협력이 주목되는 이유는 양사가 서로 다른 강점을 보유하고 있기 때문이다. 엔비디아는 AI 반도체와 가속컴퓨팅, 시뮬레이션, 월드모델, 로봇 개발 플랫폼을 아우르는 피지컬 AI 생태계를 구축하고 있다. 반면 LG는 가전제품과 제조공장, 물류시설, 상업공간 등 로봇이 실제로 일할 수 있는 다양한 현장을 갖고 있다.

로봇 학습에 필요한 것은 가상의 공간만이 아니라 현실에서 반복적으로 발생하는 작업과 숙련자의 노하우다. LG전자는 수십 년간 전 세계 제조공장에서 제품을 생산하며 부품을 조립하고 검사하고 운반하는 방대한 경험을 축적했다. 냉장고와 세탁기, 청소기 등 가정 내부의 공간과 생활 동작을 이해하는 가전사업 경험도 보유하고 있다.

LG가 가진 제조·가전 현장이 로봇의 교실이라면 엔비디아의 플랫폼은 학습 속도를 높이는 가상 훈련장에 해당한다. LG전자가 현실에서 확보한 고품질 데이터를 엔비디아 기술로 확장하고, 이를 자체 로봇 파운데이션 모델에 적용하면 한국 제조 현장의 숙련된 작업 방식을 로봇의 지능으로 전환할 수 있다.

이는 LG전자가 로봇 완제품을 판매하는 제조사를 넘어 하드웨어와 소프트웨어, 데이터, 모델, 운영 서비스를 함께 제공하는 로보틱스 토털 솔루션 기업으로 전환하려는 전략과도 연결된다. LG전자는 지난달 CEO 직속 로보틱스사업센터를 신설하고 올해를 로보틱스 사업 도약의 원년으로 정했다.

LG전자뿐 아니라 LG그룹의 역량을 결집하는 ‘원 LG’ 전략도 본격화될 전망이다. LG AI연구원은 자체 AI 모델과 학습 기술을 제공할 수 있고, LG CNS는 스마트팩토리와 물류 자동화, 클라우드 운영 능력을 보유하고 있다. LG이노텍은 센서와 카메라, 액추에이터, 로봇 손 관련 부품 분야에서 역할을 맡을 수 있다.

LG에너지솔루션의 배터리 기술과 LG유플러스의 통신망, LG디스플레이의 인터페이스 기술까지 연결하면 로봇의 두뇌와 몸, 에너지, 통신, 서비스 운영을 포괄하는 그룹 차원의 생태계를 구축할 수 있다. LG전자가 강조하는 토털 솔루션은 로봇 한 대의 판매보다 공장과 물류센터, 상업시설 전체를 지능화하는 사업에 가깝다.

초기 사업화는 제조와 물류 분야에서 먼저 이뤄질 가능성이 높다. 공장과 물류센터는 작업 환경이 비교적 정형화돼 있고 반복 작업이 많아 로봇 도입 효과를 측정하기 쉽다. 위험하거나 무거운 작업, 단순 반복 업무에 로봇을 투입하면 산업재해 위험과 인력 부족을 줄일 수 있다.

제조 현장에서 충분한 안전성과 작업 능력을 검증한 뒤 상업용과 가정용으로 적용 범위를 넓히는 것이 현실적인 경로다. 가정은 공간 구조와 물건 배치가 제각각이고 어린이와 반려동물, 고령자 등 예측하기 어려운 변수가 많아 공장보다 훨씬 높은 수준의 판단 능력과 안전성이 요구된다.

LG전자가 보유한 가전제품과 스마트홈 플랫폼은 가정용 로봇 사업의 중요한 기반이 될 수 있다. 로봇이 세탁기와 냉장고, 에어컨, 청소기 등 가전제품의 상태를 파악하고 서로 연동하면 단순한 이동형 기계를 넘어 집안일을 계획하고 실행하는 생활 에이전트로 발전할 수 있다.

예를 들어 로봇이 세탁 종료를 확인한 뒤 세탁물을 꺼내 건조기로 옮기거나, 냉장고에 저장된 식재료를 확인해 필요한 물건을 가져오는 방식이다. 고령자 가정에서는 낙상 위험을 감지하고 약 복용 시간을 알려주며 무거운 물건을 대신 운반하는 돌봄 보조 역할도 기대할 수 있다.

다만 가정용 로봇은 편리함만큼 개인정보와 안전 문제가 중요하다. 카메라와 마이크를 탑재한 로봇이 집 안에서 지속적으로 데이터를 수집하면 가족의 얼굴과 대화, 생활 습관, 주거 공간 정보가 축적될 수 있다. 데이터가 어디에 저장되고 학습에 어떻게 활용되는지 이용자가 확인하고 통제할 수 있어야 한다.

산업 현장에서도 숙련공의 작업 데이터가 기업의 자산인지 노동자의 경험과 권리에 해당하는지에 대한 논의가 필요하다. 작업자의 동작과 판단을 데이터화해 로봇에 학습시키는 과정이 단순한 기술 이전을 넘어 일자리와 직무 구조를 바꿀 수 있기 때문이다.

로봇 도입으로 줄어드는 업무와 새로 생기는 업무를 함께 분석하고, 기존 근로자가 로봇 운영과 유지보수, 데이터 검증 분야로 이동할 수 있도록 재교육을 제공해야 한다. 피지컬 AI의 목적이 사람을 무조건 대체하는 것이 아니라 위험하고 반복적인 작업을 줄이고 인간의 생산성을 높이는 방향으로 설정돼야 한다.

엔비디아와의 협력 과정에서 국내 기술의 독자성을 확보하는 것도 과제다. 엔비디아의 플랫폼은 로봇 개발 기간을 크게 단축할 수 있지만 핵심 학습과 시뮬레이션, 연산 생태계를 특정 해외 기업에 지나치게 의존할 가능성도 있다.

LG가 확보한 제조 데이터와 로봇 행동 데이터의 소유권을 명확히 하고, 자체 로봇 파운데이션 모델과 제어 소프트웨어, 핵심 부품 기술을 함께 육성해야 한다. 엔비디아 기술을 활용하되 데이터와 서비스의 주도권은 국내 기업이 확보하는 협력 구조가 필요하다.

글로벌 휴머노이드 경쟁은 테슬라와 피규어AI, 보스턴다이내믹스, 어질리티로보틱스 등 미국 기업과 유니트리, 애지봇 등 중국 기업을 중심으로 빠르게 전개되고 있다. 한국은 제조업 기반과 로봇 활용도에서는 강점을 갖고 있지만 범용 로봇 AI 모델과 소프트웨어 플랫폼, 대규모 행동 데이터에서는 뒤처졌다는 평가를 받아왔다.

LG 데이터팩토리는 이 같은 약점을 보완할 수 있는 시도다. 한국이 보유한 실제 제조 현장과 숙련된 공정 데이터를 AI 학습 자산으로 전환하면 미국의 AI 플랫폼과 중국의 대량생산 역량에 대응할 수 있는 차별화된 경쟁력을 확보할 수 있다.

앞으로 데이터팩토리의 성과는 투입된 로봇 수와 학습 시간보다 실제 작업 성공률로 평가해야 한다. 처음 보는 환경에서도 작업을 수행하는 일반화 능력, 사람과 충돌하지 않는 안전성, 작업 속도와 정확도, 새로운 작업을 배우는 데 필요한 시간, 현장 투입 비용이 핵심 지표다.

합성 데이터로 학습한 동작이 실제 현장에서 동일하게 작동하는지도 검증해야 한다. 가상공간과 현실 사이에는 마찰과 조명, 센서 오차, 물체의 미세한 변형 등 차이가 존재한다. 시뮬레이션에서는 성공한 로봇이 현실에서는 실패하는 ‘시뮬레이션과 현실의 격차’를 얼마나 줄이느냐가 사업화의 관건이다.

구광모 회장과 젠슨 황 CEO의 결단 이후 나흘 만에 시작된 협력 속도전은 피지컬 AI 시장의 경쟁이 그만큼 빠르게 전개되고 있음을 보여준다. 하지만 로봇산업의 승부는 업무협약이나 학습 데이터의 규모만으로 결정되지 않는다. 축적한 데이터를 실제 제품의 안전성과 경제성, 이용자 경험으로 전환해야 한다.

LG전자가 제조·가전 현장의 경험과 엔비디아의 AI 플랫폼을 효과적으로 결합한다면 한국은 로봇 하드웨어를 생산하는 국가를 넘어 로봇의 지능을 학습시키는 데이터 생산기지로 도약할 수 있다. 양재 데이터팩토리에서 만들어질 10만 시간의 데이터는 그 자체가 목표가 아니라 사람과 함께 일하고 생활할 수 있는 로봇을 향한 출발점이다.

핵심 요약: LG전자와 엔비디아는 양재 데이터팩토리에 최대 300대의 로봇을 투입해 연내 10만 시간 규모의 실제·합성 학습 데이터를 구축하고 있으며, 제조·가전 현장과 피지컬 AI 플랫폼의 결합을 통해 LG의 로보틱스 사업과 한국의 로봇 데이터 경쟁력을 끌어올릴 수 있을지 주목된다.

더 좋은 미래를 위한 콘텐츠 플랫폼 – <굿퓨처데일리>