2026년 8월 19일, 현대자동차그룹의 글로벌 소프트웨어 센터 **42dot(포티투닷)**이 연 Gleo AI 테크 세션에 다녀왔습니다. 기술 발표 4개 영역과 개발자 Q&A에서 보고 들은 이야기를 처음 보는 분도 따라올 수 있게 정리했어요.

<aside> 💬 '글레오'는 무슨 뜻일까요? 차에 타서 직접 물어봤더니 — 이름은 천문학자 **갈릴레오 갈릴레이(Galileo Galilei)**에서 따왔다고 해요. 갈릴레오가 천체 관측으로 인류에게 새로운 세상을 보여준 것처럼, 차 안의 AI 경험과 모빌리티 기술의 새로운 지평을 열겠다는 의미를 담았다고 합니다 🙂

</aside>

1. Gleo AI와 '에이전틱 모빌리티'

Gleo AI는 42dot이 개발하고 있는 LLM 기반 차량용 AI 에이전트입니다. 지난 5월 신형 그랜저를 시작으로 이미 도로 위 차에서 쓰이고 있어요. 42dot은 이 기술로 '에이전틱 모빌리티(Agentic Mobility)' 단순히 음성 명령을 알아듣는 걸 넘어, 사용자의 의도와 상황을 이해하고 실제 행동까지 자연스럽게 이어주는 이동 경험을 지향한다고 소개했습니다.

<aside> ▫️ 💡 생성형 AI vs 에이전틱 AI, 뭐가 다른가요? ・생성형 AI는 내 말(프롬프트)을 이해하고 '답(Answer)'을 만들어 주는 데 초점을 맞춰요. ・**에이전틱 AI(Agentic AI)**는 내 말을 '목표(Goal)'로 받아들여요. 상황을 파악해 스스로 계획을 세우고, 필요한 도구(Tool)를 써서 실제 '행동(Action)'까지 한 다음, 결과가 맞는지 되짚어 확인합니다.

</aside>

차 안에서 이게 왜 필요할까요? 운전자는 기능 이름으로 말하지 않아요. **"조금 덥네", "가는 길에 충전소 찾아줘"**처럼 자기 목표와 상황을 중심으로 말하죠. 그래서 차량 AI는 말 자체만이 아니라 현재 위치, 경로, 차 상태, 이전 대화까지 실시간으로 바뀌는 맥락을 함께 이해해야 합니다.

"가는 길에 충전할 수 있는 곳 찾아서 경로에 추가해 줘" 같은 간단한 한마디도, 안에서는 음성 인식 → 의도 파악 → 맥락 확인 → 계획 → 검색 → 후보 선택 → 사용자 확인 → 경로 반영까지 여러 단계가 이어져요. Gleo AI의 목표는 이 복잡한 과정을 끊기지 않는 하나의 경험으로 만드는 것입니다.

<aside> ▫️ 공식 명칭은 Vehicle Native AI Agent — 차의 상태, 주행 맥락, 안전성, 응답 속도 같은 차량 환경의 특성을 처음 설계 단계부터 고려해 만든 에이전트라는 뜻이에요.

</aside>

2. AI Agent — 상황을 이해하고, 계획해서, 실행합니다

에이전트가 요청 하나를 처리하는 과정은 **'맥락 이해 → 대화 이해 → 작업 분해 → 정보 준비 → 사용자 확인 → 실행'**의 6단계예요. 여러 전문 에이전트와 도구가 협업해 하나의 경험으로 완성됩니다.

<aside> ⚙️ 어떻게 움직이나요

• 하이브리드 구조 — 즉시 반응해야 하는 맥락 파악과 실행은 차 안(온디바이스)에서, 복잡한 추론과 외부 서비스 연동은 서버에서 처리해 양쪽의 장점을 살립니다.
• Vehicle Context Fabric — 위치, 주행 경로, 차 상태, 화면에 떠 있는 정보, 대화 상태까지 실시간으로 바뀌는 맥락을 하나로 모아 정리해요. "거기로 가자" 같은 모호한 말도 해석할 수 있는 이유입니다.
• Vehicle Native Interaction Runtime — 요청을 실제로 실행할지, 어떻게 실행할지 결정하는 층이에요. 날씨 조회처럼 안전한 요청은 바로 실행하고, 문자 전송처럼 중요한 기능은 사용자 확인 후 실행하고, 정보가 부족하면 되묻습니다.
• Multi-Agent Orchestration — 관리자 역할의 Supervisor 에이전트가 최종 목표를 판단하고, 내비게이션·문자·웹 검색 등 여러 전문 에이전트에게 일을 나눠 협업을 지시해요. 현재 분야별 전문 에이전트 약 20개가 운영되고 있습니다. </aside>

<aside> 🛡️ 신뢰를 지키는 3가지 원칙 (Safe and Grounded Intelligence)

• Grounded Information — AI의 기억이 아니라 검증된 출처(API·데이터베이스)에서 정보를 조회해 사실 기반으로 답합니다.
• Gleo Guard — 실행 계획이 적절한지, 위험하지 않은지 판단해 안전을 지키는 가드 기능이에요.
• Human in the Loop — 전화, 문자, 목적지 변경처럼 민감하거나 중요한 행동의 최종 결정권은 항상 사용자에게 있습니다. </aside>

3. Gleo AI LLM — 말뜻을 헤아리는 두뇌

차량용 LLM은 품질·속도·비용 세 가지를 동시에 만족해야 하는 어려운 과제(트릴레마)를 안고 있어요. Gleo AI 팀이 이를 푸는 방식은 이렇습니다.

<aside> 🧠 개발 전략

• 모델 분리 — 모든 걸 한 모델로 해결하지 않아요. 객관식처럼 빠른 분류 작업은 작고 빠른 모델(온디바이스)이, 주관식처럼 복잡한 추론·생성은 고성능 모델(클라우드)이 맡습니다.
• 합성 데이터 — 공개 웹 데이터 중 한국어는 1%도 안 될 만큼 한국어·차량 특화 데이터가 부족해요. 그래서 LLM으로 학습 데이터를 직접 만들어 냅니다. 내부 플랫폼(GenFactory)으로 실제 데이터에서 개선 신호를 뽑아 대규모 고품질 합성 데이터를 생성했고, 지금까지 약 6억 4천만 토큰 규모예요.
• 서빙 최적화 — 에이전트 요청마다 반복되는 공통 정보(2,000토큰 이상)를 캐시로 재사용하는 자체 기술(Cache Manager)로, 서빙 비용을 기존의 약 1/3 수준까지 줄이는 걸 목표로 하고 있어요.
• End-to-End 평가 — 실제 차량 환경을 가상으로 재현한 시뮬레이터로 다양한 주행 조건을 테스트하고, 실패 사례를 데이터로 모아 다시 개선하는 선순환 구조를 만들었습니다. </aside>

4. Speech Technologies — 시끄러운 차 안에서 또렷하게 듣고 말하기

차 안은 엔진 소음, 음악, 동승자 대화가 뒤섞인 환경이라 고도화된 음성 기술이 필수예요. 사용자의 말은 아래 6단계 파이프라인을 거쳐 처리됩니다.

<aside> 🎙️ 음성 처리 6단계

1. DSP — 소음 제거, 음원 분리, 에코 제거로 깨끗한 음성 신호를 만들어요.
2. WWD (호출어 인식) — 부르는 말을 빠르고 정확하게 알아챕니다.
3. EPD (말 끝 감지) — 발화의 시작과 끝을 정확히 판단해, 말이 잘리거나 응답이 늦어지는 걸 막아요.
4. STT (음성 → 텍스트) — 목적지·앱 이름처럼 차량에서 자주 쓰는 용어는 별도 보정 기술로 정확도를 높입니다.
5. TN (텍스트 정리) — '220V'를 '이백이십볼트'로 바꾸듯, 문맥에 맞는 자연스러운 발화용 문장을 만들어요.
6. TTS (텍스트 → 음성) — 알맞은 발음·속도·억양으로 자연스러운 음성을 합성합니다. </aside>

<aside> ▫️ 다음 단계로는 말의 의미가 완결됐는지로 발화 종료를 판단하는 Semantic VAD, 사람처럼 들으면서 동시에 말하는 Full-duplex 대화, 상황에 맞는 말투로 답하는 Instruction based TTS를 연구하고 있어요.

</aside>

5. 개발자 Q&A — 현장에서 오간 질문들