자율 AI가 되지 못한 진짜 이유는 기술이 아니라 설계였다
Agent, Multi-Agent, 자율화, 오케스트레이션, 워크플로우까지 AI Agent라는 단어는 이미 너무 흔해졌다.
하지만 현장에서 실제로 마주하는 AI Agent의 모습은 대부분 비슷했다. 질문을 입력하면 답을 해주고, 버튼을 눌러주고, 다음 단계는 다시 사람이 판단했다. 겉으로는 Agent였지만, 실제 역할은 “조금 똑똑해진 챗봇”에 가까웠다.
이 글을 쓰게 된 이유도 여기에 있었다.
Agent를 직접 설계하고, LangGraph를 만지고, MCP 구조를 고민하고, PoC를 반복하면서 느낀 건 단순했다. 문제는 모델 성능이 아니었고, 기술 스택도 아니었으며, 진짜 문제는 ‘결정권을 어디까지 줄 것인가’에 대한 설계 부재였다.
Agent가 챗봇으로 끝나는 구조적 이유
대부분의 AI Agent는 처음부터 보조자로 설계됐다. 사용자의 질문을 이해하고, 정보를 정리하고, 선택지를 제시하는 역할까지는 맡겼다.
하지만 “이 중에서 뭘 실행할지”, “지금 실행해도 되는지”, “실패하면 누가 책임질지” 이 판단은 항상 사람의 영역으로 남겨뒀다.
이 구조에서는 아무리 Agent라는 이름을 붙여도 자율성이 생길 수 없었다.
Agent는 ‘결정’이 아니라 ‘추천’을 했고 ‘실행’이 아니라 ‘안내’를 했으며, 결국 UI만 자연어로 바뀐 자동화 도구가 됐다.
현업에서 자주 보였던 패턴은 이랬다.
- Agent가 업무 맥락을 이해했다 / 관련 데이터를 요약했다 / 실행 버튼을 사용자에게 넘겼다
이 순간, Agent의 역할은 종료됐다.. Agent에게 판단을 맡길 생각이 없었던 설계였다.
진짜 Agent는 “대화 시스템”이 아니라 “의사결정 시스템”이었다
Agent를 설계할 때 가장 먼저 정의해야 할 것은 UX가 아니었다.
프롬프트도 아니었고, 모델도 아니었다. 가장 먼저 정의해야 할 것은 의사결정 구조였다.
- 어떤 데이터를 기준으로 판단할 것인가
- 어느 조건에서 자동 실행을 허용할 것인가
- 어떤 상황에서는 사람에게 에스컬레이션할 것인가
- 실패했을 때 책임과 로그는 어떻게 남길 것인가
이 질문에 답하지 않은 채 Agent를 만들면 그 Agent는 아무리 고도화해도 결국 챗봇에서 벗어나지 못했다.
실제로 Autonomous AI라고 불릴 수 있는 시스템들은 공통점이 있었다.
대화보다 먼저 Decision Flow가 설계돼 있었고 Agent는 그 Decision Flow의 실행자였다.
KPI가 정확도에 머무르는 순간, Agent는 멈췄다
많은 AI 프로젝트에서 KPI는 여전히 모델 중심이었다.
- 응답 정확도 / 요약 품질 /사용자 만족도
이 지표들은 중요했다. 하지만 Agent 관점에서는 결정적으로 부족했다. Agent의 KPI는 정확도가 아니라 효과였다.
- 이 Agent로 사람이 개입하지 않아도 되는 비율은 얼마나 줄었는가
- 의사결정 시간이 얼마나 단축됐는가
- 잘못된 판단으로 인한 리스크는 얼마나 줄었는가
- 운영 비용은 실제로 감소했는가
정확도가 95%여도 사람이 매번 승인해야 한다면 자율성은 없었다.
반대로 정확도가 85%여도 리스크 관리 구조와 롤백 체계가 있다면 그 Agent는 실제로 ‘일’을 했다.
이 지점에서 엔터프라이즈 AI 전략들이 흥미로웠다. (삼성SDS, LG CNS 등)
이들은 일관되게 데이터 기반 의사결정 자동화를 강조했다. 모델이 아니라 데이터 아키텍처와 거버넌스를 먼저 이야기했다.
자율 AI를 가능하게 한 건 LLM이 아니라 데이터 구조였다
Autonomous AI의 전제는 “상태를 기억하는 시스템”이었다.
단일 질의-응답이 아니라 시간에 따라 변화하는 맥락과 의사결정 히스토리를 추적할 수 있어야 했다.
이를 위해 필요한 건 화려한 모델이 아니라 다음이었다.
- 이벤트 단위로 쌓이는 로그 구조
- 의사결정 단계를 기록하는 State 관리
- 실패와 롤백을 전제로 한 설계
- 데이터 레이크 기반의 단일 진실 소스(Single Source of Truth)
SI기업들이 강조하는 Enterprise Data Lake 전략도 같은 맥락에 있었다.
데이터를 모으는 게 목적이 아니라 AI가 판단할 수 있는 일관된 기준을 만드는 것이 핵심이었다.
Agent가 판단을 잘하려면 Agent보다 먼저 데이터가 정직해야 했다.
Multi-Agent가 실패하는 이유도 같다
Multi-Agent 구조도 Agent가 여러 개라고 해서 자율성이 생기지 않았다. 결정권이 분산된 게 아니라, 책임이 분산됐을 뿐이었다.
- Agent A는 분석
- Agent B는 추천
- Agent C는 요약
하지만 최종 결정은 여전히 사람이 했다. 이 구조에서는 Agent가 늘어날수록 오히려 복잡도만 증가했다.
진짜 Multi-Agent는 역할 분담이 아니라 의사결정 권한의 분해였다.
- 어느 Agent가 어떤 판단을 맡는지
- 판단 충돌 시 어떤 Agent가 우선권을 갖는지
- 실패 시 책임을 어떻게 분기하는지
이게 정의되지 않으면 Multi-Agent는 그냥 여러 개의 챗봇이었다.
결국 자율성은 기술이 아니라 조직의 선택이었다
AI Agent가 챗봇으로 끝나는 가장 큰 이유는 기술이 아니었다. 조직이 결정권을 AI에게 넘길 준비가 되어 있지 않았기 때문이었다.
- 리스크를 감수할 준비
- 실패를 로그로 관리할 준비
- 사람의 개입을 줄일 용기
이 세 가지가 없으면 Agent는 절대 자율화되지 않았다. 그래서 나는 이제 이렇게 말한다.
“AI Agent는 기술 문제가 아니라, 의사결정 구조를 설계할 용기의 문제다.”
챗봇은 시작일 뿐이었다. 진짜 Agent는 사람이 하던 판단을 시스템으로 옮기는 순간에 탄생했다.
그리고 그 순간을 준비하는 게 지금 우리가 해야 할 AI의 일이라고 생각했다.