엔터프라이즈 아젠틱 AI 프레임워크 비교와 선택 기준

상태·역할·대화가 갈라놓는 프레임워크 구조

2026년 아젠틱 AI 시장에서 LangGraph, CrewAI, AutoGen은 서로 다른 오케스트레이션 방식을 대표한다. JetBrains의 개발자 보고서에 따르면 전 세계 개발자의 22%가 이미 AI 코딩 에이전트를 실무에 활용한다. 가트너는 2026년 말까지 전체 엔터프라이즈 애플리케이션의 40%에 AI 에이전트가 내장될 것으로 전망한다. 현재 프로덕션이나 파일럿 단계에서 에이전트 AI를 운영하는 기업은 72%다.

프레임워크를 고를 때는 인지도보다 워크플로우의 상태를 어떻게 보존하는지, 에이전트 사이의 역할과 통제권을 어떻게 나누는지, 코드와 외부 시스템 접근을 어디까지 격리할 수 있는지를 먼저 봐야 한다.

LangGraph는 실행 흐름을 상태 그래프로 다룬다

LangChain 생태계에서 파생된 LangGraph는 에이전트 워크플로우를 방향성 비순환 그래프(DAG)가 아닌 상태 그래프(State Graph)로 모델링한다. 노드는 LLM 호출, 도구 실행, 조건 분기 같은 처리 단위를 맡고 엣지는 노드 사이의 전환 규칙을 표현한다.

이 구조에서는 중간 실패 후 특정 노드로 되돌아가는 백트래킹이나 인간 승인 게이트를 실행 흐름 안에 넣을 수 있다. 상태 스키마는 TypedDict 또는 Pydantic 모델로 명시하며, 체크포인팅을 통해 실행 상태를 영속화하고 중단된 작업을 재개한다.

관리형 런타임인 LangGraph Cloud는 Klarna, Uber, LinkedIn 등이 프로덕션에 채택했다. 가트너 기준으로 직원 1,000명 이상 기업의 프로덕션 아키텍처 문서 가운데 34%가 LangGraph를 인용한다. 계획 수립과 백트래킹이 필요한 8단계 이상 복잡 태스크 벤치마크에서는 완료율 62%, 중간 복잡도 태스크에서는 76%를 기록했다.

CrewAI는 팀의 역할 분담을 에이전트로 옮긴다

CrewAI는 현실의 팀 구조처럼 에이전트마다 연구, 작성, 검토 등의 역할과 도구 셋을 부여한다. 하나의 크루에 속한 에이전트들이 태스크를 나누고 결과를 공유하는 방식이다.

낮은 학습 곡선과 빠른 구성 속도가 장점이다. 역할이 명확한 멀티에이전트 프로토타입을 오후 한나절에 구축할 수 있어 시장 진입 속도가 중요한 스타트업이나 비전문가 팀에 잘 맞는다. 반면 대규모 프로덕션에서는 실행 흐름을 세밀하게 통제하기 어렵다.

GitHub 스타는 2024년 1월 2,800에서 2026년 4월 31,200으로 1,014% 증가했다. Fortune 500 채택율은 60%다. 다만 동일 태스크를 기준으로 LangGraph보다 30~50%의 토큰 오버헤드가 발생한다.

AutoGen 이후에는 Microsoft Agent Framework를 함께 봐야 한다

Microsoft Research가 개발한 AutoGen은 에이전트 간 대화를 중심으로 작동한다. UserProxyAgent와 AssistantAgent가 메시지를 교환하면서 코드를 작성하고 실행한 뒤 수정하는 반복 루프를 만든다. 코드 실행 환경을 샌드박스화해 격리하는 것도 이 구조의 특징이다.

Microsoft가 Microsoft Agent Framework v1.0으로 전략을 전환하면서 AutoGen은 2026년 유지보수 모드로 들어갔다. Microsoft Agent Framework v1.0의 GA 날짜는 2026년 4월 3일이다. 이 프레임워크는 .NET과 Python을 지원하며 A2A(Agent-to-Agent), MCP(Model Context Protocol), mTLS 보안 통신과 컴플라이언스 감사 기능을 포함한다. 신규 프로젝트에서는 마이그레이션 경로가 없는 경우를 제외하면 AutoGen보다 Microsoft Agent Framework를 선택하는 흐름이 나타난다.

문서와 검색이 중심이면 LlamaIndex Workflows가 가깝다

LlamaIndex Workflows는 문서 중심 RAG(Retrieval-Augmented Generation) 에이전트를 위한 오케스트레이션 프레임워크다. 이벤트 기반 아키텍처와 Step 단위의 비동기 실행 모델을 사용하며 LlamaIndex의 데이터 커넥터, 인덱스, 쿼리 엔진과 연결된다.

문서 파싱, 임베딩, 시맨틱 검색을 워크플로우 안에서 다룰 수 있어 지식 베이스 검색과 문서 처리 비중이 큰 에이전트에 적합하다.

유즈케이스에서 출발하는 선택 기준

역할 분담이 명확하고 프로토타입 속도가 우선이라면 CrewAI가 자연스럽다. 실행 흐름에 순환, 백트래킹, 체크포인트 또는 인간 승인이 필요하면 LangGraph 쪽이 맞는다. 문서 검색과 RAG가 작업의 중심이면 LlamaIndex Workflows를, 코드 생성·실행·수정 루프와 엔터프라이즈 보안 통합이 중요하면 Microsoft Agent Framework를 검토할 수 있다.

⤢✕

파일럿에서 프로덕션까지 확장하는 방식

파일럿 기간인 03개월에는 단일 에이전트와 단순 태스크, 제한된 도구 셋으로 범위를 좁힌다. CrewAI나 LangGraph 가운데 하나를 선택해 ROI를 검증하는 단계다. 업계 중앙값 ROI는 171%, 미국 기업 기준으로는 192%이며 일반적인 투자 회수 기간은 79개월이다.

3~6개월의 확장 단계에서는 멀티에이전트 워크플로우를 도입하고 관찰 가능성 도구를 연결한다. 사람이 판단해야 할 지점에는 휴먼 인더루프 체크포인트를 배치한다. 이때 LangSmith, Weights & Biases Traces, Langfuse 등을 활용할 수 있다.

6개월 이후 프로덕션 스케일에서는 LangGraph Cloud나 Microsoft Agent Framework의 관리형 런타임을 활용하고, 거버넌스 정책과 보안 샌드박스를 강화한다. 기업의 72%가 파일럿과 프로덕션을 병행하지만 지속적으로 프로덕션에 배포하는 비율은 11%에 불과하다.

운영 단계에서 드러나는 관찰 가능성의 차이

에이전트는 한 번의 요청 안에서도 여러 LLM 호출과 도구 실행, 조건 분기를 거친다. 따라서 최종 응답만 기록해서는 비용 증가나 오류가 발생한 지점을 찾기 어렵다. 프로덕션 운영에서는 호출 경로와 중간 상태를 추적하는 에이전트 관찰 가능성이 필요하다.

계층	도구	주요 기능
트레이싱	LangSmith, Langfuse	LLM 호출 추적, 비용 모니터링, 에러 분석
평가	RAGAS, TruLens	에이전트 응답 품질 자동 평가
모니터링	Datadog LLM Observability, Arize AI	실시간 드리프트 감지, 레이턴시 알람
로깅	OpenTelemetry + AI Semantic Conventions	표준화된 에이전트 스팬(Span) 계측

LangGraph는 내장 트레이싱과 LangSmith 네이티브 통합을 제공해 관찰 가능성 생태계가 가장 성숙해 있다. CrewAI도 LangSmith와 Langfuse를 연결할 수 있지만, 역할 기반 대화 과정의 중간 상태를 추적하는 작업은 상대적으로 복잡하다.

코드를 실행하는 에이전트의 신뢰 경계

코드 실행이나 외부 시스템 접근 권한을 가진 에이전트에는 격리된 실행 환경이 필요하다. 프레임워크마다 이 경계를 구현하거나 외부 도구와 연결하는 방식이 다르다.

AutoGen과 Microsoft Agent Framework는 Docker 기반 코드 실행 컨테이너, mTLS 보안 채널, 역할 기반 접근 제어(RBAC)를 사용한다.
LangGraph는 LangGraph Cloud의 격리된 실행 환경과 상태 암호화 스토리지를 제공한다.
CrewAI는 Composio, E2B(Code Interpreter) 같은 외부 샌드박스와 통합한다.
LlamaIndex Workflows는 LLamaParse 보안 파싱 파이프라인과 문서 접근 권한 제어를 활용한다.

JetBrains의 Koog 1.0은 Kotlin과 Java 백엔드를 위한 에이전트 프레임워크다. 1년 API 안정성을 보장하며 프로덕션 환경의 타입 안전성과 JVM 생태계 통합을 강점으로 내세운다.

기존 아키텍처 개념으로 읽는 에이전트 설계

LangGraph의 상태는 BDI(Belief-Desire-Intention) 모델에서 Belief에, 그래프 목표는 Desire에, 엣지 전환은 Intention에 대응한다. CrewAI의 역할 기반 협업은 FIPA(Foundation for Intelligent Physical Agents) 표준의 에이전트 통신 프로토콜을 구현한다. 상위 오케스트레이터가 작업을 분해하고 서브에이전트의 결과를 모으는 구조는 계층적 제어, 태스크 분해(Task Decomposition), 결과 집계(Result Aggregation) 패턴으로 해석할 수 있다.

상태 영속성도 별도의 설계 대상이다. LangGraph의 체크포인팅은 분산 트랜잭션 상태 관리와 유사하며 SQLite, PostgreSQL, Redis를 영속성 백엔드로 지원한다. 에이전트 메모리는 인컨텍스트 단기 메모리, 외부 벡터DB를 이용하는 장기 메모리, 경험을 보관하는 에피소딕 메모리로 나눌 수 있다.

보안 관점에서는 외부 데이터가 에이전트 지시를 오염시키는 프롬프트 인젝션을 신뢰 경계 안에서 다뤄야 한다. 도구와 시스템 접근 권한에는 최소 권한 원칙(Principle of Least Privilege)을 적용한다. A2A 통신에서는 에이전트의 신원을 검증하고 메시지 무결성을 보장해야 한다.

확장 시에는 LangGraph의 Send API로 MapReduce 형태의 병렬 실행을 구현할 수 있다. LlamaIndex Workflows의 이벤트 기반 실행은 이벤트 버스(Event Bus) 패턴과 연결된다.

표준 프로토콜로 수렴하는 시장

2026년 아젠틱 AI 프레임워크 시장은 표준 프로토콜을 중심으로 수렴하고 있다. MCP는 에이전트와 도구 사이 통신의 사실상 표준(de facto standard)으로 자리 잡았고, A2A는 에이전트 간 상호운용성을 두고 표준 경쟁을 벌이고 있다. Google, Microsoft, Anthropic, OpenAI도 MCP와 A2A를 지원하는 방향으로 움직인다.

프레임워크 선택과 별개로 거버넌스의 공백은 남아 있다. 에이전트 AI를 운영하는 기업은 72%지만 공식 거버넌스 체계를 갖추지 못한 기업은 60%다. 가트너는 비용 과다, 불명확한 비즈니스 가치, 불충분한 리스크 관리로 인해 2027년까지 아젠틱 AI 프로젝트의 40% 이상이 취소될 것으로 예측한다. 에이전트 거버넌스, 관찰 가능성, 단계적 확장을 프레임워크 도입과 함께 설계해야 하는 이유다.

IDE 안으로 들어오는 에이전트

JetBrains는 2026년 6월 발표한 아젠틱 프레임워크 보고서에서 Koog 1.0과 IDE 내장 AI 코딩 에이전트 Junie를 제시했다. 에이전트를 별도 서비스에만 두지 않고 개발자의 작업 흐름에 직접 통합하려는 접근이다.

11,000명의 개발자를 대상으로 한 JetBrains AI Pulse 조사에서는 90%가 이미 업무에 AI를 활용한다고 답했다. 향후 12개월 안에 AI 코딩 에이전트를 도입할 계획인 기업은 66%다.

프레임워크를 쓰지 않는 선택

프레임워크의 복잡성이 커지면서 일부 전문가 팀은 에이전트 실행 루프를 직접 구현한다. Anthropic Claude API와 OpenAI Assistants API의 네이티브 기능이 성숙해짐에 따라 소규모 단순 태스크에서는 프레임워크 오버헤드 없이 구성하는 편이 더 효율적일 수 있다.

복잡한 상태 전환과 백트래킹에는 LangGraph, 빠른 역할 기반 협업에는 CrewAI가 맞는다. 코드 실행과 보안 통합은 Microsoft Agent Framework, 문서와 RAG 중심 작업은 LlamaIndex Workflows가 담당한다. 어느 쪽을 택하더라도 프로덕션 시스템이라면 관찰 가능성, 보안 샌드박스, 권한 통제와 상태 영속성을 초기 설계에 포함해야 한다.