Databricks Omnigent의 멀티에이전트 데이터 오케스트레이션
Databricks Omnigent의 메타 하네스 구조와 Delta Lake 상태 관리, MLflow 추적, Unity Catalog 거버넌스를 실무 관점에서 설명한다.
2026-08-14 · 최초 발행 2026-08-02
Databricks는 2026년 자사 데이터 플랫폼과 AI 에이전트 워크플로우를 하나의 운영 구조로 묶는 메타 하네스 Omnigent를 공식 발표했다. 핵심은 에이전트 오케스트레이션을 별도 인프라로 떼어내지 않고, 기존 데이터 엔지니어링 환경 안에서 실행하고 관리하는 데 있다.
빅데이터 플랫폼의 역할도 달라진다. 데이터를 저장하고 처리하는 레이어에 머물지 않고, 전문화된 에이전트와 파이프라인을 조율하는 허브까지 맡는 방향이다.
역할별 에이전트를 조율하는 메타 하네스
Omnigent는 하나의 거대한 에이전트에 모든 작업을 맡기지 않는다. 데이터 수집, 변환, 품질 검증, 리포팅처럼 역할이 다른 전문화 서브에이전트(Specialized Sub-Agent)를 분리하고, 상위의 메타 하네스가 이들을 통제한다.
메타 하네스는 요청을 해석해 적절한 에이전트로 보내고, 실행 컨텍스트와 생명주기(Lifecycle)를 관리한다. 에이전트 사이에서 오가는 상태(State)와 메모리(Memory)를 중재하는 것도 이 계층의 몫이다.
이 설계에는 세 가지 원리가 맞물린다. 역할을 나누면 각 에이전트에 맞춰 프롬프트와 모델을 따로 최적화할 수 있다. 라우팅과 위임(Routing & Delegation)은 사용자 또는 상위 시스템의 요청을 처리할 에이전트를 선택한다. 공유 상태는 Delta Lake에 두어 컨텍스트 전달을 데이터 플랫폼 수준에서 다룬다.
각 서브에이전트가 만든 중간 결과는 Delta Lake에 구조화된 형태로 저장된다. 뒤이어 실행되는 에이전트는 이 결과를 입력으로 받아 작업을 이어간다. 메타 하네스가 단순 요청 프록시가 아니라 파이프라인 런타임에 가까운 이유다.
데이터 파이프라인과 에이전트 실행을 같은 운영면에 놓는다
Omnigent가 내세우는 차이는 기존 Databricks 스택과의 결합이다. 데이터 엔지니어링 파이프라인과 에이전트 워크플로우가 보안, 거버넌스, 모니터링 체계를 함께 사용한다.
MLflow에는 에이전트의 실행 이력과 프롬프트 버전, 선택한 모델이 Experiment로 기록된다. 이 기록은 워크플로우 재현성(Reproducibility)의 기반이 되며, A/B 테스트와 에이전트 성능 비교에도 활용된다.
데이터 접근은 Unity Catalog의 권한 모델 아래 놓인다. 어떤 에이전트가 어떤 테이블을 사용했는지 감사 로그(Audit Log)에 자동으로 남기므로, 기존 데이터 컴플라이언스 기준을 에이전트 실행까지 이어갈 수 있다.
Databricks Workflows는 실행 트리거를 담당한다. 배치 데이터 파이프라인이 끝난 뒤 에이전트 워크플로우를 자동으로 시작하는 이벤트 기반 연결이 가능하다.
요청의 의미와 에이전트 역량을 맞춰 위임한다
라우팅은 단순한 키워드 대응이 아니라 의미론적 분류(Semantic Classification)를 기반으로 한다. 메타 하네스가 LLM 분류기로 요청 의도를 파악한 다음, 서브에이전트의 역량 명세(Capability Manifest)와 비교해 실행 대상을 고른다.
역량 명세에는 처리할 수 있는 태스크 유형, 필요한 입력 스키마, 예상 응답 형식, 처리 소요 시간 범위가 JSON 형태로 등록된다. 메타 하네스는 이 명세 레지스트리를 조회해 요청에 맞는 에이전트를 결정한다.
위임 방식은 태스크의 성격에 따라 달라진다.
| 패턴 | 설명 | 적용 시나리오 |
|---|---|---|
| 단일 위임(Direct Delegation) | 하나의 서브에이전트에 전담 위임 | 명확한 단일 목적 태스크 |
| 병렬 위임(Parallel Delegation) | 복수 에이전트 동시 실행 후 결과 집계 | 독립적 분석 태스크 병렬 처리 |
| 순차 위임(Sequential Delegation) | 에이전트 출력이 다음 에이전트 입력으로 연결 | 데이터 변환 파이프라인 |
서브에이전트가 실패하거나 타임아웃을 일으키면 메타 하네스는 대체 에이전트로 자동 폴오버(Failover)한다. 사람의 판단이 필요한 상황에서는 Human-in-the-Loop 흐름으로 넘긴다. 에이전트 오케스트레이션을 프로덕션 데이터 파이프라인 수준의 신뢰성(Reliability)으로 운영하기 위한 장치다.
비용과 권한, 확장성을 함께 설계해야 한다
모든 요청을 고비용 LLM에 보내면 운영 비용이 빠르게 커진다. Omnigent는 태스크 복잡도에 따라 모델을 구분하는 모델 계층화(Model Tiering)를 지원한다. 단순 데이터 추출과 형식 변환에는 소형 모델을 쓰고, 복잡한 추론이 필요한 분석에는 고성능 모델을 배치하는 방식이다. Databricks 환경에서 DBRX나 오픈소스 모델을 자체 호스팅해 API 비용을 줄이는 전략도 병행된다.
권한 관리 범위도 넓어진다. 에이전트가 자율적으로 데이터를 읽고 쓰거나 외부 시스템을 호출한다면, 전통적인 데이터 거버넌스만으로는 부족하다. Omnigent에서는 에이전트 실행별 승인 정책(Approval Policy)을 정의하고, 특정 임계값 이상의 데이터 변경이나 외부 API 호출에 인간 승인 게이트를 삽입할 수 있다.
서브에이전트가 수십에서 수백으로 늘어나면 메타 하네스 자체의 라우팅 성능이 병목이 될 수 있다. 이를 다루기 위해 에이전트 풀을 기능 도메인별로 클러스터링하고, 각 도메인에 서브-하네스를 두는 계층적 오케스트레이션 구조로 수평 확장(Horizontal Scaling)을 지원한다.
어떤 생태계에 붙일 것인가
에이전트 오케스트레이션 프레임워크는 모두 같은 문제를 풀지 않는다. Databricks Omnigent, Microsoft MAF, Anthropic Agent SDK는 각각 데이터 플랫폼, 엔터프라이즈 협업 환경, 특정 모델의 고급 기능에 무게를 둔다.
Omnigent의 강점은 Delta Lake, MLflow, Unity Catalog와의 네이티브 연동이다. Databricks를 이미 사용하는 데이터 엔지니어링 조직이라면 도입 장벽이 낮다. 반면 Databricks 생태계 의존성이 높아 멀티클라우드 중립성은 상대적으로 낮다.
Microsoft MAF(Multi-Agent Framework)는 Azure AI Foundry를 바탕으로 Microsoft 365, Azure OpenAI Service, Microsoft Fabric과 연결하는 데 최적화되어 있다. 기업 협업 도구와 에이전트 워크플로우를 결합하는 시나리오가 중심이며, Power Platform과의 로우코드 연동도 지원한다.
Anthropic Agent SDK는 모델 중립적 오케스트레이션보다 Claude의 Tool Use, Extended Thinking, Computer Use를 활용하는 방향에 가깝다. 안전성과 해석 가능성(Interpretability)을 위한 제어 기능을 갖추고 있으며, 복잡한 추론이 필요한 에이전트 태스크에 적합하다.
| 비교 항목 | Databricks Omnigent | Microsoft MAF | Anthropic Agent SDK |
|---|---|---|---|
| 핵심 강점 | 데이터 플랫폼 통합 | 엔터프라이즈 협업 연동 | 모델 역량 극대화 |
| 생태계 의존성 | Databricks 중심 | Azure/Microsoft 중심 | Claude 모델 중심 |
| 거버넌스 | Unity Catalog 연계 | Azure Purview 연계 | 자체 제어 메커니즘 |
| 목표 사용자 | 데이터 엔지니어·MLOps | 기업 IT·시민 개발자 | AI 엔지니어·연구자 |
| 오픈소스 여부 | 부분 공개 | 제한적 | SDK 공개 |
기존 아키텍처 패턴으로 해석하기
Omnigent의 계층형 멀티에이전트 구조는 마이크로서비스 아키텍처(MSA)의 서비스 메시(Service Mesh)와 닮아 있다. 중앙 메타 하네스가 에이전트 간 통신을 중재한다는 점에서는 API Gateway를 에이전트 환경에 적용한 형태로 볼 수 있다. SOA(Service-Oriented Architecture)에서 사용하던 책임 분리와 중재 구조가 에이전트 워크플로우로 확장된 셈이다.
Delta Lake를 공유 상태 저장소로 사용하는 설계는 CQRS(Command Query Responsibility Segregation) 패턴의 변형으로 설명된다. 상태를 쓰는 Command 레이어와 읽는 Query 레이어를 분리해 동시성 충돌을 방지하며, 데이터 일관성(Consistency)과 가용성(Availability)의 트레이드오프를 에이전트 실행 맥락에서 다룬다.
Unity Catalog를 통한 접근 통제는 데이터 품질, 데이터 보안, 데이터 계보(Lineage)라는 데이터 거버넌스의 3대 요소를 에이전트 레이어까지 넓힌 사례다. GDPR과 개인정보보호법 준수를 고려할 때도 에이전트의 행동을 감사 가능한 구조로 남기는 설계와 연결된다.
2026년의 에이전트 오케스트레이션은 독립형 AI 솔루션보다 기존 데이터 플랫폼과 더 깊게 결합하는 방향으로 발전하고 있다. 데이터 레이크하우스가 에이전트의 장기 메모리(Long-term Memory)를 보관하고, 데이터 카탈로그가 도구(Tool) 발견 레지스트리로 진화하는 흐름이 가속화될 것으로 전망된다. AI 시스템 설계와 데이터 아키텍처를 함께 다룰 수 있는 전문가 수요도 높아지는 환경이다.
Omnigent의 전략적 위치는 이 변화에 있다. 메타 하네스를 통한 계층형 조율, Delta Lake의 공유 상태, Unity Catalog의 거버넌스를 기존 데이터 플랫폼의 연장선에서 제공한다. Microsoft MAF와 Anthropic Agent SDK가 각자의 생태계와 모델 역량을 중심에 둔다면, Omnigent는 데이터 플랫폼 통합 완성도를 선택 기준으로 제시한다. 빅데이터 에이전트 오케스트레이션이 2026년 엔터프라이즈 AI 아키텍처의 주류 패턴으로 자리 잡을 것으로 전망된다.
Sources
- Databricks 공식 블로그: Omnigent 발표 문서 (2026)
- Databricks Documentation: Unity Catalog & Governance
- Microsoft Azure AI Foundry: Multi-Agent Framework Overview
- Anthropic: Agent SDK Documentation
- Delta Lake: Open Source Storage Framework
- MLflow: Machine Learning Lifecycle Management
- Gartner: Data and AI Platform Trends 2026
- IEEE: Multi-Agent Systems Architecture Patterns