NeoCognition: 강화학습 없이 세계 모델로 배우는 에이전트

지금 AI 에이전트의 과제 완수율은 약 50%에서 멈춰 있다. 2026년 4월, 이 천장을 강화학습 없이 뚫으려는 스타트업이 4천만 달러 시드 펀딩과 함께 스텔스 모드를 벗어났다. NeoCognition은 환경과의 상호작용만으로 스스로 전문가 수준의 역량을 습득하는 AI 에이전트 아키텍처를 개발 중이다. 오하이오 주립대학교의 Yu Su, Xiang Deng, Yu Gu 등 저명한 AI 연구자들이 창립한 이 연구소는 인간의 체화 인지 원리를 AI에 이식하려는 야심 찬 시도로 주목받고 있다.

NeoCognition이 그리는 그림

NeoCognition은 "전문성에 대한 접근성을 확대한다"는 미션 아래, AI 에이전트가 어떤 도메인에서든 스스로 학습하여 전문가 수준에 도달하는 새로운 클래스의 에이전트를 개발하는 연구소다. Cambium Capital과 Walden Catalyst Ventures가 공동으로 이끄는 4천만 달러 시드 라운드에는 Vista Equity Partners와 인텔 CEO Lip-Bu Tan, Databricks 공동창립자 Ion Stoica 등 업계 거물들이 참여했다.

현재 약 15명의 팀원이 모두 박사급 연구자로 구성되어 있으며, 캘리포니아 팔로 알토에 본사를 두고 있다. CEO 겸 공동창립자 Yu Su는 Sloan Research Fellow이자 오하이오 주립대에서 가장 권위 있는 AI 에이전트 연구실을 이끌어온 인물이다.

NeoCognition이 제시하는 핵심 명제는 단순하지만 혁신적이다. "인간이 계속 학습하는 과정은 본질적으로 어떤 직업, 어떤 환경에서든 세계 모델(World Model)을 구축하는 과정이다." 이 관점에서 AI 에이전트도 동일한 방식으로 학습할 수 있어야 한다는 것이다.

⤢✕

RAG로는 안 되는 이유

오늘날 대부분의 AI 에이전트는 사전 학습된 대형 언어 모델(LLM)에 검색 증강 생성(RAG)을 결합한 구조로 동작한다. 이 방식은 근본적인 한계를 안는다. 첫째는 경험 비축적 문제다. 현재 에이전트들은 작업을 수행해도 그 경험이 모델 자체에 반영되지 않는다. 인간이 반복 업무를 통해 암묵지(tacit knowledge)를 쌓듯이, AI는 각 세션을 독립적으로 처리한다. 둘째는 성공률의 천장이다. 실제 환경에서 AI 에이전트의 과제 완수율은 약 50% 수준에 머무른다. 이는 스케일된 자율 운영을 불가능하게 하는 치명적 수치다. 셋째는 강화학습(RL)의 비용과 불안정성이다. RLHF(인간 피드백 강화학습)는 방대한 인간 레이블 데이터와 불안정한 정책 최적화 과정이 필요하다. PPO(Proximal Policy Optimization) 기반 훈련은 보상 해킹(reward hacking)과 모드 붕괴(mode collapse) 위험을 상시 내포한다.

⤢✕

몸으로 배우는 AI라는 발상

체화 인지 이론은 인지 과정이 뇌에 국한되지 않고 신체와 환경과의 동적 상호작용에서 창발한다고 주장한다. 이 이론에 따르면, 인간의 전문성은 단순한 지식 암기가 아니라 환경과의 물리적·사회적 상호작용을 통해 형성된다. NeoCognition은 이 원리를 디지털 환경에서 구현하고자 세 가지 축을 중심으로 설계한다.

지각-행동 루프(Perception-Action Loop)에서 에이전트는 단순히 입력을 처리하고 출력을 생성하는 것이 아니라, 환경에서 지각한 것을 바탕으로 행동하고 그 행동의 결과를 다시 지각하는 순환 구조를 유지한다. 내재적 동기(Intrinsic Motivation)는 외부 보상 신호 없이도 에이전트 스스로 학습 신호를 생성하는 것으로, 탐색적 호기심·정보 이득·예측 오류 최소화 같은 내재적 동기가 자율 학습을 추진한다. 점진적 커리큘럼 학습은 인간 아이가 쉬운 개념에서 어려운 개념으로 단계적으로 학습하듯, 에이전트도 쉬운 환경 설정에서 복잡한 환경으로 순차 적응하는 구조다.

⤢✕

World Model이 하는 일

World Model은 에이전트가 환경의 동작 방식을 내부적으로 표현한 모델이다. 에이전트는 이 모델을 통해 행동의 결과를 시뮬레이션하고, 실제 환경과의 차이를 학습 신호로 활용한다. NeoCognition의 접근은 세 요소를 포함한다. 환경 구조 학습은 에이전트가 작동하는 도메인의 워크플로우·제약 조건·도구 사용 패턴을 자동으로 학습하는 것으로, 예를 들어 법률 문서 검토 에이전트는 법률 언어의 구조, 조항 간 의존 관계, 표준 검토 흐름을 World Model에 내재화한다. 예측 기반 학습(Predictive Learning)은 자기 지도 학습(Self-Supervised Learning) 방식으로 에이전트가 다음 상태를 예측하고 실제 결과와 비교해 모델을 개선하는 것으로, Meta의 V-JEPA 2가 비생성적 자기 지도 접근법으로 마스킹된 영상 세그먼트를 예측하는 것과 유사한 원리다. 잠재 공간 표현(Latent Space Representation)은 고차원 관찰 데이터를 압축된 잠재 벡터로 인코딩해 효율적인 상태 추론과 계획을 가능하게 한다.

⤢✕

경험이 쌓이는 방식

강화학습 없이 자율 적응을 실현하기 위해 NeoCognition은 온라인 학습(Online Learning) 메커니즘을 중심에 둔다. 온라인 학습은 데이터 스트림이 도착하는 즉시 모델을 업데이트하는 방식으로, 배포 이후에도 지속적인 적응이 가능하다.

연속 학습(Continual Learning)에서는 새로운 기술을 습득하면서도 이전에 학습한 내용을 잊지 않는 것이 핵심 과제이며, 탄성 가중치 통합(Elastic Weight Consolidation), 점진적 신경망(Progressive Neural Networks), 메모리 재생(Experience Replay) 등의 기법이 활용된다. 자기 지도 신호 생성에서는 외부 레이블 없이 에이전트 자신의 예측 오류가 학습 신호가 된다 — 환경 모델이 틀렸을 때 발생하는 서프라이즈(surprise) 값이 탐색을 유도하고, 예측이 정확해질수록 에이전트는 해당 도메인에서 전문화된다. 도메인 특화 미시 세계(Micro-World) 구축은 각 직업 환경이 고유한 언어·절차·제약 조건을 가진다는 전제 아래, NeoCognition의 에이전트가 이 미시 세계의 구조를 자동으로 학습해 도메인별 전문가 행동을 발현하는 것이다.

2025년 초 발표된 자기 지도 학습 기반 탐색 논문(Learning To Explore With Predictive World Model Via Self-Supervised Learning)은 예측적 World Model을 통해 에이전트가 환경을 효과적으로 탐색하는 방법을 제시했으며, NeoCognition의 방향성과 일치한다.

RLHF·DPO와 나란히 놓으면

현재 AI 모델 정렬(alignment)의 주류 기법인 RLHF와 DPO와 비교하면 NeoCognition 접근법의 혁신성이 더욱 선명해진다. RLHF(Reinforcement Learning from Human Feedback)는 인간 평가자가 모델 출력에 선호도 점수를 부여하고 이를 보상 신호로 삼아 정책을 최적화한다. PPO 기반 강화학습을 사용하므로 대규모 인간 레이블 데이터와 계산 자원이 필요하고, 훈련 완료 후 배포된 모델은 더 이상 학습하지 않는 정적 시스템이다. DPO(Direct Preference Optimization)는 RLHF의 복잡성을 줄이기 위해 보상 모델 없이 선호도를 직접 언어 모델 파라미터에 최적화한다. 단순한 교차 엔트로피 손실만으로 인간 선호도를 반영할 수 있어 계산적으로 가볍고 안정적이지만, 여전히 정적인 훈련 패러다임에 머문다. NeoCognition 방식은 인간 레이블 데이터 자체를 최소화하고 에이전트가 환경과 상호작용하면서 자체적으로 학습 신호를 생성한다 — 배포 이후에도 지속적으로 개선되는 동적 시스템이며, World Model을 통한 모델 기반 계획(model-based planning)으로 샘플 효율성을 극대화한다.

기법	학습 방식	데이터 의존성	배포 후 학습	계산 비용
RLHF	정책 경사 최적화	대규모 인간 레이블	불가	높음
DPO	선호도 직접 최적화	중규모 선호 쌍	불가	중간
NeoCognition	World Model 자기지도	환경 상호작용	가능	점진적

⤢✕

탐색은 어떻게 이뤄지나

강화학습 없이 효과적인 탐색을 실현하려면 상태 표현(State Representation)과 탐색 전략(Exploration Strategy)의 설계가 핵심이다. 계층적 상태 표현에서는 에이전트가 저수준 관찰(화면 픽셀, API 응답 텍스트)부터 고수준 추상(업무 목표, 진행 상황)까지 계층적으로 환경을 표현한다. 이 다층 표현이 복잡한 업무 환경에서 효율적인 계획을 가능하게 한다. 호기심 기반 탐색(Curiosity-Driven Exploration)은 에이전트가 예측 불확실성이 높은 상태를 우선 탐색하는 방식이다 — 이미 잘 알고 있는 상황은 World Model이 정확히 예측하므로 서프라이즈 값이 낮고, 새로운 상황은 예측 오류가 높아 자연스럽게 탐색을 유도한다. 도메인 커리큘럼 설계는 복잡한 기업 환경에서 처음부터 모든 것을 탐색하면 비효율적이라는 판단 아래, 단순한 서브태스크에서 시작해 점진적으로 복잡성을 높여가는 방식으로 전문성을 쌓는다. 시뮬레이션 기반 계획은 World Model이 충분히 학습되면 에이전트가 실제 환경에서 행동하기 전에 내부 시뮬레이션으로 결과를 평가하는 것으로, 실수 비용이 높은 기업 환경에서 특히 중요한 안전 메커니즘이다.

⤢✕

기업이 이 접근에 거는 기대

NeoCognition은 기술 연구에 그치지 않고 엔터프라이즈 시장을 명확한 수익화 경로로 설정했다. 주요 SaaS 기업들이 에이전트 워커를 구축하거나 기존 제품을 강화하는 데 NeoCognition의 에이전트를 활용할 수 있도록 한다. 기존 AI 에이전트 도입의 최대 장벽은 방대한 수동 커스터마이징 작업이다. 특정 기업 환경에 맞게 프롬프트를 설계하고, 도구를 연결하고, 엣지 케이스를 처리하는 규칙을 수작업으로 정의해야 한다. NeoCognition의 자율 학습 에이전트는 이 커스터마이징 비용을 획기적으로 낮출 수 있다. 전문화된 에이전트는 도메인 특화 지식으로 더 빠르게 작업을 처리하고, 반복 실수를 통해 학습해 정확도가 지속 향상되며, 맞춤화 비용이 낮아 전체 운영 비용이 절감된다는 점에서 기존 범용 에이전트보다 우수하다.

Walden Catalyst의 투자 논리도 이를 뒷받침한다. "대부분의 고가치 기업 작업은 고도의 전문성이 필요하다. NeoCognition은 AI 에이전트가 그 전문성 격차를 어떻게 채울 수 있는지를 정면으로 다루는 유일한 회사다."

⤢✕

현재 AI 에이전트 생태계는 2025년을 기점으로 수직적 전문화 방향으로 전환 중이다. 범용 LLM의 한계를 인식한 투자자와 기업들이 도메인 특화 에이전트에 집중하기 시작했으며, NeoCognition은 이 흐름의 기술적 선봉에 위치한다. 4천만 달러 시드 라운드는 단순한 자금 조달을 넘어, 인간형 지속 학습 에이전트의 실현 가능성에 대한 업계의 강력한 신호다.