프롬프트에서 컨텍스트와 하네스로 이동한 AI 개발

모델에 묻는 법에서 실행 환경을 설계하는 일로

2022년부터 2026년까지 AI 개발 방법론의 초점은 크게 달라졌다. 처음에는 좋은 프롬프트가 출력 품질을 결정한다고 봤지만, 프로덕션 환경에서 실패가 반복되면서 질문은 모델에 무엇을 쓸 것인지에서 모델이 어떤 정보와 통제 체계 안에서 일하게 할 것인지로 옮겨갔다.

현재 IT 리더의 82%는 프롬프트 엔지니어링만으로 프로덕션 AI를 운영하기에 충분하지 않다고 인식한다. 데이터 팀의 95%는 2026년 안에 컨텍스트 엔지니어링 역량에 투자할 계획이다. 이는 도구 하나를 다른 도구로 교체하는 변화가 아니다. AI 품질을 가로막는 병목을 어디에서 찾느냐가 달라진 것이다.

프롬프트가 품질 병목이던 시기

2022~2023년의 프롬프트 엔지니어링은 LLM에 전달할 지시문을 최적화하는 데 집중했다. Chain-of-Thought(CoT), Few-shot 예시, 역할 부여(role prompting), 명확한 지시 작성이 대표적인 기법이었다. 당시의 핵심 질문은 모델에 올바른 질문을 어떻게 던질 것인가였다.

프롬프트만으로 해결할 수 없는 문제도 곧 드러났다. 단일 프롬프트는 컨텍스트 창 밖의 정보를 활용할 수 없고, 멀티턴 대화의 맥락을 안정적으로 유지하기 어렵다. 외부 데이터 소스와의 연결도 프롬프트 자체가 해결하지 못한다. 이런 제약은 프로덕션 시스템에서 신뢰성 문제로 이어졌다.

컨텍스트 전체가 설계 대상이 되다

2024~2025년에는 작업의 중심이 컨텍스트 엔지니어링으로 이동했다. 컨텍스트 엔지니어링은 LLM이 추론 과정에서 접근하는 정보 생태계 전체를 설계하고 관리하는 시스템 수준의 규율이다.

Andrej Karpathy는 이 관계를 “컨텍스트 엔지니어링은 프롬프트 엔지니어링에 대해 UX가 UI에 대해 갖는 관계와 같다”라고 표현했다. 프롬프트가 개별 지시문의 표현을 다룬다면, 컨텍스트 엔지니어링은 그 지시가 작동하는 더 넓은 정보 환경을 다룬다는 뜻이다.

RAG(Retrieval-Augmented Generation), 메모리 시스템, 도구 통합, 컨텍스트 압축이 이 시기의 핵심 수단이다. 같은 모델이라도 어떤 정보를 어떤 형태로 제공받느냐에 따라 결과가 크게 달라지면서 품질 병목을 모델보다 컨텍스트에서 찾는 관점이 자리 잡았다. 2026년 기업 AI 실패 분석에서는 누락되거나 오래됐거나 서로 충돌하는 컨텍스트가 프로덕션 장애의 주요 원인 중 하나로 지목됐다.

하네스는 에이전트의 반복 실패를 막는다

하네스 엔지니어링(Harness Engineering)은 2026년 초 Mitchell Hashimoto(HashiCorp 공동창업자이자 Terraform 창시자)의 블로그 포스트를 계기로 주류에 진입했다. 이 개념의 핵심 명제는 분명하다. “에이전트가 실수할 때마다 그 실수가 재발하지 않도록 환경을 엔지니어링하라.”

하네스는 AI 에이전트 주변에 놓이는 제약, 도구, 문서, 검증 시스템과 피드백 루프를 포괄한다. 모델이 낸 잘못된 결과를 일회성 실수로 처리하지 않고, 같은 문제가 되풀이되지 않도록 환경의 결함을 찾아 수정한다.

이 관점에서는 소프트웨어 엔지니어링 팀의 무게중심도 코드 작성에서 환경 설계, 의도 명세, 신뢰성 있는 에이전트 작업을 위한 피드백 루프 구축으로 이동한다. 2026년 3월 LangChain 엔지니어링 팀은 기반 모델을 변경하지 않고 하네스만 최적화해 Terminal Bench 2.0 순위를 30위에서 5위로 높였다.

필요한 순간에 컨텍스트를 조립하는 구조

컨텍스트 엔지니어링의 기술적 중심에는 JIT(Just-In-Time) 컨텍스트 어셈블리가 있다. 미리 고정한 컨텍스트를 모든 요청에 사용하는 대신, 런타임에 관련성을 판단해 필요한 정보를 조립한다.

쿼리가 들어오면 런타임 관련성 검색(Runtime Relevance Retrieval)이 Dense Retrieval 기반 벡터 검색, BM25 키워드 검색, RRF(Reciprocal Rank Fusion) 재순위화를 결합해 하이브리드 검색을 수행한다. 청크의 우선순위는 단순 유사도 점수만으로 정하지 않고 쿼리 의도와 도메인 타입을 함께 고려한다.

수집한 청크는 도메인 타입과 쿼리 유형에 따라 다시 배열한다. 긴급(EMERGENCY) 쿼리라면 원시 유사도 점수와 관계없이 대피 및 경보 청크를 최상위로 올린다. 여기서 RAG는 검색 엔진이고, 컨텍스트 엔지니어링은 검색된 정보를 조립하는 프레임워크라는 역할 구분이 필요하다.

컨텍스트 창이 유한하므로 정보 슬롯별 토큰 예산도 관리해야 한다. 우선순위가 낮은 청크는 트리밍하거나 요약해 압축한다. 장문 문서 요약, 중복 청크 병합, 트리·그래프 기반 탐색을 이용한 구조적 압축은 컨텍스트의 밀도를 높이는 방법이다.

⤢✕

에이전트를 둘러싼 통제 평면

하네스 엔지니어링은 에이전트 주변의 통제 평면(Control Plane)을 만드는 작업이다. 컨텍스트를 풍부하게 제공하는 데서 멈추지 않고, 에이전트가 잘못된 행동을 구조적으로 반복하지 않도록 실행 환경을 설계한다.

먼저 저수준 작업 지시 대신 고수준 스펙, ADR(Architecture Decision Record), 스키마로 의도를 선언한다. 에이전트는 세부 행동을 일일이 지시받기보다 달성해야 할 목표와 지켜야 할 제약을 전달받는다.

출력은 스펙 검증(Spec Verification)을 통과해야 한다. 타입 시스템, JSON Schema, 형식적 명세를 이용해 결과가 의도한 조건을 충족하는지 자동으로 확인한다. Atomic-Agents 패턴처럼 typed schema와 agent chaining을 결합한 아키텍처도 이 목적을 위해 설계됐다.

평가는 LLM-as-a-Judge, 결정론적 단위 테스트, 회귀 테스트를 함께 사용한다. 출력이 그럴듯한지 묻는 수준에서 벗어나 실제로 검증 가능한지를 지속해서 측정하는 방식이다.

실수가 발견되면 근본 원인을 분석해 하네스에 반영한다. 모델부터 교체하는 대신 환경, 제약, 도구와 검증 로직을 수정한다. LangChain 팀이 모델 변경 없이 Terminal Bench 2.0의 순위를 30위에서 5위로 높인 과정도 이 품질 피드백 루프에 해당한다.

품질 병목이 이동한 경로

2022년에는 모델 능력이 AI 품질의 병목으로 여겨졌다. 더 큰 모델과 더 많은 파라미터, 정교한 아키텍처가 해답이라는 관점이었다. 2024년에는 같은 모델도 제공받는 정보에 따라 결과가 달라진다는 점이 입증되면서 병목이 컨텍스트로 이동했다.

2026년 현재는 모델과 컨텍스트를 갖추는 것만으로 충분하지 않다는 인식이 커지고 있다. 에이전트가 신뢰성 있고 반복 가능한 방식으로 일하도록 지시 체계와 실행 환경을 설계하는 문제가 새로운 병목이 됐다. 2026년의 AI Reset은 단일 거대 모델에서 소규모 전문화 모델 플릿으로, 취약한 프롬프트 체인에서 설계된 인지 워크플로우로 이동하는 흐름으로 설명된다.

구분	프롬프트 엔지니어링	컨텍스트 엔지니어링	하네스 엔지니어링
시기	2022~2023	2024~2025	2026~
핵심 질문	어떻게 지시할까?	무엇을 제공할까?	어떻게 통제할까?
단위	개별 프롬프트	컨텍스트 창 전체	에이전트 환경 전체
품질 병목	지시 표현	정보 품질·관련성	에이전트 신뢰성·반복성
핵심 도구	CoT, Few-shot	RAG, 메모리, 요약	스펙, 검증, 피드백 루프
담당자 역할	프롬프트 작성자	데이터·시스템 설계자	환경·의도 엔지니어

정보관리기술사에게 필요한 설계 관점

이 변화는 AI 활용 역량의 범위를 다시 정한다. 프롬프트를 잘 작성하는 능력에 더해 정보 아키텍처와 에이전트 실행 환경을 설계하는 역량이 필요해졌다.

데이터 아키텍처 측면에서는 어떤 정보를 언제 어떤 형태로 LLM에 제공할지 결정하는 JIT 컨텍스트 파이프라인을 설계해야 한다. 벡터 DB 구조, 청크 전략, 메타데이터 스키마가 이 범위에 들어간다.

시스템 아키텍처에서는 에이전트 간 통신 프로토콜, 도구 스펙, 검증 시스템과 관찰 가능성(Observability) 인프라를 포함한 제어 평면을 다룬다. 품질 관리에서는 AI 출력을 측정하고 검증하는 평가 프레임워크와 자동화된 회귀 테스트 체계를 구축해야 한다.

고수준 비즈니스 요구를 에이전트가 실행할 수 있는 스펙으로 바꾸는 의도 명세화 역량도 필요하다. 전통적인 소프트웨어 요구사항 엔지니어링과 AI 에이전트 운용 역량이 만나는 지점이다.

프로덕션 AI 역량의 초점

컨텍스트 설계자는 필요한 정보를 예측하고 토큰 예산 안에서 관련성이 높은 컨텍스트를 구성해야 한다. 이를 위해 RAG의 검색 역할과 컨텍스트 엔지니어링의 조립 역할을 구분하면서 두 계층을 함께 설계한다.

에이전트 환경 엔지니어링은 지시 체계, 제약, 도구와 검증 시스템을 통해 신뢰성 있는 실행 조건을 만든다. 에이전트의 실수를 개별 사건으로 넘기지 않고 시스템 결함으로 분석해 하네스에 반영하는 태도가 중심이다.

평가 프레임워크는 AI 출력 품질을 객관적으로 측정하고 프로덕션 환경에서 지속적으로 감시한다. 의도 명세화는 비즈니스 요구를 실행 가능한 스펙으로 바꾸어 이 평가와 통제의 기준을 제공한다.

2022년의 프롬프트 최적화에서 2026년의 에이전트 환경 설계로 넘어오면서 AI 개발자의 역할은 좋은 문장을 쓰는 사람에서 신뢰할 수 있는 AI 실행 환경을 만드는 사람으로 넓어졌다. JIT 컨텍스트 파이프라인, 에이전트 지시 체계, 자동화된 품질 평가가 서로 연결돼야 프로덕션 신뢰성을 확보할 수 있다. 모델의 능력만으로는 그 모델을 둘러싼 환경의 결함을 대신할 수 없다.