코드 한 줄 없이 100만 줄 — OpenAI 5개월 하네스 엔지니어링 실험
OpenAI 엔지니어 3명이 수동 코드 없이 5개월 만에 100만 줄 서비스를 출시한 실험의 규모와 방법론, AGENTS.md·기계적 불변성·옵저버빌리티·피드백 루프 요소를 정리한다.
2026-08-14 · 최초 발행 2026-03-13
엔지니어 3명, 수동으로 작성한 코드 단 한 줄 없이, 5개월 만에 100만 줄 규모의 서비스가 나왔다. 2026년 2월 OpenAI 엔지니어링 블로그에 게재된 이 실험 보고서는 하네스 엔지니어링(Harness Engineering)이라는 새로운 소프트웨어 개발 패러다임을 제시하며 업계에 파문을 일으켰다.
마구(馬具)에서 빌려온 이름
하네스(Harness)는 말을 제어하는 마구에서 유래한 개념이다. AI 에이전트라는 강력하고 빠른 말이 올바른 방향으로 달리도록 통제하는 전체 환경 인프라를 뜻한다.
구체적으로 하네스는 에이전트가 탐색하기 쉬운 디렉토리와 파일 배치인 리포지토리 구조, 에이전트 출력을 자동 검증하는 빌드·테스트 파이프라인인 CI 설정, 코드 스타일을 강제하는 린터와 포매터인 포맷팅 규칙, 에이전트에게 작업 방식을 지시하는 핵심 문서인 AGENTS.md, 아키텍처 경계와 의존성 규칙을 기계적으로 강제하는 커스텀 린터, 에이전트가 직접 조회 가능한 로그·메트릭·트레이스인 옵저버빌리티 파이프라인, 에이전트가 활용할 수 있는 API·데이터베이스·서비스 연결인 외부 도구 통합으로 구성된다.
핵심 철학은 단순하다. "Humans steer. Agents execute." 인간은 방향을 설계하고, 에이전트가 실행한다.
무엇이 바뀌었나
| 구분 | 기존 엔지니어링 | 하네스 엔지니어링 |
|---|---|---|
| 주요 작업 | 코드 직접 작성 | 환경(하네스) 설계 |
| 집중 영역 | 구현 상세 | 의도(intent) 명세 |
| 검증 방식 | 수동 코드 리뷰 | 자동화된 피드백 루프 |
| 개발 단위 | 개별 기능 | 에이전트 작동 시스템 |
| 병목 자원 | 개발 시간 | 인간의 주의(attention) |
이 전환의 핵심은 희소 자원의 이동이다. 코드를 작성하는 시간이 아니라, 무엇을 만들지 결정하고 올바른 방향을 설정하는 인간의 주의력이 진짜 병목이 된다.
5개월 동안 일어난 일
| 항목 | 수치 |
|---|---|
| 실험 기간 | 2025년 8월 ~ 2026년 2월 (약 5개월) |
| 초기 팀 규모 | 엔지니어 3명 |
| 최종 팀 규모 | 7명 (처리량 오히려 증가) |
| 총 코드 규모 | 약 100만 줄 |
| 총 PR 수 | 약 1,500개 |
| 수동 작성 코드 | 0줄 |
| 전통 대비 개발 속도 | 약 10배 |
| 1인당 PR 처리량 | 평균 3.5 PR/일 |
팀이 3명에서 7명으로 늘어났을 때 처리량이 감소하지 않고 오히려 증가했다는 점이 특히 눈에 띈다. 사람을 늘리면 단기적으로 생산성이 저하된다는 Brook's Law를 역전시킨 결과로, 에이전트 기반 개발의 확장성을 실증적으로 입증했다.
이 실험의 출발점은 완전히 빈 git 리포지토리였다. 초기 스캐폴딩 코드조차 Codex CLI(GPT-5 기반)가 생성했으며, AGENTS.md 파일 자체도 에이전트가 작성했다. 인간 엔지니어는 도구를 사용하는 방법이 아니라 도구가 올바르게 동작하는 환경을 만드는 데 집중했다.
AGENTS.md에서 피드백 루프까지
AGENTS.md는 에이전트가 리포지토리에서 어떻게 작업해야 하는지를 지시하는 핵심 문서다. 백과사전처럼 방대하게 쓰면 컨텍스트 과부하가 나므로 목차(Table of Contents)처럼 설계하고, 상위 문서는 짧게 하위 문서로 계층적으로 연결하는 Progressive Disclosure 패턴을 쓰며, 선언이 아닌 실행 가능한 지시를 담는 명령어 중심(command-first) 원칙을 따르고, 오래된 지시는 에이전트를 혼란시키므로 지속적으로 정리(aggressive pruning)한다.
아키텍처 원칙을 문서화만 해두는 것은 에이전트에게 충분하지 않다. 에이전트는 패턴을 대규모로 복제하기 때문에, 잘못된 패턴이 있으면 순식간에 코드베이스 전체로 전파된다. 해법은 기계적 강제(mechanical enforcement)다. 커스텀 린터로 아키텍처 경계와 의존성 규칙을 CI에서 자동 검증하고, 구조적 테스트(structural tests)로 아키텍처 의도가 지켜지는지 확인하며, 위반 시 PR 머지 자체를 차단한다.
에이전트가 자율적으로 수정하고 검증하려면 실행 중인 시스템을 읽을 수 있어야 한다. 에이전트가 직접 로그, 메트릭, 트레이스를 조회하도록 구성하고, Codex가 버그를 재현하고 수정을 제안한 뒤 결과를 스스로 검증(self-validate)해, 관찰→수정→검증의 자율 루프를 완성한다.
PR 기반 워크플로우로 Codex가 직접 PR을 열고 변경사항을 평가하며 반복 개선하고, CI가 에이전트의 기본 검증 게이트 역할을 한다. "Garbage Collection" 프로세스는 에이전트가 생성한 코드베이스의 아키텍처 드리프트를 주기적으로 정리한다.
OpenAI만의 이야기가 아니다
Greg Brockman(OpenAI 공동창업자)은 이렇게 말했다.
"Some great engineers at OpenAI yesterday told me that their job has fundamentally changed since December. Prior to then, they could use Codex for unit tests; now it writes essentially all the code and does a great deal of their operations and debugging."
동시기 유사한 실험이 업계 전반에서 진행 중이다.
| 사례 | 내용 |
|---|---|
| OpenClaw의 Peter Steinberger | 1개월에 6,600+ 커밋, 5~10개 에이전트 동시 운영 |
| Stripe의 Minions | 내부 코딩 에이전트가 주당 1,000개 이상 PR 병합 |
| Claude Code 하네스 | Anthropic의 에이전트 환경 최적화 접근 |
코드를 짜는 사람과 환경을 설계하는 사람
하네스 엔지니어링 시대에 소프트웨어 엔지니어링 직무는 두 갈래로 나뉘고 있다. 하네스 엔지니어(Harness Engineer)는 에이전트를 오케스트레이션하고 제약을 설계하며, 아키텍처 경계와 불변성을 정의하고, 에이전트 출력을 검증하는 시스템을 구축하며, 인간의 주의를 고가치 결정에 집중시킨다. 반면 전통적 코드 작성 엔지니어는 경쟁사가 10배 빠르게 배포하는 동안 줄별로 코드를 작성하고, AI 도구를 보조 수단으로만 활용하며, 하네스 설계 없이 개별 프롬프트에 의존한다.
이 실험이 업계에 던지는 메시지는 명확하다. AI 도구를 쓰는 것과 AI가 잘 작동하는 환경을 설계하는 것은 다른 차원의 역량이며, 에이전트 시대의 진짜 경쟁력은 코딩 속도가 아닌 하네스 설계 능력이다. 문서화만으로는 부족하고 아키텍처 원칙은 기계적으로 강제되어야 하며, 팀 확장이 생산성 저하를 유발하지 않는 새로운 협업 모델이 가능하다는 것을 이 실험이 보여준다.
수동으로 작성한 코드 0줄로 100만 줄 서비스를 5개월 만에 출시한 사례는 AI 에이전트 시대에 엔지니어의 역할이 구현자에서 환경 설계자로 이동하고 있음을 명확히 한다. AGENTS.md, 기계적 불변성, 옵저버빌리티, 피드백 루프라는 하네스의 네 요소는 이미 업계 전반으로 확산되고 있다.
Sources
- Harness engineering: leveraging Codex in an agent-first world - OpenAI
- OpenAI Introduces Harness Engineering - InfoQ
- Harness engineering - Engineering.fyi
- The Emerging "Harness Engineering" Playbook - Artificial Ignorance
- Build the harness, not the code - Vitthal Mirji
- Beyond Prompts and Context: Harness Engineering for AI Agents - MadPlay
- Harness Engineering: Complete Guide - NxCode
- Harness Engineering: The Discipline - GTCode