Codex 하네스 엔지니어링과 에이전트 개발 자동화 설계

코드보다 에이전트의 작업 환경을 먼저 설계한다

OpenAI는 Codex 에이전트를 활용한 대규모 소프트웨어 개발 자동화 사례를 하네스 엔지니어링(Harness Engineering)이라는 이름으로 공유했다. 코드 생성, 테스트, 리팩터링, PR 제출까지 개발 사이클을 에이전트가 수행하도록 만드는 접근이며, 2026년 소프트웨어 엔지니어링의 흐름으로 언급됐다. OpenAI 내부에서는 인간이 직접 한 줄도 작성하지 않고 100만 라인 이상의 프로덕션 시스템을 구축한 사례도 공개됐다.

하네스 엔지니어링에서 인간 엔지니어의 중심 역할은 코드를 직접 구현하는 일에서 에이전트가 일할 환경을 정의하는 일로 이동한다. 기능 의도를 명세하고, 구조적 제약과 리뷰 기준을 정하며, 에이전트가 스스로 수정할 수 있는 피드백 경로를 만든다.

전통적 엔지니어링	하네스 엔지니어링
코드 직접 작성	에이전트 환경 설계
기능 구현	의도(intent) 명세
코드 리뷰 수행	리뷰 기준 정의
디버깅 직접 수행	피드백 루프 설계
테스트 작성	테스트 전략 정의

이 환경은 컨텍스트 엔지니어링, 아키텍처 제약, 피드백 루프, 기계 가독형 문서화 아티팩트, 에이전트가 만든 임시 산출물을 정리하는 가비지 컬렉션으로 구성된다. 각각이 분리돼 보이지만, 에이전트가 필요한 정보를 얻고 허용된 범위 안에서 변경한 뒤 결과를 검증하는 하나의 실행 체계를 이룬다.

Codex가 개발 작업을 끝까지 수행하는 흐름

Codex 에이전트는 코드 완성 도구를 넘어 개발 작업의 전체 사이클을 수행하는 자율 에이전트로 설명된다.

⤢✕

공개된 Codex agent loop는 레포지토리를 탐색해 관련 파일을 찾고, 작업을 하위 태스크와 의존 관계로 나눈 다음, 코드를 변경하는 흐름으로 시작한다. 이후 테스트, 린팅, 타입 체크로 결과를 검증하고 PR과 변경 요약을 제출한다. 리뷰 피드백이 오면 다시 루프에 들어가 변경을 수정한다.

이 루프가 유효하려면 에이전트가 무엇을 변경할지뿐 아니라 어떤 경계를 넘으면 안 되는지도 이해해야 한다. 하네스는 그 판단 재료와 검증 신호를 공급한다.

이슈에서 리팩터링까지 연결하는 자동화 경로

⤢✕

자동화 단위는 명확한 완료 조건을 가진 원자적 태스크여야 한다. 테스트에 실패하면 이전 상태로 돌아가는 롤백 트리거가 필요하고, 서로 독립된 서브태스크는 여러 에이전트가 병렬로 처리할 수 있다.

실행 환경은 에이전트별로 격리된 샌드박스로 분리하고, 에이전트의 결정과 변경은 감사 가능한 로그로 남긴다. 이 구조가 없으면 병렬 실행이 빨라져도 변경 원인과 책임 범위를 추적하기 어렵다.

큰 레포지토리에서는 컨텍스트를 계층으로 다룬다

100만 라인 이상의 레포지토리에서 에이전트가 제대로 작동하려면 모든 코드를 한 번에 전달하는 대신, 작업과의 관련성에 따라 컨텍스트를 나눠야 한다.

계층	내용	갱신 주기
L1 전역	아키텍처 원칙, 코딩 표준, API 계약	낮음 (주 단위)
L2 모듈	모듈별 설계 문서, 의존 관계 맵	중간 (일 단위)
L3 파일	최근 변경 이력, 관련 파일 목록	높음 (커밋 단위)
L4 태스크	현재 작업과 직접 관련된 파일만	실시간

작업 설명과 의미적으로 가까운 코드 조각을 찾는 벡터 임베딩 검색, 변경 파일의 upstream/downstream을 함께 보는 의존 관계 그래프, 자주 참조되는 공통 모듈의 임베딩 캐시가 여기에 쓰인다. 필요한 순간에만 컨텍스트를 넓히는 점진적 탐색도 중요하다. 에이전트가 현재 태스크에 필요한 정보부터 찾고, 막히는 지점에서 범위를 확장하도록 만들기 때문이다.

자동 진행과 사람 승인을 나누는 기준

완전 자동화를 지향하더라도 사람 감독은 안전하고 신뢰할 수 있는 결과를 위한 조건이다. 변경의 위험도에 따라 승인 방식을 다르게 설계할 수 있다.

⤢✕

작업을 시작하기 전에는 범위와 예상 변경 파일을 확인한다. 새로운 의존성을 추가하거나 인터페이스를 바꾸는 아키텍처 결정은 검토 대상이다. DB 마이그레이션과 스키마 변경에는 DBA 검토가 필요하며, 인증·권한·시크릿 처리 코드는 보안팀이 검토한다. 프로덕션 배포 전에는 완전 자동화 환경을 제외하고 최종 사람 승인을 둔다.

AI 생성 코드에 별도 품질 레이어를 둔다

AI 에이전트가 만든 코드는 기존 품질 보증 절차에 통합하되, 생성 주체에 맞는 추가 검증을 적용한다. /* AI-generated */ 주석 또는 PR 레이블로 생성 코드를 표시하고, 일반 코드보다 엄격한 SAST 규칙을 적용할 수 있다.

요구사항과 코드 기능이 의미적으로 일치하는지 LLM 기반으로 검증하고, AI 생성 코드 블록에는 라인 커버리지 90% 이상을 요구한다. 단일 PR에서 에이전트가 수정할 수 있는 파일 수 상한을 두는 변경 엔트로피 제한도 검토 대상이다.

운영 중에는 AI 생성 코드의 재수정 비율인 Rework Rate, AI 생성 테스트의 비안정성 비율인 Test Flakiness, AI PR 이후 롤백 비율인 PR Revert Rate, 에이전트 PR에서 사람이 수정한 비율인 Human Touch Rate를 확인한다. 이 지표들은 자동화가 단순히 변경을 많이 만드는지, 아니면 유지 가능한 변경을 만드는지 구분하는 데 쓰인다.

OpenAI 사례가 보여준 운영 조건

OpenAI가 2026년 공개한 사례에서는 100만 라인 이상의 프로덕션 시스템을 대상으로 인간의 직접 코드 기여를 0줄로 두는 no manually-written code라는 철학적 결정을 제시했다. 작업은 설계, 코딩, 리뷰, 테스트, 배포 단계로 세분화됐고, 컨텍스트 엔지니어링과 아키텍처 제약 명세, 자기 교정 피드백 루프가 핵심 성공 요인으로 언급됐다.

에이전트에는 무엇을 만들지보다 왜 만들어야 하는지와 어떤 제약을 지켜야 하는지를 더 명확히 전달해야 한다. 큰 작업은 작은 블록으로 나누고, 에이전트가 각 블록을 순차적으로 축적하는 방식이 효과적이다. 완전 자동화는 프레임워크와 테스트가 충분히 성숙한 영역부터 점진적으로 넓혀야 한다.