에이전틱 코딩 성과를 가르는 도메인 전문성

코드를 만드는 능력보다 판단하는 능력이 희소해졌다

2026년 6월 Anthropic이 발표한 연구 「Agentic Coding and Persistent Returns to Expertise」는 AI 코딩 어시스턴트의 성과를 좌우하는 요인으로 코딩 배경보다 도메인 전문성을 지목한다. Zoe Hitzig, Maxim Massenkoff, Eva Lyubich, Ryan Heller, Peter McCrory로 구성된 연구진은 2025년 10월부터 2026년 4월까지 약 23만 5천 명이 사용한 40만 건 이상의 Claude Code 세션을 분석했다.

이 연구가 다룬 질문은 단순하다. 에이전트가 코드를 직접 작성하는 환경에서도 기존의 코딩 경험이 가장 강력한 성과 요인인가. 분석 결과는 과업의 목적과 제약을 이해하고 산출물이 올바른지 판별하는 도메인 지식이 더 결정적인 역할을 한다는 쪽에 가까웠다.

실제 세션에서 전문성을 어떻게 측정했나

연구팀은 설문이나 인터뷰에 의존하지 않고 실제 프로덕션 환경의 Claude Code 사용 로그를 세션 단위로 관찰했다. 사용자 직업을 분류하고, 세션에서 발생한 에이전트 행동과 출력량, 검증 결과, 과제 포기 여부를 함께 비교했다.

전문가가 수행한 세션은 프롬프트당 평균 12개의 Claude 액션을 유발했다. 초보자 세션은 5개였다. 출력량에서도 전문가 세션은 평균 3,200단어, 초보자 세션은 600단어로 5배 이상의 차이를 보였다.

완성된 결과가 검증을 통과한 비율은 전문가 등급 세션에서 2833%였고 초보자 세션에서는 15% 수준이었다. 어려운 과제를 만났을 때의 차이도 컸다. 초보자의 19%가 세션을 포기한 반면 중급·전문가 사용자의 포기율은 57%로, 회복력에서 약 3배의 격차가 확인됐다.

과업은 빌드(building), 수정(fixing), 탐색(exploration) 세션으로 나눠 분석했다. 2025년 10월과 비교한 2026년 4월의 평균 세션 가치는 27% 상승했고, 빌드·수정 세션 가치는 각각 32~43% 증가했다. 고장 난 코드를 수정하는 데 사용된 세션 비중은 33%에서 19%로 줄었다. 이 변화는 에이전트의 자율 실행 품질이 전반적으로 나아졌음을 보여준다.

직무보다 과업을 이해하는 깊이가 성과를 갈랐다

소프트웨어 엔지니어와 비엔지니어 직종의 Claude Code 성과에는 통계적으로 유의미한 차이가 없었다. 전체 직군 가운데 가장 높은 성과 지표를 기록한 집단은 경영 관리직 사용자였다.

에이전틱 코딩에서는 구현 문법을 직접 다루는 능력만으로 성과를 설명하기 어렵다. 무엇을 만들어야 하는지, 어떤 순서로 진행할지, 어떤 제약을 지켜야 하는지, 어느 상태를 올바른 결과로 인정할지를 아는 사람이 에이전트를 더 효과적으로 운용했다. 이 판단의 바탕이 도메인 전문성이다.

인간과 에이전트의 역할을 연구 결과에 맞춰 배치하면 다음과 같다.

⤢✕

인간은 계획 결정의 약 70%를 주도하고 Claude는 실행 결정의 약 80%를 맡았다. 병목은 만들 수 있는지에서 결과가 올바른지 판별할 수 있는지로 이동했다. 에이전트가 구현을 더 많이 담당할수록 검증 능력이 희소 자원이 되는 구조다.

도메인 지식을 에이전트가 쓸 수 있는 형태로 바꾸기

전문성이 개인의 머릿속에만 남아 있으면 에이전트가 활용할 수 없다. 컨텍스트에는 먼저 해당 업무의 규제와 성능 요구사항, 비즈니스 규칙을 명시해야 한다. 의료·금융·법률처럼 전문 용어가 의도를 좌우하는 분야에서는 용어 사전도 함께 제공한다.

성공 기준은 코드가 생성됐다는 사실이 아니라 도메인 관점의 수용 기준으로 작성한다. 해당 분야에서 반복되는 오류 유형까지 컨텍스트에 포함하면 에이전트가 피해야 할 실패 패턴을 사전에 전달할 수 있다.

조직 차원의 지식 주입 파이프라인은 지식 추출에서 시작한다. 도메인 전문가 인터뷰와 내부 문서, 표준 운영 절차(SOP)에서 핵심 지식을 뽑아낸 뒤 온톨로지나 지식 그래프 형태로 구조화한다. 세션이 시작되면 작업 유형에 맞는 지식을 선택해 시스템 프롬프트와 사용자 컨텍스트를 조립한다. 이후 세션별 성공률과 검증 통과율, 포기율을 추적해 지식 베이스의 효과를 측정하고 갱신한다.

성과 지표는 도메인의 정답 기준을 따라야 한다

에이전틱 코딩의 성과를 하나의 공통 지표로 평가하기는 어렵다. 생성된 코드의 양보다 각 도메인이 요구하는 정확성과 준수 조건을 기준으로 삼아야 한다.

도메인	핵심 KPI	측정 방법	목표 수준
금융(FinTech)	리스크 계산 정확도, 규제 준수율	백테스트, 컴플라이언스 감사	99.9% 이상
의료(Healthcare)	임상 프로토콜 준수, 데이터 비식별화율	HIPAA 감사, 임상 검토	100% 준수
제조(Manufacturing)	공정 최적화율, 불량률 감소	OEE 지표, 6시그마 기준	기준 대비 30% 개선
법률(LegalTech)	조항 정확도, 판례 일치율	전문가 검토, 법원 기록 비교	95% 이상
소프트웨어(SW)	빌드 성공률, 테스트 커버리지	CI/CD 파이프라인 지표	90% 이상

금융에서는 리스크 계산과 규제 준수가 중심이고, 의료에서는 임상 프로토콜과 데이터 비식별화가 판단 기준이 된다. 제조·법률·소프트웨어도 각각 공정, 조항과 판례, 빌드와 테스트라는 고유한 검증 기준을 갖는다. 도메인 전문가가 필요한 이유는 바로 이 차이를 알고 있기 때문이다.

조직 교육은 도구 사용법에서 검증 역량으로 이동해야 한다

초급 단계인 1~3개월에는 AI 코딩 도구의 기능을 익히는 데 머무르지 않고, 프롬프트에 도메인 지식을 명확히 표현하는 훈련이 필요하다. 분야별 결과 검증 체크리스트를 작성하고 실제 산출물에 적용하는 능력도 이 단계에서 다룬다.

3~6개월의 중급 단계에서는 도메인별 컨텍스트 템플릿을 직접 설계해 팀 표준으로 만든다. 세션 포기율과 재지시 횟수 같은 KPI를 측정하고 개선 사이클을 운영한다.

6개월 이상인 고급 단계에서는 도메인 지식 베이스를 조직 전체의 AI 코딩 파이프라인과 연결한다. 서로 다른 도메인의 지식을 교차 활용하는 체계도 이 단계에서 다룬다.

코딩과 프롬프트 역량의 자리가 달라진다

도메인 전문성은 과업 정의의 정확도에 직접 영향을 주고, 검증 능력의 근본 원천이 되며, 에이전트를 다시 지시하는 효율까지 결정한다. 연구 데이터에서도 전문가 세션의 검증 성공률은 28~33%, 초보자 세션은 15%였다.

코딩 기술의 역할이 사라지는 것은 아니다. 에이전트가 만든 결과를 기술적으로 검토할 때 여전히 필요하다. 다만 비엔지니어 직군이 소프트웨어 엔지니어와 통계적으로 동등한 성과를 보였다는 결과는 직접 구현 경험만으로 에이전틱 코딩 성과를 설명할 수 없음을 보여준다.

프롬프트 작성 능력은 도메인 전문성을 모델에 전달하는 인터페이스로 기능한다. 단기적인 성과에는 기여하지만 도메인 지식이 없으면 한계가 있고, AI 모델이 발전하면서 점차 자동화되는 경향을 보인다. 반면 무엇이 맞는지 판단하는 전문성의 가치는 에이전트의 코딩 실행 능력이 향상될수록 더 커지는 구조다.

팀의 역할도 이에 맞춰 달라진다. 도메인 전문가는 요구사항을 정의하고 과업을 분해하며 결과를 검증하는 방향 설정자가 된다. AI 오케스트레이터는 에이전트 워크플로와 다중 에이전트 협업, 컨텍스트 최적화를 담당한다. 기술 감사자는 에이전트 산출물의 보안과 성능, 아키텍처 적합성을 검토한다.

요구사항 공학과 AI 거버넌스에 주는 시사점

이 연구는 요구사항 공학의 무게가 에이전틱 코딩에서도 줄지 않았음을 보여준다. 인간이 계획 결정의 약 70%, AI가 실행 결정의 약 80%를 담당하는 분업 구조에서는 요구사항을 정의하고 분석하며 검증하는 설계 단계가 오히려 더 선명해진다.

세션 성공률과 검증 통과율, 포기율은 AI 시스템 감리 지표를 설계할 때 참고할 수 있다. 특히 산출물이 특정 업무에 적합한지를 평가하는 도메인 적합성 지표와 연결된다.

도메인 지식 컨텍스트 주입 파이프라인은 기업의 지식 관리와 AI 시스템 거버넌스를 결합하는 문제이기도 하다. 조직 교육 역시 기존의 코딩 중심 역량 관리에서 도메인 지식의 구조화와 검증 능력을 포함하는 체계로 바뀌어야 한다.

40만 세션을 대상으로 한 시계열 분석, 직군별 성과 비교, 과업 유형별 가치 변화 추적은 대규모 사용자 행동 데이터 분석의 적용 사례로도 볼 수 있다.

도메인 특화와 검증 자동화가 향하는 곳

2026년 이후에는 범용 코딩 에이전트보다 특정 분야의 지식 베이스와 검증 로직을 내재화한 도메인 특화 에이전트가 더 높은 성과를 낼 것으로 전망된다. 금융·의료·법률 분야에서는 이미 도메인 특화 AI 코딩 도구 개발이 가속화되고 있다.

사람의 전문성에 의존하는 검증 단계를 자동화하는 기술도 핵심 과제로 부상할 것이다. 형식 검증, 도메인 테스트 자동 생성, 비즈니스 규칙 기반 자동 검사 도구의 발전이 예상된다.

컨텍스트 엔지니어링은 정적인 시스템 프롬프트에서 동적으로 갱신되는 도메인 지식 그래프로 확장될 전망이다. 작업에 필요한 지식을 세션 컨텍스트에 실시간으로 통합하는 기반에서 MCP(Model Context Protocol)와 같은 표준이 중요한 역할을 담당할 것으로 예상된다.

Anthropic의 연구가 보여주는 변화는 코딩의 가치가 사라진다는 주장이 아니다. 구현을 에이전트에 맡길 수 있는 범위가 넓어질수록 무엇을 만들고 어떤 결과를 승인할지 결정하는 사람의 책임이 커진다는 뜻이다. 조직의 AI 전환도 도구 배포만으로 끝내지 않고 도메인 지식의 구조화, 컨텍스트 주입, 결과 검증을 하나의 운영 체계로 묶어야 한다.