OfficeQA가 드러낸 AI 에이전트의 기업 문서 처리 성능 격차

공개 벤치마크 점수만으로는 보이지 않는 성능

Databricks가 공개한 OfficeQA 연구에서 Claude Opus 4.5의 의미론적 정확도는 37.4%였다. 학술 벤치마크에서 두각을 나타낸 AI 에이전트도 계약서, 재무 보고서, 정책 문서처럼 실제 업무에 쓰이는 자료를 다루면 절반에 못 미치는 성능을 보였다.

이 결과는 AI 에이전트의 능력 자체보다 도입 판단의 기준을 문제 삼게 한다. 공개 벤치마크 점수가 높다는 이유만으로 기업 내부 문서에서도 같은 수준을 기대할 수 있는지, POC에서 잘 풀린 사례가 전체 업무를 대표하는지 다시 확인해야 한다.

OfficeQA가 평가하는 문서 업무

OfficeQA는 Databricks Research가 기업 문서 처리에 맞춰 설계한 AI 에이전트 평가 프레임워크다. 검색, 추론, 요약 능력을 각각 떼어 측정하는 학술 벤치마크와 달리 실제 사무 환경에서 이어지는 복합 작업을 재현한다.

평가 대상에는 계약서, 재무 보고서, 정책 문서, 이메일 스레드, 슬라이드 덱이 포함된다. 에이전트는 이 자료를 근거로 실무자의 질문에 답해야 한다. 문서에서 조항·수치·날짜를 찾는 팩트 추출, 복수 문서의 일관성이나 차이를 판별하는 교차 문서 추론, 문맥을 엮어 의사결정용 요약과 권고를 만드는 맥락적 합성이 함께 평가된다.

한 질문을 처리하는 동안 여러 문서를 검색하고 수치를 비교하며 법률·재무 용어를 해석해야 한다. 어느 한 능력만으로 풀 수 있는 문제가 아니라는 점이 기존 벤치마크와의 핵심 차이다.

형식과 길이부터 실무 데이터에 가깝다

OfficeQA 데이터셋은 공개된 학술 자료가 아니라 실제 기업 환경에서 익명화한 문서로 구성된다. 단일 페이지 메모와 수백 페이지짜리 연간 보고서가 함께 들어 있으며 PDF, DOCX, XLSX, 이메일 포맷이 혼재한다. 에이전트는 내용을 이해하기 전에 형식을 구분하고 제대로 파싱해야 한다.

계약 조항의 법률적 의미, 재무제표의 회계적 맥락, 인사 정책의 예외 조건처럼 도메인 지식이 필요한 항목도 많다. 채점은 부분 정답이나 근사치를 오답으로 처리할 만큼 엄격하다. 추론을 통해 올바른 답에 도달했더라도 표현 방식이 기준과 다르면 정확도에 반영되지 않는 경우가 있다.

평가에는 완전 일치율(Exact Match Rate), 의미론적 정확도(Semantic Accuracy), 태스크 완료율(Task Completion Rate)이 병행된다. 완전 일치율은 출력과 정답이 문자 수준에서 같은지를 보고, 의미론적 정확도는 표현이 달라도 같은 의미라면 정답으로 인정한다. 태스크 완료율은 에이전트가 답변을 포기하지 않고 시도했는지를 통해 신뢰도와 거절 경향을 측정한다.

Claude Opus 4.5의 37.4%는 의미론적 정확도 기준이다. 완전 일치율은 이보다 낮으며, 이 결과는 실무 문서 처리에서 10번 중 6번 이상 틀린다는 뜻이다.

모델 순위보다 태스크별 실패 양상이 중요하다

OfficeQA에 참여한 주요 모델은 학술 벤치마크에서 보인 수준을 재현하지 못했다. 상위 학술 벤치마크에서 90% 이상의 정확도를 기록한 모델들이 OfficeQA에서는 공통적으로 40% 전후에 머물렀다.

⤢✕

팩트 추출에서는 모델 간 격차가 비교적 작았고 상위 모델은 55~60% 수준에 도달했다. 하지만 교차 문서 추론에서는 모든 모델이 30% 이하로 떨어졌다. 맥락적 합성은 모델별 편차가 가장 큰 영역이었다.

학술 벤치마크의 순위도 그대로 이어지지 않았다. 특정 벤치마크의 최상위 모델이 OfficeQA에서는 중위권에 머무는 사례가 관찰됐다. 단일 점수나 종합 순위보다 실제로 맡길 태스크에서 어떤 오류를 내는지 봐야 하는 이유다.

단일 문서에 명시된 정보를 찾는 작업보다 여러 문서에 흩어진 정보를 취합할 때 팩트 추출 오류가 늘었다. 표와 본문의 내용이 어긋난 문서에서는 어떤 값을 선택해야 하는지 잘못 판단하는 경우도 빈번했다.

교차 문서 추론의 문제는 더 깊다. 두 계약서의 조항이 충돌하는지 판단하거나 여러 분기 보고서에서 추세를 읽는 일은 인간 전문가에게도 집중적인 검토를 요구한다. 에이전트는 개별 문서를 어느 정도 이해하면서도 문서 사이의 논리를 연결하는 데 크게 약했다.

맥락적 합성에서는 환각(Hallucination)이 주요 실패 원인으로 지목됐다. 문서에 없는 정보를 만들어 내거나 원문을 지나치게 해석해 본래 의도와 다른 결론으로 넘어가는 현상이 상당 비율로 관찰됐다.

왜 기업 문서에서 점수가 무너지는가

학술 벤치마크는 공개 가능한 데이터로 구성된다. MMLU, BIG-Bench, HumanEval 등 주요 벤치마크에 쓰이는 자료는 학술 논문, 위키피디아, 교과서, 코딩 문제, 공개 시험 문항이 중심이다. 기업 내부 문서는 이 데이터 분포에서 구조적으로 빠져 있다.

모델은 공개 도메인의 문장과 문제 유형에는 익숙하지만, 기업 계약서의 조항 표현, 회계 기준에 따른 재무 보고서 표기, 인사 정책의 예외 처리 방식에는 상대적으로 덜 노출된다. 같은 언어로 작성된 문서라도 어법과 형식, 약어, 조직별 관행이 다르면 학습 중 익힌 패턴을 그대로 적용하기 어렵다.

공개된 평가 문항은 오염 가능성을 피하기 어렵다

벤치마크 문항이 공개되고 인터넷에 인덱싱되면 이후 사전 학습 데이터에 포함될 가능성이 생긴다. 개발사가 의도하지 않았더라도 모델이 문제 유형이나 정답 패턴을 학습할 수 있다. 이를 데이터 오염(Data Contamination) 또는 벤치마크 오버피팅이라고 부른다.

⤢✕

OfficeQA는 비공개 기업 문서를 사용하므로 이러한 오염에서 상대적으로 자유롭다. 실무 성능을 예측하는 값으로 OfficeQA 결과를 해석할 수 있는 근거 가운데 하나다.

실무 질문에는 모호성과 조건이 남아 있다

학술 평가의 질문은 대체로 범위가 분명하고 정답도 하나이거나 제한적이다. 기업 문서에 관한 질문은 다르다. “이 계약의 해지 조건은 무엇인가?”라는 질문도 실제 계약서에서는 관련 조건이 여러 조항에 흩어져 있거나 상황별로 다르게 적용될 수 있다.

이때 에이전트는 모호성을 알아차리고 불확실성을 표현하거나 추가 설명을 요청해야 한다. 이런 능력은 학술 벤치마크에서 거의 측정되지 않지만, OfficeQA에서는 부족한 모호성 처리 능력이 곧 오답으로 이어진다.

기업 문서 작업은 여러 추론 단계를 잇는 경우도 많다. 계약 조항이 회사 정책을 위반하는지 판단하려면 (1) 계약 조항의 의미를 파악하고, (2) 관련 정책을 찾은 뒤, (3) 두 텍스트를 의미론적으로 비교하고, (4) 위반 여부를 결정하고, (5) 근거를 제시해야 한다.

현재 AI 에이전트는 단계가 길어질수록 오류가 누적되는 구조적 취약점을 보인다. 앞 단계의 작은 오판이 뒤 단계로 전달되면서 복잡한 태스크의 최종 정확도가 가파르게 낮아진다.

도입 전 평가는 회사의 문서로 다시 만들어야 한다

기업이 모델을 고를 때 흔히 보는 자료는 개발사의 공식 벤치마크 점수, 특정 태스크의 POC 결과, 다른 기업의 도입 사례다. 그러나 세 지표 모두 운영 환경의 성능을 높게 보이게 할 수 있다.

공식 점수에는 데이터 분포 편향과 오염 가능성이 있다. POC는 대개 잘 작동하는 시나리오에 초점을 맞추므로 전체 업무 범위를 대표하지 못한다. 공개된 도입 사례에는 성공 사례가 더 많이 공유되는 생존자 편향이 들어간다. 따라서 벤치마크 점수는 실무 성능의 상한으로 보고, 실제 판단은 자체 데이터로 내려야 한다.

⤢✕

먼저 실제 업무에서 발생하는 문서 처리 작업을 빈도와 중요도에 따라 분류하고 평가용 태스크 50~100개를 고른다. 에이전트가 잘 푸는 문제만 모으지 말고 전체 업무의 다양성을 반영해야 한다.

각 태스크의 정답은 내부 전문가가 직접 라벨링하고 검증한다. 이 과정은 단순한 평가 데이터 제작에 그치지 않는다. 조직이 “AI가 이 질문에 어떻게 답해야 하는가”를 명시적으로 합의하면서 활용 기준을 세우는 작업이기도 하다.

모델이나 검색 구성이 바뀐 뒤에는 같은 골든셋으로 다시 평가해야 한다. 완전 일치율, 의미론적 정확도, 태스크 완료율과 함께 업무별 허용 오류 기준을 명세하고, 모델 업데이트에 따른 드리프트를 지속해서 확인한다.

업무 위험도에 따라 통과 기준도 달라진다

모든 문서 작업에 같은 정확도를 요구하는 것은 현실적이지 않다. 오류가 초래하는 결과와 사람이 수정하기 쉬운지를 기준으로 임계값을 달리해야 한다.

법률 계약 분석이나 재무 보고서 검토처럼 오답 비용이 큰 업무에는 정확도 90% 이상이 요구된다. 이 기준에 이르지 못한 AI 에이전트를 단독으로 사용하는 것은 부적절하다. 내부 지식 검색이나 초안 작성 지원처럼 사람이 오류를 쉽게 발견하고 고칠 수 있는 작업에서는 70% 수준의 정확도도 생산성 향상에 기여할 수 있다.

OfficeQA의 37.4%는 법률·재무 문서 처리를 에이전트에 단독으로 맡기기에는 지나치게 낮다. 다만 초안 생성, 검색 지원, 요약처럼 인간을 보조하는 역할에서는 여전히 활용 여지가 있다.

RAG가 해결하는 문제와 남겨 두는 문제

검색 증강 생성(RAG)은 사전 학습에 없던 내부 문서를 실시간으로 찾아 컨텍스트에 넣는다. 기업 문서를 근거로 답하게 만들 수 있다는 점에서 단기적으로 적용하기 현실적인 정확도 개선 전략이다.

효과는 태스크마다 다르다. 팩트 추출과 맥락적 합성에서는 RAG가 상당한 정확도 향상을 가져오지만, 교차 문서 추론은 검색과 컨텍스트 구성을 함께 설계해야 하므로 단순한 구현만으로 얻는 효과가 제한적이다.

청킹(Chunking)이 문서 구조를 무시하면 계약 조항 사이의 참조나 재무 보고서와 주석의 연결이 끊어진다. 검색 결과에 필요한 문장이 들어 있어도 판단에 필요한 맥락이 다른 청크로 분리될 수 있다. 따라서 조항과 참조 관계를 보존하는 구조적 청킹이 필요하다.

벡터 유사도 검색만으로는 정확한 수치나 날짜처럼 정밀 일치가 필요한 정보를 놓칠 수 있다. BM25 같은 키워드 검색을 함께 쓰는 하이브리드 검색은 기업 문서 처리에서 더 높은 재현율을 보인다.

파인튜닝은 운영 역량까지 요구한다

기업 내부 문서와 전문가 답변 쌍으로 도메인 특화 파인튜닝을 수행하면 조직 고유의 용어, 약어, 문장 습관과 업무 관행을 모델에 반영할 수 있다. 장기적으로는 RAG보다 깊은 수준의 성능 향상을 기대할 수 있는 접근이다.

그만큼 준비할 것도 많다. 고품질 학습 데이터 구축, 파인튜닝 인프라, 지속적인 재학습 파이프라인이 필요하다. 잘못 수행하면 일반 능력이 손상되는 재앙적 망각(Catastrophic Forgetting)도 발생할 수 있다. 대부분의 기업에서 파인튜닝은 즉시 적용할 단기 해법보다 중장기 투자 과제에 가깝다.

에이전트를 자동화 주체로 보기 전에 안전장치를 설계한다

기업 문서 처리 에이전트는 확실하지 않은 답을 확신하는 형태로 내놓지 않도록 설계해야 한다. 프롬프트와 시스템 지침에서 불확실성을 명시하고, 모르는 경우 모른다고 답하도록 유도해야 한다.

출력이 의사결정으로 바로 이어지지 않게 인간 검토 게이트도 둬야 한다. 에이전트가 제시한 신뢰도 점수나 출력 유형에 따라 검토 여부를 선택적으로 정할 수 있다.

복잡한 작업은 하나의 프롬프트로 끝내기보다 하위 태스크로 나누고 각 단계의 출력을 확인하는 Chain-of-Thought 방식으로 처리하는 편이 정확도가 높다. 고위험 태스크라면 복수 모델이 독립적으로 답하게 한 뒤 일치도를 신뢰도 판단에 활용하는 앙상블 검증도 고려할 수 있다.

역할을 바꾸면 같은 정확도의 의미도 달라진다

OfficeQA가 보여주는 핵심은 AI 에이전트가 인간 전문가를 대체할 수 있는지에 있지 않다. 실제 성능을 확인하지 않은 상태에서 자동화 범위와 운영 책임을 결정하는 일이 위험하다는 데 있다.

37.4%의 정확도로 기업 문서 처리를 자동화하면 63%의 오류가 누적된다. 그 출력이 검증 없이 의사결정에 들어가면 효율보다 리스크가 커진다. 반대로 에이전트가 자료 탐색과 초안 작성을 맡고 인간 전문가가 검토하는 구조라면 37.4%도 상당한 가치를 만들 수 있다.

OfficeQA 연구는 법률, 재무, 의료, 인사처럼 각 산업의 문서 업무를 반영한 전문 벤치마크가 필요하다는 주장도 뒷받침한다. 공신력 있는 기관이 이러한 벤치마크를 표준화하고 주기적으로 갱신하면 기업은 모델의 실무 적합성을 더 정확히 비교할 수 있다.

모델 개발사에도 실무 문서 처리 성능을 개선할 유인이 생긴다. 학술 벤치마크만 경쟁 기준으로 쓰이는 환경에서는 현장 성능보다 벤치마크 최적화에 자원이 집중될 수밖에 없다.

기업이 먼저 할 일은 모델 개발사의 점수를 믿고 자동화 범위를 넓히는 것이 아니다. 자사 문서와 업무를 반영한 평가 체계를 만들고, 에이전트의 역할을 인간 전문가의 생산성을 높이는 도구로 정의해야 한다. 그 위에 RAG, 파인튜닝, 태스크 분해와 인간 검토 게이트를 업무 위험도에 맞춰 결합하는 것이 벤치마크와 현장의 간극을 줄이는 현실적인 경로다.