AI 모델 카탈로그와 평가 회전 체계 운영법

9월에는 Google의 Gemini 3.5 Flash Lite와 3.6 Flash, 3.7 Flash 및 오디오·이미지 변형, Amazon Nova 2 시리즈, Alibaba Qwen3.8 등 네 곳 이상에서 새 모델이 나왔다. 이런 환경에서 모델 도입은 뛰어난 모델 하나를 찾는 일이 아니라, 계속 유입되는 후보를 카탈로그에 등록하고 평가 순환에 태우는 운영 문제가 된다.

출시 때마다 모든 후보를 다시 보면 검증이 상시 업무가 된다. 반대로 평가를 미루기만 하면 더 빠르거나 저렴한 대안을 놓친다. 비교 데이터셋까지 회차마다 달라지면 결과를 쌓아도 이전 평가와 비교할 수 없다.

카탈로그가 다뤄야 할 운영 단위

모델 이름과 단가만으로는 채택 여부를 판정하기 어렵다. 제공사, 버전, 출시일, 단가, 컨텍스트 한계, 지원 모달리티, 데이터 처리 조건을 등록 메타데이터의 필수 항목으로 둔다. 규제와 계약 조건이 실제 채택 가능 여부를 결정하는 경우가 있기 때문이다.

각 모델에는 제공사의 마케팅 분류가 아니라 조직의 작업에 맞춘 능력 태그를 붙인다. 코드 작성, 장문 요약, 도구 사용, 음성 대화, 이미지 이해처럼 실제 사용 축으로 분류해야 라우팅과 평가 대상을 정할 수 있다. 텍스트 외에 오디오와 이미지 변형까지 늘어난 상황에서는 단일 능력 축만으로 후보를 비교하기 어렵다.

평가 대기열에는 최소 컨텍스트, 필수 기능 지원, 데이터 처리 조건 충족 같은 진입 기준을 통과한 모델만 넣는다. 출시된 모델을 모두 시험하지 않는다는 원칙이 평가 부하를 좌우한다.

평가 후보 수는 정기 슬롯마다 고정하고, 대기열의 우선순위에 따라 채운다. 출시 즉시 평가를 시작하면 인력 배치가 릴리스 일정에 끌려가지만, 슬롯이 정해져 있으면 평가 운영을 예측할 수 있다.

모든 후보에는 조직의 실제 작업에서 선정한 고정 입력 집합과 동일한 채점 기준을 적용한다. 기준선 데이터셋이 자주 바뀌면 과거 결과와의 비교가 무너진다. 공개 벤치마크 점수는 후보를 줄이는 데 활용할 수 있어도 채택 근거를 대신할 수는 없다.

채택 여부는 현행 모델 대비 품질 향상 폭, 원가 변화, 지연 변화의 임계를 사전에 정해 판단한다. 평가를 마친 뒤 기준을 정하면 새 모델에 유리한 기준이 만들어지기 쉽다.

지원 종료, 채택 후 대체, 진입 기준 미달 지속은 폐기 사유로 관리한다. 활성 카탈로그와 이력은 분리해야 이미 폐기된 후보가 현재의 선택을 흐리지 않는다. 팀은 현재 승인 모델, 용도별 권장 모델, 평가 중인 후보를 조회할 수 있어야 한다. 담당자만 아는 목록은 구성원마다 다른 모델 선택으로 이어진다.

⤢✕

평가 체계를 현행 호출 기준으로 세우기

시작점은 설정 파일이 아니라 실제 호출이다. 어떤 기능이 어떤 모델을 사용하는지 조사할 때 폴백과 예외 경로까지 확인해야 한다. 설정상 하나의 모델만 쓰는 것처럼 보여도 실제 요청은 다른 모델로 향할 수 있다.

기준선은 대표적인 실제 요청과 정답 또는 채점 기준으로 구성해 고정한다. 공개 벤치마크를 그대로 가져오면 조직의 작업 분포와 달라 순위가 뒤집힐 수 있다.

평가 회차는 월 또는 분기 단위로 잡고, 회차마다 처리할 후보 수를 정한다. 출시 공지에 맞춰 일정을 다시 짜기 시작하면 팀은 릴리스 속도에 반응하느라 평가 업무에서 벗어나기 어렵다.

진입 기준에는 컨텍스트 한계, 필수 기능, 데이터 처리 조건, 최소 안정성 요건을 문서로 남긴다. 관심이 생긴 모델을 임의로 대기열에 넣기 시작하면 후보는 끝없이 늘어난다.

평가 수행자와 채택 결정자는 분리하고, 결정 근거를 기록한다. 평가에 투입한 노력이 최종 판단에 영향을 주지 않도록 하기 위해서다. 제공사 릴리스와 가격 변경을 확인할 담당자, 주기, 공유 형식도 정해 둔다. 뉴스에만 의존하면 조용히 출시되는 변형 모델 가운데 원가에 유리한 선택지를 놓칠 수 있다.

등록 항목, 태그 분류, 진입 기준, 평가 주기, 채택 임계, 폐기 규칙은 조직 표준으로 관리한다. 카탈로그 등록 수, 평가 처리량, 채택률, 채택 후 성능 변화, 폐기 이행률도 정기 보고 대상으로 둔다.

회전 평가와 즉시 검토가 다른 지점

구분	정기 회전 평가	출시 즉시 개별 검토
운영 예측성	높음	낮음
기회 포착 속도	느림	빠름
평가 부하	일정	변동
비교 가능성	높음	낮음
인력 배치	안정	불안정
최신성	지연	즉시

정기 회전 평가는 평가 인력과 예산을 고정할 수 있고, 같은 데이터셋과 절차를 반복하므로 회차별 결과가 축적된다. 릴리스 소음에 덜 흔들리는 대신, 유리한 모델이 나와도 다음 회차까지 기다려야 하며 대기열이 쌓일 수 있다. 시장 변화가 급격할 때는 반응이 늦어진다.

출시 즉시 개별 검토는 원가와 성능의 이득을 먼저 확인하고 경쟁 상황에도 민감하게 대응한다. 그러나 평가 부담이 릴리스 일정에 따라 움직여 인력 계획이 흔들리고, 매번 평가 조건이 달라지면 비교가 성립하지 않는다. 팀이 평가에만 매달릴 위험도 있다.

기본 운영은 정기 회차로 두고, 원가나 능력에서 임계를 크게 넘는 모델만 예외 회차에서 바로 평가하는 방식이 두 선택지의 균형점이 된다.

고정 기준선은 실제 작업 분포에 맞춘 채점과 회차 간 비교를 제공하며 자체 데이터도 축적한다. 다만 데이터셋 제작과 채점에는 비용이 들고, 항목 수가 적으면 통계적 안정성이 낮다. 데이터셋이 낡으면 실제 업무와 어긋날 수 있다. 공개 벤치마크는 비용 없이 넓은 항목을 다루며 후보를 빠르게 줄일 수 있지만, 조직 작업과 측정 항목이 다를 수 있고 학습 데이터 오염 논란에서도 자유롭지 않다. 공개 점수로 후보를 좁힌 뒤, 남은 후보에 고정 기준선을 적용하는 이단계 평가가 비용과 신뢰도를 함께 관리한다.

모델을 소수에 집중하면 운영이 단순해지고 프롬프트와 파라미터를 깊게 최적화할 수 있다. 물량을 모아 단가와 지원 조건에서도 유리할 수 있다. 반면 작업 유형별 최적 모델을 포기해 원가나 품질 손실이 생길 수 있으며, 특정 모델의 장애나 정책 변경이 전체에 영향을 준다.

다수 모델을 병행하면 작업별로 적합한 모델을 배정하고 제공사 장애에도 대응할 수 있으며 협상 대안도 생긴다. 그만큼 프롬프트와 평가 대상이 늘고, 모델별 최적화는 얕아지며 계약과 자격 관리 부담도 커진다. 주력 모델은 소수로 두되, 음성이나 이미지처럼 성격이 다른 축에만 별도 모델을 병행하는 구성이 운영 단순성과 적합도를 함께 고려한다.

구성·공급자·품질 관리에 연결되는 구조

구성 관리 관점에서 등록 메타데이터와 폐기 규칙은 구성 항목의 등록 및 폐기 절차에 해당한다. 공개 카탈로그는 구성 정보의 현행화와 공유를 담당한다.

제공사별 릴리스 감시와 단가 추적은 공급자 성능 및 조건을 모니터링하는 활동이다. 다수 모델 병행 여부는 특정 공급자에 대한 종속 위험을 관리하는 결정이기도 하다.

고정 기준선 데이터셋과 채택 임계는 측정 기준을 표준화한다. 평가 수행자와 최종 결정자를 분리하는 구조는 측정 결과의 객관성을 확보하는 수단이 된다.

모델 카탈로그가 향하는 방향

모델 카탈로그는 조직 자산 목록의 정식 항목으로 편입되고 계약과 연동되는 방향으로 움직인다. 능력 태그는 작업 유형별 라우팅 규칙과 직접 연결되며, 고정 기준선 평가는 조달 검토의 필수 산출물로 요구되는 흐름이다. 모달리티별 변형 모델이 늘수록 텍스트만으로 모델을 평가하는 방식의 한계도 커진다.

신모델을 전수 검토하거나 방치하는 선택 대신, 진입 기준과 평가 슬롯으로 부하를 고정해야 한다. 등록 메타데이터, 능력 태그, 진입 기준, 정기 슬롯, 고정 기준선, 채택 임계, 폐기 규칙, 공개 카탈로그가 그 운영의 최소 구성이다. 특히 채택 임계를 결과를 본 뒤에 정하면 판정은 새 모델 쪽으로 기울고, 그 모델이 실제로 낸 이득도 검증하기 어려워진다.