소형 멀티모달 안전성 모델을 위한 저지연 검사 파이프라인

검사가 응답 시간을 지배하는 조건

Shieldstral은 3B 규모에서 텍스트와 이미지를 한 모델로 판정하며, 16GB 단일 가속기에 상주할 수 있는 구성을 제시했다. 프롬프트와 응답, 텍스트와 이미지를 각각 다른 분류기에 맡기던 파이프라인은 단일 소형 모델로 통합할 여지가 생겼다.

이때 운영의 중심 문제는 분류 정확도만이 아니다. 안전성 검사는 요청이 들어올 때와 응답을 내보낼 때 최소 두 번 실행된다. 본 모델보다 검사 단계가 느리면 전체 응답 시간은 검사 구간에 의해 결정된다. 이미지 전처리까지 추가되면 요청별 편차도 커진다.

단일 순방향 통과에서 교정 확률을 얻는 구조라면 재시도나 다단 추론 없이 판정할 수 있어 지연을 예측하기 쉽다. 대신 검사 시간을 줄이기 위해 우회 경로를 열어 두는 순간 그 경로는 가드레일 공백이 된다. 배치 위치, 상주 방식, 묶음 처리, 캐시, 전처리, 타임아웃을 함께 설계해야 하는 이유다.

입력과 출력 사이에 놓이는 검사 계층

입력 검사는 본 추론보다 앞에 둔다. 정책을 위반한 요청이 본 모델까지 들어가는 비용을 막기 위해서다. 출력 검사는 사용자 전달 직전에 둔다. 생성된 내용이 정책을 벗어나는 상황을 차단하는 마지막 지점이다.

스트리밍 응답에서는 출력 검사의 위치가 사용자 경험을 바꾼다. 생성 전체가 끝난 뒤 검사하면 스트리밍의 이점이 사라지고, 작은 조각마다 검사하면 문맥이 끊겨 판정이 흔들릴 수 있다. 문장 경계에서 버퍼링한 뒤 검사하는 방식이 두 조건 사이의 절충안이 된다.

모델은 요청마다 올리지 않고 프로세스 수명 동안 상주시킨다. 요청 단위 로딩은 검사 지연 대부분을 로딩 시간으로 바꿔 버린다. 본 모델과 같은 장치에 둘지 별도 장치에 둘지는 메모리 여유와 연산 경합을 함께 봐야 한다. 같은 장치에서는 통신이 없지만, 본 추론과 검사 추론이 가속기 자원을 경쟁한다.

동시에 유입된 요청은 짧은 창에서 묶어 처리할 수 있다. 창이 넓어질수록 처리량은 오르지만 개별 요청의 지연은 증가한다. 대화형 채널과 배치 처리 채널에 같은 창 길이를 적용하면 한쪽은 손해를 본다.

⤢✕

캐시와 이미지 전처리가 만드는 지연 편차

판정 결과 캐시는 동일 콘텐츠, 동일 정책 버전, 동일 질의 조합을 키로 삼는다. 반복 프롬프트나 정형 템플릿이 많은 서비스에서는 적중률이 높다. 특히 정책 버전은 캐시 키에 반드시 포함해야 한다. 정책이 바뀐 뒤에도 과거 판정을 재사용하면 정책 개정은 사실상 무효가 된다.

이미지 입력은 해상도와 형식을 고정 규격으로 정규화한다. 입력 이미지 크기 차이는 검사 지연 편차의 주된 원인이다. 대용량 이미지는 전처리 단계에서 상한을 두고 초과분을 축소한다. 이때 축소가 판정에 미치는 변화는 표본으로 측정해 상한을 결정한다.

관측 지표도 평균으로 끝나면 안 된다. 검사별 지연 분포, 캐시 적중률, 타임아웃 발생률을 계속 계측해야 한다. 평균만으로는 꼬리 지연을 볼 수 없다.

타임아웃과 우회는 정책 문제가 된다

검사가 제한 시간 안에 끝나지 않았을 때의 기본 동작은 명시해야 한다. 차단 우선(fail-closed)은 안전하지만 가용성을 낮추고, 통과 우선(fail-open)은 그 반대다. 외부 공개 채널에는 차단 우선, 내부 조회 채널에는 통과 우선과 사후 검사를 병행하는 구성이 실무적 배치가 될 수 있다.

채널별 기본 동작은 문서와 코드 기본값이 일치해야 한다. 둘이 다르면 사고가 발생했을 때 판단이 늦어진다. 타임아웃 발생률의 상한을 정하고, 이를 넘으면 자원 증설 또는 배치 창 조정을 시작하도록 연결한다.

검사를 건너뛰는 내부 호출 경로도 허용해서는 안 된다. 본 모델 호출은 검사 계층 뒤에만 노출하고, 직접 호출은 네트워크 수준에서 차단한다. 우회 호출 시도는 감사 로그에 남겨 설정 오류와 의도적 우회를 구분한다. 우회 예외 승인 권한은 별도로 지정하고, 예외마다 만료일을 둔다. 타임아웃 기본 동작의 변경 역시 위험 수용 결정으로 보고 승인 절차를 거친다.

도입 시 확인할 운영 기준

외부 입력이 유입되는 지점과 사용자에게 전달되는 지점을 전수 조사해 목록으로 관리한다. 목록에 없는 경로가 검사 공백이다. 내부 시스템 간 호출은 위험도가 낮다면 표본 검사로 전환해 지연 예산을 절약할 수 있다.

전체 응답 시간 목표에서 검사에 배정할 몫을 먼저 정한 뒤, 그 범위 안에서 배치 창과 타임아웃을 결정한다. 입력 검사와 출력 검사에는 별도 예산이 필요하다. 스트리밍 체감에 직접 영향을 주는 출력 검사는 더 짧게 잡는다.

가속기 자원은 상주 메모리와 최대 동시 판정 수를 실측해 산정한다. 3B 규모라도 이미지 입력이 섞이면 메모리 사용은 늘어난다. 본 모델과 장치를 공유할지 여부는 부하 시험으로 정한다. 평시의 여유가 피크 구간의 경합을 보장하지는 않는다.

성능 측정은 텍스트 전용, 이미지 포함, 장문 응답의 세 시나리오로 나눈다. 혼합 부하만 측정하면 병목 원인을 분리하기 어렵다. 평균은 보조 지표로 두고 백분위 지연을 기준으로 판단한다.

판정 결과와 확률값은 중기 보존하되, 원문은 개인정보 처리 근거에 따른 최소 보존 기간을 기본으로 한다. 캐시 항목의 수명은 정책 개정 주기보다 짧게 둔다.

통합 분류기와 분리 분류기의 선택

구분	단일 멀티모달 분류기	모달리티별 분류기 조합
상주 메모리	하나만 점유	모델 수만큼 점유
판정 지연	한 번 호출	모달리티별 순차·병렬 호출
운영 복잡도	낮음	높음
기준 일관성	단일 모델로 통일	모델 간 편차 발생
모달리티별 최적화	제한적	가능
부분 갱신	전체 교체	개별 교체 가능

단일 멀티모달 분류기는 상주 메모리를 한 번만 점유하고 한 번의 호출로 판정한다. 텍스트와 이미지에 같은 정책 문장을 적용할 수 있어 판정 기준도 통일된다. 반면 특정 모달리티에 특화된 최적화 여지는 줄고, 모델 갱신 시 전체가 교체 대상이 된다.

모달리티별 분류기 조합은 각 입력에 맞는 모델을 선택하고 일부만 교체할 수 있다. 대신 모델 수만큼 상주 메모리가 필요하고 호출이 늘어나 지연이 누적된다. 모델별 기준 차이로 같은 취지의 정책이 다르게 적용될 위험도 있다. 텍스트와 이미지가 섞인 요청이 일상적인 서비스에서는 기준 일관성과 지연 측면에서 단일 분류기의 이득이 크다. 특정 모달리티의 판정 난도가 압도적으로 높은 도메인에서는 조합 구성이 정당화될 수 있다.

자체 상주 서빙은 네트워크 왕복이 없어 지연이 짧고 예측 가능하다. 검사 대상 콘텐츠가 외부로 나가지 않으며, 요청량이 늘수록 단가는 고정 자원 비용에 수렴한다. 가속기 자원을 상시 점유하고 저부하 구간에 유휴 비용이 생기며, 모델 갱신과 성능 회귀 검증을 직접 맡아야 한다.

외부 API 검사는 초기 구축 부담이 거의 없고 저부하에서 사용량 기반 과금의 이점이 있다. 공급자의 모델 개선을 자동으로 받을 수 있지만, 요청마다 네트워크 왕복 지연이 추가되고 콘텐츠를 외부로 전송해야 한다. 공급자 장애는 서비스의 가드레일 장애가 된다. 검사가 모든 요청의 앞뒤에 붙는 구조에서는 왕복 지연이 누적되므로, 일정 규모 이상에서는 자체 상주 서빙이 지연과 단가 양쪽에서 우위에 선다.

전량 검사는 모든 요청에 동일한 통제를 적용해 공백이 없고, 사고 발생 시 소명이 명확하다. 위험군 판별 로직의 오류도 없다. 하지만 검사 연산은 요청량에 정비례해 증가하므로 지연 예산과 자원을 크게 소모한다. 표본·위험군 선별 검사는 자원과 지연을 아끼고 처리량을 크게 늘릴 수 있지만, 선별 로직이 놓친 요청은 검사 없이 통과한다. 외부 노출 채널은 전량 검사하고 내부 호출은 표본 검사로 나누며, 표본 결과에서 위반이 발견되면 해당 경로를 전량 검사로 승격하는 방식이 안전성과 처리량의 균형점이 된다.

성능·보호·용량계획에서 보는 검사 계층

안전성 검사는 모든 요청의 앞뒤에 놓이는 직렬 구간이므로 응답 시간 모델에서는 고정 오버헤드로 취급된다. 관리 대상은 평균보다 백분위 지연이다. 배치 창 길이는 처리량과 개별 지연의 상충을 조정하는 파라미터이며, 채널별로 분리하는 것이 원칙이다.

검사 우회 경로 차단은 통제 회피 방지에 해당한다. 예외 승인과 만료 관리는 별도 통제로 다뤄야 한다. 타임아웃 시 기본 동작은 가용성과 기밀성·건전성 사이의 위험 수용 결정이므로 문서화와 승인이 필요하다.

용량계획에서는 상주 모델의 고정 메모리 점유와 최대 동시 판정 수 실측이 기초 입력이 된다. 캐시 적중률은 실제 검사 부하를 바꾸므로 용량 산정에 반영해야 과대 산정을 피할 수 있다.

검사 계층이 향하는 구성

안전성 검사 계층은 별도 마이크로서비스에서 추론 서버 안의 상주 구성 요소로 편입되는 흐름에 있다. 스트리밍 응답의 출력 검사는 문장 경계 버퍼링 기반으로 표준화되는 방향이다.

판정 결과 캐시는 정책 버전 키와 함께 관리되는 구성이 기본 요건으로 자리잡고 있다. 타임아웃 기본 동작을 채널 위험도별로 나눠 선언하는 설계도 규제 대응 항목으로 요구되는 방향이다.

Shieldstral이 3B 규모에서 텍스트와 이미지를 함께 판정하고 16GB 단일 가속기에 상주할 수 있게 되면서, 분리된 분류기 파이프라인은 단일 소형 모델로 통합할 수 있게 됐다. 상주 메모리 절감도 의미가 있지만, 판정 기준을 하나로 맞추고 호출 횟수를 줄여 지연을 낮출 수 있다는 점이 더 직접적인 운영 이점이다. 지연 예산을 먼저 배정하고 그 안에서 배치 창과 타임아웃을 설계하며, 검사 우회 경로를 네트워크 수준에서 막아야 이 효율이 실제 운영 성과로 이어진다.