vLLM 0.32.0 업그레이드: CORS·의존성·토큰 상한 점검

vLLM 0.32.0의 CORS 기본값, 보안 제한, 의존성 범위와 API 변경을 기준으로 서빙 환경의 업그레이드 검증 항목을 정리한다.

2026-10-28

브라우저 요청부터 배포 검증에 넣는다

vLLM 0.32.0에서는 기본 CORS 허용 origin이 *에서 없음으로 바뀌었다. Python과 Rust 프런트엔드 모두에 적용된다. 브라우저 클라이언트를 운영한다면 서버가 기동되는지 확인하는 것과 별도로, 해당 클라이언트의 origin을 허용하는 설정이 필요하다.

이 글의 기준은 **vLLM v0.32.0 (2026-10-18)**이다. 공식 릴리스 노트의 Security와 Breaking Changes를 바탕으로, 기존 서빙 환경에서 확인할 항목을 정리한다.

먼저 배포 설정에 --allowed-origins가 있는지 확인한다. 없다면 실제 브라우저 클라이언트에 필요한 origin을 명시하고, 그 브라우저에서 요청을 검증한다. 이미 설정했다면 허용 대상이 현재 운영 중인 클라이언트와 맞는지 대조한다. 릴리스 노트는 브라우저 origin 허용에 이 옵션을 사용하도록 안내한다.

기본값 변경과 운영자가 명시해야 할 설정의 관계를 다음 그림으로 구분할 수 있다.

⤢✕ CORS 기본값 변경과 브라우저 설정 기본 허용 origin · 적용 프런트엔드 · 브라우저 클라이언트 설정 — 변경 전후 비교 변경 전 기본 허용 origin * 기본 허용 VS vLLM 0.32.0 기본 허용 origin 없음 브라우저 클라이언트 필요한 origin --allowed-origins 로 명시 명시적 허용 비교 축 변경 전 vLLM 0.32.0 기본 허용 origin 적용 프런트엔드 브라우저 클라이언트 설정 * 없음 Python · Rust 모두 — --allowed-origins로 origin 명시 vLLM 0.32.0 업그레이드: CORS·의존성·토큰 상한 점검

CORS 변경은 보안 기본값 변경이면서 클라이언트 호환성 변경이다. 업그레이드 검증에 서버 기동만 포함돼 있다면, 실제 브라우저 요청을 승인 조건에 추가해야 한다.

런타임과 의존성 범위를 함께 맞춘다

Python 3.10 기반 환경은 이번 릴리스를 그대로 적용할 수 없다. 지원 범위는 Python 3.11–3.14이며, 최소 버전은 Python 3.11이다. 기존 배포 이미지와 개발·검증 환경이 서로 다른 Python을 사용한다면 각각 확인해야 한다.

transformers에는 최소 버전뿐 아니라 상한도 있다. 릴리스 노트가 요구하는 범위는 다음과 같다.

transformers>=5.16.1,<5.20.0
tokenizers>=0.23.2

의존성 잠금 파일을 갱신할 때는 transformers를 무조건 높은 버전으로 올리는 방식으로 처리하지 않는다. 설치 결과가 명시된 상한 안에 있는지까지 확인해야 한다.

대상 릴리스의 요구사항 업그레이드 시 확인할 곳
Python 3.11–3.14 지원, 3.10 지원 제거 배포 이미지와 실행 환경
transformers >=5.16.1,<5.20.0 의존성 선언과 잠금 파일
tokenizers >=0.23.2 의존성 선언과 설치 결과
GCC CUDA 소스 빌드에 GCC 13 필요 소스 빌드 환경
aiohttp >=3.14.3 보안 의존성 갱신 결과
pillow >=12.3.0 보안 의존성 갱신 결과

CUDA 소스 빌드를 사용하는 환경에는 GCC 13 요구사항도 적용된다. 요구사항을 충족하지 않으면 빌드 초기에 실패하도록 바뀌었으므로, 소스 빌드 경로에서는 Python과 패키지 버전만 확인해서는 부족하다.

보안 수정 적용을 확인할 때도 vLLM 버전 문자열과 실제 의존성 설치 결과를 함께 본다. 릴리스에는 aiohttp, pillow를 비롯한 보안 의존성 갱신이 포함돼 있다.

chat template 입력 경로와 실행 제한을 확인한다

GHSA-4hhp-h66f-j5j7 수정은 chat template의 자원 고갈 문제를 다룬다. 템플릿을 정적으로 검증하고, VLLM_CHAT_TEMPLATE_RENDER_TIMEOUT에 따른 타임아웃 아래에서 렌더링한다. Rust 프런트엔드에도 템플릿 실행 제한이 적용된다.

기존 템플릿을 사용하는 서비스라면 업그레이드 환경에서 실제 렌더링을 검증한다. 정적 검증과 실행 시간 제한이 추가됐으므로, 템플릿 파일이 존재하거나 서버가 기동된다는 사실만으로 호환성을 판단하지 않는다. 제공된 릴리스 노트에는 타임아웃 기본값이 없으므로 여기서 임의의 값을 전제로 삼을 수는 없다.

Responses API를 감싸는 코드도 확인 대상이다. chat_template_kwargs 안에 사용자가 제공한 chat_template을 넣는 요청은 거부된다. 해당 전달 경로를 사용하는 래퍼나 클라이언트가 있다면 요청 구성부터 수정하고 검증해야 한다.

보안 회귀 검증에서는 다음을 구분해 확인한다.

  • 운영 중인 템플릿이 정적 검증과 타임아웃 아래에서 렌더링되는지 확인한다.
  • Responses API 요청의 chat_template_kwargs에 사용자 제공 chat_template을 넣는 코드가 있는지 찾는다.
  • Rust 프런트엔드를 사용한다면 해당 경로에서도 기존 템플릿 실행을 확인한다.

같은 릴리스의 GHSA-q97c-p368-75c4 수정은 tokenizer의 max_token_id off-by-one 오류를 다룬다. tokenizer 호환성 검증을 수행하는 환경이라면 의존성 범위 갱신과 함께 이 수정도 검증 범위에 포함한다.

P2P 연결과 멀티모달 입력의 경계를 점검한다

GHSA-frvg-qw88-hww9 수정은 서로 다른 피어 주소가 ZMQ 소켓을 고갈시키는 문제를 제한한다. P2P ZMQ 피어 세션에는 피어 수, 핸드셰이크 타임아웃, 유휴 타임아웃이 적용된다.

환경 변수 기본값 제한 대상
VLLM_P2P_MAX_PEERS 128 P2P 피어 세션 수
VLLM_P2P_HANDSHAKE_TIMEOUT_S 30초 핸드셰이크 대기 시간
VLLM_P2P_IDLE_TIMEOUT_S 300초 유휴 세션 시간

P2P ZMQ를 사용하는 구성에서는 이 변수들을 이미 지정하고 있는지 확인하고, 지정하지 않았다면 위 기본값을 기준으로 정상 연결과 재연결을 검증한다. 제한을 조정할 필요가 있다면 실제 피어 구성과 대조해 판단한다.

P2P 세션 제한과 별개로, structured output에서는 중첩 깊이가 64를 초과하는 JSON schema에 400을 반환한다. 동적으로 schema를 만드는 서비스라면 생성 결과가 이 경계를 넘는지 확인해야 한다. 다음 그림은 연결 자원과 schema 입력에 적용되는 제한을 서로 구분해 보여 준다.

⤢✕ 연결 자원과 schema 입력의 제한 vLLM 0.32.0 P2P ZMQ · 연결 자원 VLLM_P2P_MAX_PEERS 기본값 128 피어 세션 수 제한 VLLM_P2P_HANDSHAKE_TIMEOUT_S 기본값 30초 핸드셰이크 대기 시간 제한 VLLM_P2P_IDLE_TIMEOUT_S 기본값 300초 유휴 세션 시간 제한 Structured output · schema 입력 JSON schema 중첩 깊이 64 초과 400 반환

이미지와 공유 메모리 캐시에도 입력 검증이 추가됐다. 신뢰할 수 없는 이미지는 ALLOWED_IMAGE_FORMATS의 래스터 형식 허용 목록으로 열며, EPS/PostScript와 WMF는 거부한다. 이 형식을 입력으로 받던 서비스라면 기존 입력 사례를 업그레이드 환경에서 다시 확인한다.

공유 메모리 멀티모달 캐시 핸들은 HMAC 서명을 사용하고 위조된 핸들을 거부한다. 해당 캐시 경로를 사용하는 구성에서는 정상 멀티모달 요청이 계속 처리되는지 검증한다. 이미지 입력 형식, 캐시 핸들, JSON schema 깊이는 각각 다른 경계이므로 실패 사례도 구분해 기록하는 편이 좋다.

max_tokens를 컨텍스트 예약량으로 해석하지 않는다

max_tokens는 이제 출력 토큰 수의 상한이다. 이전처럼 컨텍스트 윈도에서 해당 값을 예약하지 않으며, 릴리스 노트는 이 변경으로 긴 프롬프트가 더 이상 그 예약 때문에 거부되지 않는다고 설명한다.

이 차이는 기존 요청 수용 동작을 기준으로 테스트를 작성한 환경에서 드러난다. 이전 버전에서 긴 프롬프트가 거부될 것이라고 기대했던 테스트가 있다면, 그 기대가 max_tokens 예약 동작에 의존했는지 확인해야 한다.

변경 전후의 차이는 출력 상한의 존재보다 컨텍스트 윈도를 다루는 방식에 있다.

⤢✕ max_tokens의 의미 변경 컨텍스트 예약 여부와 긴 프롬프트 수용 동작 비교 변경 전 컨텍스트 윈도 프롬프트 max_tokens (예약) 컨텍스트 윈도에서 max_tokens를 예약 VS vLLM 0.32.0 컨텍스트 윈도 프롬프트 max_tokens 출력 토큰 수의 상한 컨텍스트 윈도에서 max_tokens를 예약하지 않음 비교 항목 변경 전 vLLM 0.32.0 컨텍스트 예약 여부 긴 프롬프트 수용 동작 컨텍스트 윈도에서 max_tokens를 예약 컨텍스트 윈도에서 max_tokens를 예약하지 않음 예약 때문에 긴 프롬프트가 거부될 수 있음 기존 예약 때문에 발생하던 긴 프롬프트 거부를 해소 vLLM 0.32.0 업그레이드: CORS·의존성·토큰 상한 점검 | ai-agents

검증에는 기존에 사용하던 긴 프롬프트 요청을 재사용한다. 요청 수용 여부와 함께, 클라이언트나 래퍼에 max_tokens를 예약량으로 취급하는 자체 로직이 있는지도 확인한다. 서버 동작만 바뀌고 클라이언트의 사전 판단이 남아 있다면 새 의미와 맞지 않을 수 있다.

다만 이 변경을 컨텍스트 제한 자체가 사라진 것으로 해석해서는 안 된다. 자료가 명시한 변경 범위는 max_tokens를 컨텍스트 윈도에서 예약하던 동작이다.

스트림 소비 코드와 제거된 설정을 수정한다

Responses API에서 reasoning 스트림을 소비한다면 이벤트 이름을 확인해야 한다. 기존 response.reasoning_part.added/done 대신 response.content_part.added/done을 사용하며, part.type="reasoning_text"로 reasoning 내용을 나타낸다.

구분 기존 동작 vLLM 0.32.0
part 추가 이벤트 response.reasoning_part.added response.content_part.added
part 완료 이벤트 response.reasoning_part.done response.content_part.done
reasoning 식별 기존 reasoning 전용 이벤트 이름 part.type="reasoning_text"

이벤트 이름으로만 분기하는 소비 코드는 새 이벤트와 part.type을 함께 처리하도록 수정한다. 검증도 응답 수신 여부에서 끝내지 말고, reasoning part의 추가와 완료를 클라이언트가 인식하는지까지 확인한다.

배포 옵션과 Python 호출부에서는 제거된 항목을 검색한다.

점검 대상 변경 내용 적용할 작업
wait_for_inflight_requests 제거됨 mode="wait" 사용
AsyncLLM.pause_generation() 제거됨 해당 호출부 확인
mamba_cache_mode="all" 제거됨 기존 설정 수정
--mamba-cache-mode all 검증 실패 실행 인자 수정
--disable-cascade-attn 파싱되지만 경고만 출력 실행 인자에서 제거
PassConfig.enable_sp, fuse_gemm_comms, sp_min_token_num 관련 torch.compile 패스와 함께 제거됨 컴파일 설정 확인

--disable-cascade-attn은 아직 파싱된다는 점 때문에 놓치기 쉽다. cascade attention 자체는 제거됐고, 이 옵션은 경고만 출력하며 v0.33.0에서 제거될 예정이다. 현재 기동에 성공하더라도 배포 설정에서 정리할 대상이다.

torch.compile의 sequence parallelism과 AsyncTP 패스 제거를 모델 수준 sequence parallelism 제거로 확대 해석할 필요는 없다. 릴리스 노트는 모델 수준 sequence parallelism에는 영향이 없다고 명시한다.

추가로 IOProcessor.output_to_response, vllm.scripts.main(), vllm bench throughput --dataset, sonnet 벤치마크 데이터셋, LoRA의 Tensorizer 지원, PyO3 vllm._rust_tool_parser 브리지를 사용하는지도 검색한다. 이 항목들도 이번 릴리스에서 제거됐다.

배포 승인은 요청 동작으로 판단한다

업그레이드 검증은 사용하는 기능에 맞춰 구성한다. 브라우저 클라이언트가 있는 서비스와 P2P ZMQ를 사용하는 서비스는 확인할 경계가 다르다. 모든 항목을 똑같이 실행하기보다, 현재 배포가 의존하는 경로를 골라 관측 가능한 결과를 남긴다.

적용 조건 확인할 결과
모든 배포 Python과 의존성이 지원 범위에 있고 서버가 기동됨
브라우저 클라이언트 사용 필요한 origin을 명시한 상태에서 실제 브라우저 요청이 동작함
기존 chat template 사용 정적 검증과 실행 제한 아래에서 템플릿이 동작함
Responses API 래퍼 사용 거부 대상인 사용자 제공 chat_template 전달 경로가 제거됨
P2P ZMQ 사용 피어 수와 타임아웃 설정을 확인하고 정상 연결·재연결을 검증함
structured output 사용 중첩 깊이 64 초과 schema의 400 응답을 처리함
긴 프롬프트 사용 max_tokens의 변경된 의미에 맞게 요청 수용 동작을 검증함
reasoning 스트림 사용 새 이벤트 이름과 part.type="reasoning_text"를 인식함
기존 설정·API 사용 제거된 항목이 실행 인자와 호출부에 남아 있지 않음

이번 업그레이드에서 배포 승인 기준은 “새 버전으로 실행된다”보다 구체적이어야 한다. 필요한 브라우저 요청이 통과하고, 기존 템플릿이 동작하며, 긴 프롬프트와 reasoning 스트림을 클라이언트가 새 계약에 맞게 처리하는지 확인한다. 그 결과와 의존성 설치 기록을 함께 남기면 보안 수정 적용과 서비스 호환성을 같은 배포에서 검증할 수 있다.

vLLMLLM 서빙CORS보안업그레이드