Qwen 3.5 vs DeepSeek V4: 오픈소스 멀티모달 에이전트 실전 비교

2026년 3월, 알리바바의 Qwen 3.5와 DeepSeek의 V4가 거의 동시에 출시되면서 오픈소스 멀티모달 에이전트 경쟁이 새로운 국면에 접어들었다. 두 모델 모두 텍스트·이미지·코드를 통합 처리하며 상용 모델에 필적하는 성능을 오픈소스로 제공한다는 점에서, 자체 구축(Build) 옵션을 저울질하는 기업과 개발자들의 관심을 끌고 있다.

오픈소스 멀티모달 AI 진영의 경쟁

2026년 3월 기준 오픈소스 멀티모달 AI 생태계는 대체로 세 진영으로 나뉜다. Meta의 Llama 시리즈가 범용 언어 모델 기반을 제공하고, 알리바바·DeepSeek·Baidu 등 중국 기업들이 멀티모달·에이전트 특화 모델로 빠르게 추격하며, Google의 Gemma 시리즈가 경량화 오픈소스 옵션을 넓히는 구조다. Qwen 3.5와 DeepSeek V4는 이미지·코드·도구 사용을 통합한 에이전트 기반 작업 실행을 오픈소스로 구현했다는 점에서 특히 주목받는다.

⤢✕

Qwen 3.5: 통합 인코더로 밀어붙인 멀티모달

알리바바 DAMO Academy가 개발한 Qwen 3.5는 72B(Dense)와 235B(MoE) 두 버전으로 나온다. 컨텍스트 길이는 256K 토큰, 지원 언어는 119개, 라이선스는 Qwen License(상업적 이용 조건부 허용)이며 허깅페이스에 전체 가중치가 공개돼 있다. MoE 버전은 235B 총 파라미터 중 실제 활성화되는 파라미터가 22B에 불과해 비용 대비 성능이 두드러진다. 아키텍처 측면에서는 Grouped Query Attention(GQA)와 Flash Attention 3를 채택해 추론 효율을 높였다.

멀티모달 처리는 별도의 비전 인코더와 언어 모델을 연결하는 전통적 방식 대신, 다양한 모달리티 입력을 공통 토큰 공간으로 변환하는 통합 인코더 접근을 쓴다. 이미지는 최대 4K 해상도, 단일 컨텍스트에 최대 1,000장까지 처리할 수 있고 OCR·차트 분석·공간 추론에서 강점을 보인다. 비디오는 최대 2시간 길이를 분석하며 프레임 샘플링 전략을 자동으로 최적화해 핵심 장면에 집중한다. 오디오는 음성 인식(ASR)과 감정 분석을 동시에 수행하고, 특히 코드 스위칭(언어 혼용) 처리가 우수하다.

에이전트 능력은 Qwen-Agent 프레임워크와 긴밀히 통합돼 있다. Tool-Calling 정확도에서 GPT-4o를 상회하는 성능을 기록했고, 웹 검색 및 정보 추출, 코드 실행 환경(Python, JavaScript), 파일 시스템 조작, 외부 API 호출, 데이터베이스 쿼리 등 다양한 도구 유형을 지원한다.

DeepSeek V4: MIT 라이선스를 앞세운 MoE

DeepSeek V4는 V3에서 확립한 MoE 아키텍처를 더 발전시킨 모델이다. DeepSeek이 V2에서 처음 제시한 효율적인 MoE 구조를 이어받아, V4에서는 전문가 라우팅(Expert Routing) 알고리즘을 개선해 추론 일관성을 높였다. 총 파라미터 671B 중 활성화 파라미터는 37B, 컨텍스트 길이는 128K 토큰이고, 학습 비용은 약 $5.6M로 추정된다. 가장 큰 차별점은 MIT 라이선스로, 별도 조건 없이 제품 개발·파인튜닝·재배포가 가능해 스타트업과 연구자에게 특히 매력적이다.

멀티모달 처리는 DeepSeek-VL2 아키텍처를 언어 모델에 통합한 형태다. 동적 타일링(Dynamic Tiling) 기법으로 이미지를 가변적인 해상도 패치로 분할해, 고해상도 이미지에서의 세부 정보 손실을 최소화한다. 코드 특화 측면에서는 V3의 강력한 코딩 성능을 유지하면서, 스크린샷으로부터 코드를 생성하거나 다이어그램 기반으로 아키텍처를 설계하는 등 이미지와 코드를 연계하는 작업에서 두드러진다.

DeepSeek의 오픈소스 전략은 가중치 공개를 넘어 학습 세부 사항, 데이터 레시피, 평가 벤치마크까지 공개하는 '투명한 오픈소스'를 지향한다. 가중치만 공개하는 일부 경쟁사와 달리 학술 연구와 독립적 재현을 촉진하는 방향이다.

벤치마크로 본 모델 간 차이

벤치마크	Qwen 3.5-72B	DeepSeek V4	GPT-4o	Claude 3.7
MMLU	89.1%	88.7%	87.2%	88.9%
HumanEval	92.3%	94.1%	90.2%	91.8%
MATH	82.4%	83.7%	76.6%	80.3%
MMMU (멀티모달)	78.2%	74.6%	77.8%	75.1%
VideoMME	71.3%	65.4%	72.1%	68.7%

코드 생성에서는 DeepSeek V4가 근소하게 앞서고, 멀티모달 이해에서는 Qwen 3.5가 우위를 보이는 양상이다. 두 모델 모두 특정 영역에서는 상용 최고 성능 모델과 동등하거나 이를 넘어서는 결과를 냈다.

에이전트 작업으로 좁혀 보면 성격이 더 뚜렷하게 갈린다.

⤢✕

직접 돌려보기

Qwen 3.5는 Ollama로 손쉽게 로컬 실행이 가능하다.

# Ollama로 Qwen 3.5 실행
ollama pull qwen3.5:72b

# Python에서 멀티모달 쿼리
from ollama import Client

client = Client()
response = client.chat(
    model='qwen3.5:72b',
    messages=[{
        'role': 'user',
        'content': '이 이미지의 아키텍처 다이어그램을 코드로 구현하세요.',
        'images': ['./architecture.png']
    }]
)
print(response['message']['content'])

DeepSeek V4는 OpenAI 호환 API를 제공해 기존 OpenAI SDK 코드를 거의 그대로 재활용할 수 있다.

from openai import OpenAI  # DeepSeek은 OpenAI 호환 API 제공

client = OpenAI(
    api_key="your-deepseek-api-key",
    base_url="https://api.deepseek.com/v1"
)

response = client.chat.completions.create(
    model="deepseek-v4",
    messages=[
        {"role": "system", "content": "당신은 전문 코드 리뷰어입니다."},
        {"role": "user", "content": "다음 Python 코드의 버그를 찾고 수정하세요:\n```python\ndef fibonacci(n):\n    if n <= 0: return []\n    result = [0, 1]\n    for i in range(2, n):\n        result.append(result[i-1] + result[i-2])\n    return result[:n]\n```"}
    ],
    max_tokens=2048
)
print(response.choices[0].message.content)

오픈소스 생태계에 미치는 파장

두 모델의 성능이 GPT-4o, Claude 3.7과 근접하거나 일부 넘어서면서, API 비용에 민감한 스타트업과 연구자들의 오픈소스 전환이 가속화되고 있다. 강력한 베이스 모델이 오픈소스로 공개되면 도메인 특화 파인튜닝의 진입 장벽도 낮아진다. 의료, 법률, 금융처럼 특수한 도메인에서 맞춤형 멀티모달 에이전트를 자체 구축하는 사례가 늘어날 전망이다.

로컬 실행 가능한 고성능 모델의 확산은 GPU 클라우드 서비스와 온프레미스 AI 인프라 수요를 동시에 자극한다. 데이터 주권이 중요한 금융·공공 부문에서는 오픈소스 모델 기반 내부 배포 검토가 특히 활발해지는 흐름이다.