인터넷 없이도 되는 멀티모달 대화, Parlor는 로컬에서 해낸다

클라우드 기반 AI 서비스는 프라이버시 우려와 네트워크 의존성이라는 본질적 한계를 가진다. Parlor는 Google의 Gemma 4 E2B와 Kokoro TTS를 활용해 사용자의 로컬 머신에서 완전히 실행되는 실시간 멀티모달 대화 앱이다. 음성과 카메라를 통한 자연스러운 대화가 외부 서버 없이 가능하며, 모든 데이터가 디바이스 내에서만 처리된다.

클라우드 AI가 안고 있는 문제

클라우드 AI 서비스를 쓰면 개인 데이터가 외부 서버로 전송되는 프라이버시 리스크가 따르고, 네트워크 지연(latency)으로 실시간 대화가 부자연스러워지며, 인터넷 연결이 안 되는 환경에서는 아예 쓸 수 없다. 클라우드 API 호출 비용도 계속 늘어난다. 2026년 현재 엣지 모델의 성능이 향상되면서 이런 제약을 온디바이스 실행으로 우회할 실용성이 확보됐다.

FastAPI 서버와 브라우저 클라이언트가 맞물리는 구조

Parlor는 FastAPI 서버, Gemma 4 E2B 추론 엔진, Kokoro TTS, 브라우저 클라이언트 네 핵심 컴포넌트로 구성된다.

⤢✕

FastAPI 서버는 WebSocket 기반으로 클라이언트와 실시간 양방향 통신을 수행하고, Gemma 4 E2B는 Google DeepMind의 엣지 최적화 멀티모달 모델로 텍스트·이미지·오디오를 네이티브 처리한다. Kokoro TTS는 Mac에서는 MLX 백엔드, Linux에서는 ONNX 백엔드로 자연스러운 음성을 합성하며, LiteRT-LM이 GPU 가속을 통해 로컬 추론을 최적화한다.

Gemma 4 E2B, 엣지에 맞춘 멀티모달 모델

Gemma 4 E2B는 Google DeepMind가 개발한 엣지 디바이스 최적화 멀티모달 모델이다. 텍스트·이미지(가변 종횡비 및 해상도)·오디오를 네이티브로 지원하고, 로컬 슬라이딩 윈도우 어텐션과 풀 글로벌 어텐션을 교차 배치하는 하이브리드 어텐션 메커니즘을 채택했다. Per-Layer Embeddings(PLE)를 적용해 온디바이스 환경에서 파라미터 효율을 극대화했고, 모델 크기는 약 2.6GB로 일반 소비자용 하드웨어에서 실행 가능하다. 첫 실행 시 자동 다운로드되어 별도의 모델 관리도 필요 없다.

끼어들어도 끊기지 않는 음성 대화

Push-to-Talk 없이 자연스러운 음성 대화를 지원하고, AI 응답 중에도 사용자가 말하면 즉시 중단하고 새 입력을 처리하는 Barge-in 기능이 있다. 문장 단위 TTS 스트리밍으로 전체 응답이 생성되기 전에 음성 출력이 시작되며, 실시간 VAD(Voice Activity Detection)로 발화 구간을 자동 감지한다.

카메라로 보고 답하는 실시간 비전

카메라로 보이는 장면에 대한 실시간 질의응답이 가능하며, 물체 인식·텍스트 읽기·장면 설명 같은 다양한 비전 태스크를 처리한다. 음성과 비전 입력을 동시에 처리해 멀티모달 맥락을 이해한다.

서버 없이 완전히 로컬에서

모든 추론이 사용자 디바이스에서 수행되고, 외부 API 호출 없이 동작해 프라이버시가 완전히 보장된다. 인터넷 연결 없이도 오프라인 모드로 쓸 수 있고, 대화 데이터가 디바이스 외부로 전송되지 않는다.

맥과 리눅스에서 돌리는 법

Parlor는 Mac과 Linux를 지원하며, 최소 사양은 다음과 같다.

항목	Mac	Linux
TTS 백엔드	MLX (Apple Silicon)	ONNX
GPU 가속	Metal (LiteRT-LM)	CUDA
모델 크기	~2.6GB (Gemma 4 E2B) + TTS	~2.6GB (Gemma 4 E2B) + TTS
설치 방법	pip install + 자동 모델 다운로드	pip install + 자동 모델 다운로드

엣지 멀티모달 모델이 커지는 흐름

2026년 Gemma 4 시리즈(E2B, E4B) 출시로 엣지 멀티모달 모델의 성능이 크게 향상됐고, Apple Silicon의 통합 메모리 아키텍처가 온디바이스 LLM 추론에 유리한 환경을 제공한다. Qualcomm·MediaTek 등 모바일 AP 제조사도 NPU 성능을 강화해 온디바이스 AI 지원을 넓히고 있고, GDPR·AI Act 같은 프라이버시 규제가 강화되면서 온디바이스 처리 수요도 늘고 있다. Kokoro 같은 경량 TTS 모델의 등장으로 음성 합성도 로컬에서 실행할 수 있게 됐다.

⤢✕

Parlor는 음성과 비전을 동시에 처리하면서도 모든 데이터를 로컬에서만 다뤄 프라이버시를 보장하는 오픈소스 프로젝트다. 엣지 모델의 성능이 빠르게 향상되고 있는 2026년 현재, 온디바이스 멀티모달 AI의 실용적 가능성을 구체적으로 보여주는 사례다.