마이크로커널 아키텍처: 사용자 공간 서버로 나누는 운영체제 설계

커널에 남길 기능을 제한하는 이유

모놀리식 커널은 운영체제의 많은 기능을 커널 공간에 담는다. 반대로 마이크로커널은 프로세스 관리, 메모리 관리, 프로세스 간 통신(IPC), 기본 하드웨어 추상화처럼 반드시 필요한 기능만 커널 모드에 유지한다. 파일 시스템, 네트워크 스택, 디바이스 드라이버 같은 기능은 사용자 공간의 독립 서비스로 옮긴다.

이 설계의 출발점은 최소 권한 원칙이다. 커널에는 절대 필요한 기능만 두고, 기능별 책임을 분리한다. 서비스가 독립적인 모듈이 되면 한 모듈의 오류가 전체 시스템에 번지는 범위를 줄일 수 있으며, 작은 커널은 정형 검증에도 유리하다.

커널이 맡는 범위에는 다음이 포함된다.

프로세스 생성·종료, 스케줄링, 컨텍스트 스위칭, 스레드 관리
가상 메모리 기본 메커니즘, 주소 공간과 페이지 테이블 관리, 메모리 보호, 물리 메모리 할당의 최소 기능
메시지 전달, 동기화 프리미티브, 신호 메커니즘, 통신 채널
인터럽트 처리, 타이머 관리, 최소한의 I/O 포트 접근, CPU 제어

사용자 공간에서는 파일 입출력과 디렉터리 관리를 담당하는 파일 시스템 서버, TCP/IP와 소켓을 다루는 네트워크 스택 서버, 장치 제어를 맡는 드라이버, GUI·그래픽 처리용 윈도우 시스템, 인증·권한 검증용 보안 서버, 전원 관리 서비스를 구현할 수 있다.

⤢✕

서비스는 사용자 공간 프로세스로 동작한다

마이크로커널의 운영체제 서비스는 각각 별도 사용자 공간 프로세스가 된다. 일반적으로 커널 크기는 10,000~20,000 라인 코드 수준으로 줄일 수 있으며, 필요한 서비스만 실행하거나 재부팅 없이 서버를 교체하는 구성이 가능하다.

서버는 가상 파일 시스템 계층을 맡는 VFS 서버, 특정 파일 시스템을 구현하는 ext4 서버, TCP/IP 서버, 디스플레이 서버, 오디오 서버, 블록 장치 서버처럼 역할별로 나뉠 수 있다. 모듈 간 독립성이 높아 한 서버의 장애가 다른 서버에 영향을 주지 않도록 설계할 수 있다.

일부 구성에서는 커널과 필수 서버를 하나의 바이너리 이미지로 정적 링크한다. 이 방식은 부팅 시간을 줄이고 초기 서비스 가용성을 보장하며, 부팅 프로세스와 의존성 관리를 단순하게 만든다. 이 이미지에는 마이크로커널 코어, 파일 시스템·장치 드라이버 같은 필수 서버, 초기화 프로세스, 추가 서버를 불러오는 동적 로더가 포함될 수 있다.

IPC 경로가 시스템의 성격을 바꾼다

마이크로커널에서 서비스 간 요청은 IPC를 통해 전달된다. 따라서 IPC의 구현 효율이 전체 시스템 성능에 큰 영향을 미친다. 동기식 메시지 전달에서는 송신자가 수신자의 응답을 기다리며 RPC 스타일의 클라이언트-서버 모델을 만들 수 있다. 비동기식 전달은 송신 직후 반환하므로 이벤트 기반 구조와 높은 동시성 처리에 맞는다.

대용량 데이터는 공유 메모리와 제로 카피 기법으로 최적화할 수 있고, 이때 권한 관리는 커널이 담당한다.

⤢✕

분리가 만드는 운영상 이점

작은 커널과 사용자 공간 서버라는 경계는 이식성과 확장성을 높인다. 하드웨어 의존 코드가 줄고 하드웨어 추상화 계층이 명확해지므로, x86, ARM, MIPS, RISC-V 같은 다양한 아키텍처로 옮기기 쉽다. 임베디드 시스템부터 서버, 실시간 시스템까지 적용 범위도 넓다.

새 파일 시스템이나 네트워크 프로토콜은 커널을 수정하지 않고 사용자 공간 서비스로 추가할 수 있다. 플러그인 아키텍처와 서드파티 서비스 통합에 유리하며, 연구·개발 환경에서는 실험 기능을 안전한 샌드박스에서 시험하고 롤백과 버전 관리를 단순하게 할 수 있다.

장애 격리도 핵심 장점이다. 서버 프로세스가 크래시해도 전체 시스템이 반드시 함께 멈출 필요는 없고, 메모리 보호로 서버 간 간섭을 차단할 수 있다. 잘못된 드라이버가 커널 패닉으로 이어지는 위험을 줄이며, 장애 복구 메커니즘을 구현할 여지가 생긴다. 각 서버에 필요한 권한만 부여하면 공격 표면을 줄이고 세밀한 접근 제어 정책을 적용할 수 있다.

커널 코드베이스가 작아지면 코드 리뷰, 버그 수정, 문서화와 이해도 수월해진다. 정형 검증 기법을 적용하기에도 적합하다.

성능과 개발 복잡도는 남는 과제다

서비스 호출마다 사용자 모드와 커널 모드를 오가고, 프로세스 간 전환과 컨텍스트 스위칭이 반복된다. CPU 캐시 무효화 비용도 누적될 수 있다. 파일 읽기처럼 단순해 보이는 요청도 앱→커널→파일 서버→커널→앱 경로를 지나므로, 모놀리식 커널 대비 2~10배 느린 경우도 존재한다. 레이턴시 증가는 실시간 성능 저하로 이어질 수 있다.

⤢✕

이 비용 때문에 IPC 최적화가 중요하다. L4 마이크로커널은 고도로 최적화된 IPC로 성능을 개선했으며, 공유 메모리와 DMA 같은 하드웨어 지원도 활용할 수 있다.

디버깅 역시 여러 프로세스를 가로질러 문제를 추적해야 한다. 메시지 전달 과정의 가시성이 부족할 수 있고, 타이밍 관련 버그는 재현하기 어렵다. IPC 인터페이스와 서버 간 프로토콜의 설계·문서화·유지보수도 필요하므로 초기 개발 복잡도와 학습 곡선이 높다.

마이크로커널을 구현한 시스템

Mach는 Carnegie Mellon 대학에서 개발됐으며, macOS 및 iOS의 XNU 커널 기반으로 알려져 있다. 포트 기반 메시지 전달 메커니즘과 외부 페이저(External Pager)를 지원한다.

L4 마이크로커널 패밀리는 고성능 IPC에 초점을 둔 2세대 마이크로커널이다. seL4는 정형 검증된 마이크로커널이고, Fiasco.OC는 실시간을 지원한다. 이 계열은 컨텍스트 스위칭을 극도로 최적화하는 방향을 택한다.

MINIX는 Andrew Tanenbaum 교수가 교육용으로 개발했으며 Intel ME(Management Engine)에 사용된다. 모듈화와 마이크로커널 원칙을 철저히 따르며 학습용으로도 널리 활용된다.

QNX는 자동차, 의료기기, 항공우주 분야에서 활용되는 상용 실시간 운영체제다. POSIX 호환성과 높은 안정성·신뢰성을 갖춘다.

마이크로커널은 성능 경로가 짧아야 하는 모든 환경의 해답은 아니다. 다만 오류 격리, 서비스 교체, 권한 분리, 정형 검증이 우선되는 임베디드·실시간·보안 시스템에서는 커널 최소화라는 선택이 강한 설계 근거가 된다.