Secure OS의 접근 통제와 보안 커널 설계

보안 요구사항이 운영체제 설계를 바꾸는 지점

Secure OS는 보안을 핵심 설계 원칙으로 삼는 운영체제다. 일반 OS가 편의성, 성능, 유연한 설정을 폭넓게 고려한다면, Secure OS는 강화된 접근 제어와 격리를 통해 기밀성·무결성·가용성·책임 추적성을 우선한다.

설계 단계부터 Security by Design을 적용하고, Least Privilege와 Defense in Depth를 기반으로 한다. Secure by Default 역시 이 접근의 일부다. 인가되지 않은 접근을 막고 무단 변조를 방지하며, 정상 서비스 제공과 감사·로깅을 통한 책임 추적을 함께 요구한다.

사이버 공격의 고도화, 내부자 위협, APT(Advanced Persistent Threat), 제로데이 취약점은 이런 설계가 필요한 배경이다. 개인정보보호법, PCI-DSS와 Basel 같은 금융 규제, HIPAA, CC와 FIPS 같은 국방 표준도 보안 요구사항을 구체화한다. 보안이 후순위였던 설계, 복잡한 코드베이스, 많은 취약점, 사후 패치 의존은 일반 OS가 가질 수 있는 한계다.

일반 OS의 DAC(임의 접근 제어)가 비교적 유연한 권한 관리를 제공한다면, Secure OS는 MAC(강제 접근 제어)을 통해 시스템 정책을 엄격히 적용한다. 이에 따라 감사 기능은 더 포괄적이어야 하고, 사용자 권한은 제한된다. 사용 편의성은 낮아질 수 있지만 보안과 규정 준수의 요구가 우선된다.

권한, 격리, 감사가 맞물리는 방식

최소 권한 원칙은 사용자와 프로세스에 필요한 범위의 권한만 부여하는 접근이다. Need-to-Know를 바탕으로 세분화된 권한 체계와 명시적 권한 부여를 사용하며, 권한 분리(Separation of Duty)와 주기적 권한 검토를 포함한다. 내부자 위협을 완화하고 권한 상승 공격을 방어하며, 사고의 영향 범위와 규정 준수 부담을 줄이는 데 연결된다.

격리는 프로세스, 데이터, 네트워크에서 각각 구현된다. 프로세스 간 메모리를 분리하고 샌드박스, 가상화 기반 격리, 컨테이너 격리를 활용할 수 있다. 데이터는 보안 등급별로 나누고 암호화 저장, 물리적 분리, 논리적 분리를 적용한다. 네트워크에서는 VLAN 분리, 방화벽 정책, DMZ(Demilitarized Zone), 네트워크 세그먼테이션이 사용된다.

접근 제어에는 서로 다른 역할이 있다. MAC은 시스템이 접근 결정을 내리고 보안 정책을 강제하며, 사용자가 이를 우회할 수 없도록 중앙에서 관리한다. RBAC(Role-Based Access Control)는 조직의 역할에 맞춰 권한을 부여하므로 관리와 권한 위임에 적합하다. MLS(Multi-Level Security)는 보안 등급과 기밀 수준을 기준으로 정보 흐름을 다룬다.

감사 로깅은 보안 이벤트, 사용자 행위, 시스템 변경을 타임스탬프와 무결성 정보로 기록한다. 실시간 모니터링은 이상 행위 감지, IDS, SIEM, 알림과 대응을 포괄한다. 사고 조사, 증거 수집, 책임 추적, 규정 준수 입증을 위한 포렌식 지원도 이 흐름에 포함된다.

정책 모델과 보안 커널

MAC은 시스템 보안 정책과 보안 레이블을 기반으로 접근을 제어한다. 사용자가 정책을 임의로 바꿀 수 없고, 중앙 집중식 정책 관리가 가능하다. 구현 방식으로는 SELinux(Security-Enhanced Linux), AppArmor, Smack, TOMOYO Linux가 있다. 정책은 Type Enforcement의 타입 기반 접근, MLS의 보안 등급 기반 접근, MCS(Multi-Category Security)의 카테고리 기반 접근, RBAC의 역할 기반 접근으로 나뉜다. 강력한 보안, 일관된 정책 적용, 사용자 오류 방지, 규정 준수 용이가 장점이다.

RBAC는 사용자 역할에 권한을 묶는다. 구성 요소는 User, Role, Permission, Session이며, Role에는 관리자·개발자·감사자 같은 역할이, Permission에는 읽기·쓰기·실행 같은 권한이, Session에는 활성 역할이 해당한다. 금융에서는 출납·승인·감사 역할을 분리하고, 의료에서는 의사·간호사·행정 역할을 나누며, 기업에서는 임원·관리자·직원 역할로 적용할 수 있다. 업무 기능 중심의 권한 그룹화와 동적 권한 할당은 관리 효율성과 감사 단순화에 기여한다.

MLS는 Top Secret, Secret, Confidential, Unclassified 같은 보안 등급을 다룬다. Bell-LaPadula 모델은 No Read Up과 No Write Down을 통해 기밀성 및 정보 유출 방지에 초점을 둔다. Biba 모델은 No Read Down과 No Write Up을 통해 무결성과 데이터 오염 방지를 다룬다. 군사 시스템, 정보기관, 정부 기관, 국방 산업이 대표적인 적용 분야다.

보안 커널은 하드웨어, 펌웨어, 소프트웨어의 보안 핵심으로서 모든 접근 요청을 중재한다. 크기를 최소화해 완전성 검증이 가능하도록 하며, Reference Monitor를 구현한다. Tamper-proof, Verifiable, Always Invoked 특성은 보안 커널이 갖춰야 할 조건이다. 최소 복잡도, 명확한 인터페이스, 계층화 설계, 형식적 검증이 설계 원칙이며, SELinux 보안 서버, Trusted Computing Base(TCB), Hypervisor 보안 계층, 하드웨어 보안 모듈(HSM)이 관련 예시다.

인증부터 부팅까지 이어지는 보호 기능

인증과 식별에는 패스워드, 지문·홍채·얼굴 생체 인증, 하드웨어 토큰, OTP(One-Time Password)를 조합하는 MFA가 포함된다. 복잡한 패스워드 요구, 주기적 변경 강제, 계정 잠금 정책, 세션 타임아웃은 강력한 인증 정책의 요소다. LDAP, Active Directory, Kerberos, RADIUS, SAML, OAuth는 중앙 인증에 사용된다.

데이터 보호는 디스크 암호화(Full Disk Encryption), 파일 수준 암호화, 데이터베이스 암호화, TLS/SSL 통신 암호화를 포괄한다. 키 관리에서는 키 생성·저장·폐기, HSM, 키 순환, 키 에스크로를 다룬다. 데이터 삭제에는 안전한 삭제(Secure Erase), 다중 덮어쓰기, 물리적 파괴, 인증된 삭제 방법이 있다.

네트워크 보호에는 호스트 기반 방화벽, 상태 추적(Stateful Inspection), 애플리케이션 레벨 필터링, 기본 거부 정책이 포함된다. IDS와 IPS, 네트워크 이상 감지, 자동 차단은 침입 방지 기능을 구성한다. IPsec, SSL/TLS VPN, 암호화 터널, 원격 접근 제어는 VPN의 범위다.

무결성 검증은 MD5와 SHA-256 기반의 파일 해시 검증, 디지털 서명, 변경 감지, 실시간 알림을 통해 수행할 수 있다. 실행 파일·커널 모듈·드라이버 서명과 신뢰 체인은 코드 서명에 해당한다. Secure Boot는 부트로더, 커널, 드라이버를 검증해 신뢰 부팅 체인을 구성한다.

Common Criteria와 보증 수준

Common Criteria(CC)는 IT 보안 평가를 위한 국제 표준인 ISO/IEC 15408이다. 제품의 보안 기능과 보증 수준을 평가하며 국가 간 상호 인정을 목표로 한다. 평가에서는 PP(Protection Profile)로 보안 요구사항을 정의하고, ST(Security Target)로 제품 보안 명세를 정하며, TOE(Target of Evaluation)를 독립 평가 기관이 평가한다. 국제적 신뢰, 정부 조달 요구사항 충족, 보안 수준 입증, 경쟁 우위가 인증의 혜택이다.

EAL(Evaluation Assurance Level)은 보증 수준을 구분한다.

EAL1: 기능 테스트
EAL2: 구조 테스트
EAL3: 체계적 테스트 및 검증
EAL4: 체계적 설계, 테스트 및 검토
EAL5: 준형식적 설계 및 테스트
EAL6: 준형식적 검증 설계 및 테스트
EAL7: 형식적 검증 설계 및 테스트

EAL4는 상용 제품의 일반적 수준이며, EAL5+는 정부·군사 요구, EAL6+는 고도 보안 요구와 연결된다. EAL7은 매우 높은 보안 수준으로 극히 드물다.

미국의 체계에는 FIPS 140-2/3 암호 모듈 인증, NIAP(National Information Assurance Partnership), DoD(Department of Defense) 요구사항, NSA(National Security Agency) 승인이 있다. 한국에서는 국가정보원의 CC 인증, 보안 적합성 검증, 정보보호제품 평가, GS(Good Software) 인증이 관련된다. 유럽에서는 SOGIS(Senior Officials Group Information Systems Security), BSI(독일 연방 정보보안청), ANSSI(프랑스 국가 사이버보안청), GDPR 준수가 언급된다.

제품 형태별 Secure OS

군사·정부 환경에는 미국의 Trusted Solaris(Oracle), SELinux(NSA 개발), SELinux를 적용한 Red Hat Enterprise Linux(RHEL), Trusted RUBIX(보잉)가 있다. 한국에는 한글과컴퓨터 Secure OS, TmaxSoft Secure OS, 안랩 AhnLab Safe OS, 정부 전용 Secure OS가 있다. 그 밖에 Argus PitBull(영국), Trusted Extensions(Oracle Solaris), INTEGRITY-178B(Green Hills, 항공)가 있다.

상용 환경에서는 Windows 10/11 Enterprise, AppLocker와 Device Guard를 갖춘 Windows Server, BitLocker 암호화, Credential Guard를 활용할 수 있다. Linux 계열에는 RHEL, SUSE Linux Enterprise, Ubuntu Pro와 SELinux·AppArmor 적용 환경이 포함된다. Unix 계열에서는 Trusted Solaris, RBAC를 적용한 HP-UX, Trusted AIX를 적용한 AIX, MAC Framework를 갖춘 FreeBSD가 있다.

오픈소스 선택지 가운데 SELinux는 NSA가 개발했으며 MAC을 제공한다. Fedora, RHEL, CentOS에 기본 탑재되고 Android 보안 기반으로도 사용된다. AppArmor는 Canonical의 후원을 받고 경로 기반 접근 제어를 제공하며 Ubuntu와 SUSE에 기본 탑재되고 설정이 간편하다. Qubes OS는 Xen 하이퍼바이저를 기반으로 도메인별 격리에 초점을 두며 에드워드 스노든이 추천했다.

보안 요구가 높은 시스템의 적용 범위

국방과 정보기관에서는 지휘 통제 시스템, 무기 체계, 통신 시스템, 정보 분석 시스템을 다룬다. 기밀 정보 처리, 첩보 시스템, 암호 통신, 사이버전 시스템도 포함된다. MLS 지원, EAL6+ 인증, 에어갭(Air-gap), TEMPEST 대응이 요구사항이다.

금융에서는 코어 뱅킹 시스템, 거래 처리 시스템, ATM 및 POS, 인터넷 뱅킹이 적용 대상이 된다. 증권 영역에서는 거래 시스템, 계좌 관리, 리스크 관리, 고빈도 매매(HFT)를 다룬다. PCI-DSS는 카드 정보 보호, Basel III는 리스크 관리, GDPR은 개인정보 보호, SOX는 재무 정보 무결성과 관련된다.

의료 영역에는 EMR/EHR(전자 의무 기록), PACS(의료 영상 저장 전송 시스템), 처방 시스템, 원격 의료가 있다. 수술 로봇, 생명 유지 장치, 진단 장비, 이식형 기기 역시 보호 대상이다. HIPAA(미국 의료 정보 보호법), 개인정보보호법, 의료기기 인증, FDA 규제가 요구사항으로 작용한다.

산업 제어에서는 SCADA 시스템으로 전력망 제어, 수도 시설, 가스 파이프라인, 교통 신호를 운영한다. ICS(Industrial Control System)는 제조 공정 제어, 석유 화학 플랜트, 원자력 발전소, 철도 신호에 사용된다. 이 환경에서는 가용성 최우선, 실시간 제어, 안전성(Safety), 장기 지원이 보안 요구사항과 함께 고려된다.

Secure OS는 일반 OS보다 사용 편의성이 다소 낮을 수 있다. 대신 MAC, RBAC, MLS, 보안 커널과 인증·데이터 보호·네트워크 보안·무결성 검증을 통해 중요 시스템의 보안과 규정 준수를 뒷받침한다.