암호화키를 선택하고 관리하는 보안 설계

암호화의 강도는 키에서 시작된다

암호화키(Encryption Key)는 평문(Plain Text)을 암호문(Cipher Text)으로 바꾸는 과정에 쓰이는 중요한 매개변수다. 데이터 기밀성과 무결성을 지키는 기반이며, 키의 길이와 복잡성은 보안 강도에 직접 영향을 준다. 현대 암호화 시스템에서는 128비트와 256비트 등 여러 키 길이가 활용된다.

같은 키로 처리하는 대칭키 방식

대칭키 알고리즘(Symmetric Key Algorithm)은 암호화와 복호화에 동일한 키를 쓴다. 구현이 비교적 단순하고 연산 속도가 빠르지만, 통신 상대와 비밀키를 어떻게 안전하게 교환할지가 취약점으로 남는다.

대표적인 알고리즘은 다음과 같다.

DES(Data Encryption Standard): 56비트 키를 사용하며, 현재는 보안 취약성 때문에 사용이 권장되지 않는다.
3DES(Triple DES): DES를 3회 적용하며 112비트 또는 168비트 키 효과를 낸다.
AES(Advanced Encryption Standard): 현재 표준으로, 128/192/256비트 키를 지원한다.
RC4: 스트림 암호화 방식이며 SSL/TLS에서 사용되었으나 취약점 발견 이후 사용이 감소했다.
Blowfish/Twofish: 가변 키 길이를 지원하고 효율적인 암호화 특성이 있다.

⤢✕

대칭키 방식은 개인 문서와 기업 내부 자료를 위한 파일 암호화, BitLocker와 FileVault 등의 전체 디스크 암호화에 쓰인다. SSL/TLS 데이터 전송 구간이나 개인정보를 저장하는 데이터베이스 필드 암호화도 적용 대상이다.

공개키와 개인키가 나뉘는 비대칭키 방식

비대칭키 알고리즘(Asymmetric Key Algorithm)은 공개키와 개인키처럼 서로 다른 키 쌍으로 암호화와 복호화를 수행한다. 공개키는 누구나 접근할 수 있지만 개인키는 소유자만 보유한다. 키 쌍의 수학적 연관성을 바탕으로 키 교환 문제를 해결하는 대신, 대칭키보다 연산 속도가 현저히 느리다.

RSA(Rivest-Shamir-Adleman): 소인수분해의 어려움을 기반으로 한 알고리즘
DSA(Digital Signature Algorithm): 전자서명에 특화된 알고리즘
ECC(Elliptic Curve Cryptography): 타원곡선의 수학적 특성을 활용하며, 짧은 키 길이로 높은 보안성을 제공
Diffie-Hellman: 키 교환 프로토콜이며 암호화 자체에는 사용되지 않음
ElGamal: 이산로그 문제 기반 암호화 방식

⤢✕

전자서명은 데이터의 해시값을 송신자의 개인키로 처리하고, 수신자가 송신자의 공개키로 검증하는 흐름을 따른다.

⤢✕

이 방식은 HTTPS/SSL 인증서를 통한 웹사이트 신원 확인과 안전한 연결 수립, SSH 기반 서버 원격 접속, PGP/GPG 이메일 암호화에 사용된다. 블록체인과 암호화폐에서는 트랜잭션 서명 및 지갑 주소 생성에, 소프트웨어 배포에서는 코드 무결성을 확인하는 코드 서명에 활용된다.

데이터를 빠르게 보호하고 키를 안전하게 전달하는 구조

하이브리드 암호화는 대칭키와 비대칭키의 장점을 함께 쓰는 방식이다. 실제 데이터는 빠른 대칭키로 암호화하고, 그 대칭키는 비대칭키로 보호한다. HTTPS, SSL/TLS, PGP 등 현대 보안 시스템에서 널리 사용하는 구조다.

⤢✕

키 수명주기를 통제해야 하는 이유

알고리즘 선택만으로 암호화가 완성되지는 않는다. 키는 생성부터 폐기까지 일관된 통제가 필요하다.

키 생성(Generation): 암호학적으로 안전한 난수 생성기(CSPRNG)를 활용한다.
키 저장(Storage): HSM(Hardware Security Module) 등 안전한 저장 장치를 활용한다.
키 배포(Distribution): 안전한 채널을 통한 키 전달 메커니즘을 구축한다.
키 교체(Rotation): 정기적인 키 갱신으로 보안 위험을 최소화한다.
키 폐기(Revocation): 손상된 키를 신속히 무효화할 절차를 마련한다.

키 관리 부실은 실제 사고로 이어졌다. 2011년 소니 플레이스테이션 네트워크 해킹에서는 암호화키 관리 부실로 7,700만 사용자 정보가 유출됐다. 2014년 하트블리드(Heartbleed) 취약점은 OpenSSL 구현 오류로 서버 메모리에 접근할 수 있게 해 개인키 노출 위험을 만들었다. 2017년 이퀴팩스(Equifax) 데이터 유출에서는 암호화키 관리 부실로 1억 4천만 미국인의 개인정보가 유출됐다.

양자 컴퓨팅이 바꾸는 비대칭키의 전제

현재 사용 중인 많은 비대칭키 알고리즘, 특히 RSA는 양자 컴퓨터의 등장으로 취약해질 전망이다. 쇼어 알고리즘(Shor's Algorithm)은 양자 컴퓨터에서 소인수분해 문제를 다항 시간에 해결할 수 있다.

포스트 양자 암호화(Post-Quantum Cryptography)에서는 다음 방식의 개발이 활발히 진행 중이다.

격자 기반 암호화(Lattice-based cryptography)
해시 기반 암호화(Hash-based cryptography)
코드 기반 암호화(Code-based cryptography)
다변수 다항식 암호화(Multivariate cryptography)
초타원 동형 암호화(Supersingular elliptic curve isogeny cryptography)

키를 둘러싼 정책과 구현 원칙

암호화키에는 기술 문제 외의 법적 쟁점도 따른다. 키 에스크로(Key Escrow)는 정부나 제3자가 복호화 키를 보관하는 정책을 말한다. 일부 국가의 키 길이 제한은 수출 통제를 목적으로 암호화 강도를 제한하는 문제와 연결된다. 사법 기관의 복호화 강제 요구와 개인정보보호법상 암호화를 통한 개인정보 보호 의무화 규정도 함께 검토해야 한다.

구현에서는 자체 암호화보다 OpenSSL, BouncyCastle 등 검증된 암호화 라이브러리를 활용한다. 용도에 맞는 충분한 키 길이를 선택해야 하며, 2023년 기준 RSA 2048비트 이상과 AES 256비트가 권장된다. 인증, 서명, 데이터 암호화처럼 용도가 다른 기능에는 서로 다른 키를 사용하고, CSPRNG를 활용한다. 보안 정책에 따른 주기적 키 갱신과 키 손실 시나리오에 대비한 안전한 백업·복구 계획도 필요하다.

대칭키와 비대칭키는 속도와 키 관리 편의성에서 상호보완적이다. 실제 시스템에서는 하이브리드 구조를 사용하고, 양자 컴퓨팅 시대에 대응할 암호화 알고리즘의 연구와 적용, 그리고 체계적인 키 관리 정책 및 기술적 솔루션을 함께 갖춰야 한다.