암호공격기법과 보안강도 평가의 실무 관점

공격자는 어떤 정보를 가지고 시작하는가

암호공격은 암호문을 관찰하는 데서 그치기도 하고, 시스템에 직접 개입해 취약점을 이용하기도 한다. 전자는 암호문 분석이나 키 추론에 초점을 둔 수동적 공격이며, 후자는 구현·통신·인증 체계를 겨냥하는 능동적 공격이다.

따라서 암호 알고리즘의 수학적 안전성만으로는 충분하지 않다. 구현 과정에서 노출되는 정보와 접근통제의 빈틈도 공격 표면이 된다.

암호문만으로 평문을 추정하는 경우

암호문 기반 공격(Ciphertext-only Attack)은 공격자가 암호문만 확보한 상태에서 원문이나 키를 찾아내려는 방식이다. 가장 기본적인 공격 모델이며 성공 확률은 낮지만, 통계적 특성과 언어적 패턴은 분석 단서가 될 수 있다.

⤢✕

2차 세계대전 당시 독일의 에니그마 암호 해독 과정에서는 암호문의 통계적 특성을 활용한 공격이 성공한 바 있다.

알려진 평문이 키 추론의 단서가 될 때

평문-암호문 쌍 공격(Known-plaintext Attack)은 일부 평문과 그에 대응하는 암호문을 알고 있는 상황을 전제한다. 공격자는 이 쌍에서 패턴을 찾거나 암호화 키를 유추하며, 선형 암호분석과 연관성이 높다.

DES(Data Encryption Standard)를 대상으로 한 선형 암호분석에서는 평문-암호문 쌍을 이용해 키 비트를 유추하는 기법이 활용되었다.

입력을 고를 수 있는 공격 환경

선택 평문 공격(Chosen-plaintext Attack)에서는 공격자가 임의의 평문을 정하고, 그 암호화 결과를 관찰할 수 있다. 차이를 드러내는 평문을 전략적으로 선택해 취약점을 찾으며, 차분 암호분석(Differential Cryptanalysis)이 대표적인 방법이다.

⤢✕

AES 후보 알고리즘을 평가할 때도 차분 암호분석에 대한 내성이 중요한 평가 요소였다.

선택 암호문 공격(Chosen-ciphertext Attack)은 공격자가 암호문을 정하고 그 복호화 결과를 얻을 수 있을 때 성립한다. 공개키 암호 시스템에서 특히 중요한 공격 모델이며, 오라클인 복호화 장치에 접근할 수 있어야 한다. RSA 암호화를 겨냥한 Bleichenbacher의 패딩 오라클 공격은 이 유형의 대표 사례다.

키를 전부 시도하는 무차별 대입

무차별 대입 공격(Brute Force Attack)은 가능한 모든 키를 차례로 시도한다. 컴퓨팅 파워의 영향을 크게 받으며, 키 길이가 길어질수록 공격 비용은 지수적으로 증가한다.

⤢✕

56비트 키를 쓰는 DES는 1998년 EFF의 무차별 대입 공격으로 해독되었고, 이는 더 강력한 암호 알고리즘으로의 전환을 촉진했다.

구현이 새는 물리적 정보

부채널 공격(Side-channel Attack)은 암호 알고리즘의 구현 과정에서 발생하는 물리적 정보를 분석한다. 전력 소비, 전자기파 방출, 소요 시간 등이 대상이므로 수학적으로 안전한 알고리즘도 구현에 따라 취약해질 수 있다.

대표적인 유형은 다음과 같다.

• 타이밍 공격(Timing Attack)
• 전력 분석 공격(Power Analysis Attack)
• 음향 공격(Acoustic Attack)
• 캐시 공격(Cache Attack)

스마트카드에 구현된 RSA 알고리즘에서는 전력 분석 공격으로 비밀키가 노출된 사례가 다수 보고되었다.

키 교환 사이에 끼어드는 공격

중간자 공격(Man-in-the-Middle Attack)은 통신 당사자 사이에 공격자가 들어가 메시지를 가로채거나 조작하는 방식이다. 키 교환이 주된 표적이며, 인증 메커니즘이 취약할수록 발생 가능성이 높다.

⤢✕

2017년 KRACK 공격은 WPA2 프로토콜의 4-way 핸드셰이크에서 중간자 공격을 가능하게 하는 취약점을 이용했다.

보안강도는 키 길이만으로 끝나지 않는다

암호 알고리즘의 보안강도는 공격자가 해독에 투입해야 하는 계산적 복잡성으로 평가한다. 키 길이는 핵심 기준이지만, 시간 복잡도·공간 복잡도·양자 컴퓨팅에 대한 내성도 함께 봐야 한다.

대칭키 암호에서 키 길이가 n비트일 때 보안강도는 2^n이다. RSA 같은 비대칭키 암호는 키 길이가 n비트일 때 보안강도가 약 2^(n/2)로 설명된다.

NIST 권고 키 길이 비교는 다음과 같다.

⤢✕

시간 복잡도는 해독에 필요한 계산 단계 수, 공간 복잡도는 필요한 메모리 양을 뜻한다. 양자 컴퓨팅 저항성은 양자 컴퓨터 기반 공격에 대한 내성이다.

256비트 AES는 현존하는 슈퍼컴퓨터로도 무차별 대입 공격이 사실상 불가능하지만, Grover 알고리즘을 사용하는 양자 컴퓨터는 이론적으로 검색 공간을 2^128로 줄일 수 있다.

NIST SP 800-57은 알고리즘과 키 길이에 따라 다음의 안전성 보장 기간을 제시한다.

• AES-128: 2030년까지 안전
• AES-256: 2031년 이후에도 안전
• RSA-2048: 2030년까지 안전
• RSA-3072: 2031년 이후에도 안전
• ECC-256: 2031년 이후에도 안전

암호공격이 접근통제 우회로 이어지는 경로

접근통제는 암호화와 함께 정보보안의 축을 이룬다. 암호공격은 종종 접근통제 메커니즘을 우회하는 수단으로 사용된다.

임의적 접근통제(DAC)는 자원 소유자가 권한을 정한다. 강제적 접근통제(MAC)는 중앙에서 정의한 보안 정책으로 접근을 결정한다. 역할 기반 접근통제(RBAC)는 사용자의 역할에 권한을 연결하고, 속성 기반 접근통제(ABAC)는 사용자·자원·환경 속성으로 접근을 판단한다.

공격자는 인증 정보를 탈취해 정당한 사용자로 위장하거나, 암호화된 접근제어목록(ACL)을 해독할 수 있다. 세션 탈취로 권한을 높이거나 신뢰 체인을 파괴해 권한을 확대하는 경로도 있다.

⤢✕

2014년 JP Morgan Chase 해킹 사건에서 공격자들은 2단계 인증이 누락된 서버를 발견하고 암호 공격을 통해 접근통제를 우회한 뒤 7,600만 가구의 데이터를 탈취했다.

양자 컴퓨팅과 AI가 바꾸는 공격 조건

Shor 알고리즘은 RSA와 ECC 같은 공개키 암호화에 치명적 위협이 될 수 있다. Grover 알고리즘은 대칭키 암호의 보안강도를 절반으로 감소시킨다. 이에 대한 대응으로 후양자 암호(Post-Quantum Cryptography)의 개발과 도입, 격자 기반 암호·해시 기반 서명·코드 기반 암호가 거론된다.

AI 기반 암호공격은 기계학습을 통한 패턴 인식, 강화학습을 이용한 최적 공격 전략 도출, 딥러닝 기반 부채널 공격 효율화로 나타날 수 있다. 무작위성 강화 기법, 적대적 예제(Adversarial Examples) 방어 기법, AI 기반 이상 탐지 시스템은 이에 대응하는 방법이다.

멀티파티 컴퓨팅(MPC)은 여러 참여자가 각자의 입력값을 공개하지 않은 채 함수를 계산하는 기술이다. 완전동형암호(FHE)는 암호화된 상태에서 연산할 수 있게 한다. 두 기술은 안전한 계산을 위한 새로운 패러다임으로서 전통적인 암호공격의 효과를 줄이는 방어 메커니즘을 제공한다.

암호화와 구현, 접근통제를 함께 다뤄야 하는 이유

암호공격기법은 계속 진화하며, 암호 알고리즘의 보안강도 평가도 이에 맞춰 정교해진다. 방어 전략에서는 알고리즘의 수학적 안전성뿐 아니라 구현상의 취약점을 고려해야 한다.

정기적인 키 갱신과 충분한 키 길이 사용, 다중 방어 계층(Defense in Depth) 구축, 새 공격 기법의 지속적인 모니터링과 대응책 마련이 함께 필요하다. 암호공격과 방어 기술의 경쟁은 앞으로도 보안 기술 발전을 이끄는 요소로 남는다.