암호분석 공격 모델과 암호 시스템 방어 전략

암호의 안전성은 공격 모델에서 검증된다

암호분석(Cryptanalysis)은 암호 시스템의 보안을 평가하고 취약점을 찾아내는 분야다. 암호문에서 원래의 평문을 복원하거나 사용된 키를 알아내는 방법을 다루며, 현대 암호분석은 암호화 알고리즘 자체보다 키를 찾거나 평문을 복원하는 작업에 주로 초점을 둔다.

암호 시스템이 안전하다고 말하려면 여러 공격 방법에 견딜 수 있어야 한다. 암호분석은 그 내성을 검증하고 설계를 강화하는 데 쓰이며, 군사·금융·개인정보 보호·디지털 통신 같은 영역과 맞닿아 있다.

공격자가 가진 정보와 선택 권한

암호문 단독 공격(Ciphertext-only Attack, COA)

암호문 단독 공격은 공격자가 암호문만 확보한 상태에서 수행한다. 동일한 알고리즘으로 생성된 여러 암호문을 분석해 평문이나 암호화 키를 찾는 것이 목표다.

역사적으로 2차 세계대전 당시 독일 에니그마 암호를 해독하는 과정에서도 초기에는 암호문만으로 분석하려는 시도가 있었다. 이용 가능한 정보가 제한되므로 난이도가 매우 높은 공격 형태다.

알려진 평문 공격(Known-plaintext Attack, KPA)

알려진 평문 공격에서는 암호문과 그에 대응하는 일부 평문 쌍을 공격자가 알고 있다. 이 정보를 바탕으로 키를 찾아 다른 암호문까지 해독하려 한다.

DES에 대한 선형 암호분석이 이 유형에 해당한다. 표준화된 헤더나 일정한 포맷을 갖는 문서 암호화 시스템은 이런 공격 모델을 고려해야 한다.

선택적 평문 공격(Chosen-plaintext Attack, CPA)

선택적 평문 공격은 공격자가 원하는 평문을 골라 암호화할 수 있는 조건을 전제로 한다. 이미 주어진 평문-암호문 쌍을 분석하는 KPA와 달리, 공격자가 능동적으로 정보를 수집할 수 있다는 점이 다르다.

공개키 암호 시스템인 RSA 등이 주요 대상이며, 사용자 입력이 암호화돼 저장되는 웹 서비스도 이런 관점에서 볼 수 있다.

⤢✕

적응형 선택적 평문 공격(Adaptive-chosen-plaintext Attack, ACPA)

적응형 선택적 평문 공격은 앞선 암호화 결과를 분석한 뒤, 그 결과에 맞춰 다음 평문을 선택한다. CPA보다 적은 수의 평문으로 효과적인 공격이 가능하며 블록 암호의 안전성을 시험하는 데 활용된다.

AES 후보 알고리즘을 평가하는 과정에서도 이러한 공격 모델이 적용됐다.

선택적 암호문 공격(Chosen-ciphertext Attack, CCA 또는 CCA1)

선택적 암호문 공격에서는 공격자가 특정 암호문을 골라 복호화할 수 있다. 다만 타겟 암호문을 제외한 다른 암호문의 복호화가 가능한 조건이다.

주로 비대칭 암호 시스템을 대상으로 하며, RSA의 Bleichenbacher 패딩 오라클 공격이 사례다. 스마트카드가 잘못된 패딩을 감지해 오류 메시지를 반환하는 상황도 이 공격 모델과 연결된다.

적응형 선택적 암호문 공격(Adaptive-chosen-ciphertext Attack, ACCA 또는 CCA2)

ACCA는 이전 복호화 결과를 바탕으로 다음 암호문을 순차적으로 선택하는 CCA의 확장형이다. CCA보다 적은 수의 암호문으로 공격할 수 있으며, 현대 공개키 암호 시스템은 이 공격에 대한 내성을 갖춰야 한다.

SSL/TLS 프로토콜 공격에 활용된 POODLE 취약점이 관련 사례로 언급된다.

적응형 선택적 평문-암호문 공격(Adaptive Chosen Plaintext-Ciphertext Attack, ACPCA)

ACPCA는 ACPA와 ACCA를 결합한 공격 모델이다. 공격자는 평문과 암호문을 모두 적응적으로 선택하며, 상황에 따라 더 유리한 방향으로 공격을 진행한다.

가장 엄격한 암호 안전성 검증 모델로 쓰이고, 하이브리드 암호 시스템의 보안성 테스트에도 활용된다.

⤢✕

선택적 키 공격(Chosen-Key Attack, CKA)

선택적 키 공격은 키 사이의 관계에 관한 정보를 활용한다. 관련 키 공격(Related-key attack)으로 발전했으며, 블록 암호와 해시 함수가 대상이 된다. AES에 대한 관련 키 공격 연구가 예시다.

고무호스 암호분석(Rubber-hose Cryptanalysis)

고무호스 암호분석은 기술적 분석이 아니라 사회공학적 접근에 속한다. 협박이나 고문을 통해 키 소유자로부터 직접 키를 얻는 방식이며, 명칭은 고무호스로 때리는 고문에서 유래했다.

부인 가능 암호화(Deniable Encryption)는 이에 대한 대응 기법으로 언급된다. 법 집행기관의 압력이나 국경 검문 상황도 현실적인 맥락이 될 수 있다.

암호분석이 남긴 사례와 현재의 위협

2차 세계대전 중 앨런 튜링과 블레츨리 파크 팀은 독일 에니그마 암호를 해독했고, 이 과정에는 KPA와 CPA 기법이 활용됐다. 1998년에는 Electronic Frontier Foundation이 특수 목적 하드웨어로 DES 키를 56시간 만에 발견했다.

현대에는 BEAST, POODLE, Heartbleed 같은 SSL/TLS 취약점이 발견됐다. 양자 컴퓨팅의 발전은 RSA에 대한 위험성을 높이고 있으며, 전력 소비나 시간 분석을 이용하는 사이드 채널 공격도 암호분석의 범위에 포함된다.

설계 단계에서 고려할 방어 수단

암호 시스템은 공격 모델에 맞춰 여러 방어 기법을 조합한다.

• 키 길이 증가는 무차별 대입 공격을 방어한다.
• 솔팅(Salting)은 같은 평문이 서로 다른 암호문으로 변환되도록 한다.
• 패딩(Padding)은 데이터를 고정 길이 블록에 맞추기 위한 기법이다.
• 다중 암호화는 여러 알고리즘을 겹쳐 사용한다.
• 난수 생성기 개선은 암호화 과정의 예측 불가능성을 높인다.

양자 컴퓨팅과 AI가 바꾸는 암호분석

양자 컴퓨팅의 발전은 기존 암호 시스템에 대한 양자 암호분석의 위협을 키운다. 머신러닝과 딥러닝을 활용한 AI 기반 암호분석도 새로운 공격 기법으로 다뤄진다.

이에 대응해 양자 컴퓨터에 내성이 있는 포스트 양자 암호 알고리즘이 개발되고 있다. 암호화된 상태에서 연산할 수 있는 동형 암호(Homomorphic Encryption) 역시 함께 검토되는 고급 기법이다.

암호분석은 공격 기술에만 머물지 않는다. 암호 시스템의 안전성을 검증하고 개선하기 위한 기반이며, 다양한 공격 모델을 이해하는 일은 안전한 통신과 데이터 보호의 출발점이다. IoT와 클라우드 컴퓨팅의 발전, 양자 컴퓨팅의 등장은 이 분야에 새로운 도전과 기회를 만들고 있다.