양자내성암호: NIST 표준과 마이그레이션이 작동하는 방식

NIST의 첫 양자내성암호 표준들이 어떻게 맞물리는지, 왜 Q-Day 이전에 마이그레이션을 시작해야 하는지, 그리고 지금 조직들이 마주한 실질적 단계들을 설명한다.

이 페이지는 영어에서 번역되었습니다. 기업명, 제품명, 출처 링크는 변경되지 않았습니다. 영문 원문 보기

양자내성암호는 미래의 양자컴퓨터 공격에도 견딜 수 있다고 여겨지는 대안으로, 오늘날 취약한 공개키 암호를 대체하려는 노력이다. 2024년에 공개된 NIST의 첫 3개 최종 표준은 이 전환이 연구 단계를 넘어 실제 배치 단계로 옮겨갔음을 뜻한다. 이제 조직들은 노출된 알고리즘이 어디에 쓰이는지 목록화하고, 무엇을 먼저 교체할지 결정하며, 수년에 걸친 마이그레이션 작업에 착수해야 한다.

왜 양자내성암호가 필요한가

문제는 양자컴퓨터가 모든 것을 깨뜨릴 수 있다는 데 있지 않다. 핵심 우려는 더 좁지만 더 중요하다. 널리 쓰이는 공개키 시스템은 정수 소인수분해, 이산 로그, 타원곡선 이산 로그 같은 수학적 문제에 의존한다. 충분한 성능을 갖춘 양자컴퓨터가 쇼어 알고리즘(Shor’s algorithm)을 실행할 수 있다면 이런 문제를 효율적으로 풀 수 있고, 그 결과 RSA, 유한체 Diffie–Hellman, 타원곡선 Diffie–Hellman 같은 시스템이 무력화될 수 있다.

이 위협은 아직은 미래의 일이다. 2026년 기준으로 양자컴퓨터는 널리 배포된 암호 시스템을 깨뜨릴 만큼의 처리 능력을 갖추지 못했고, 실험실에서의 쇼어 알고리즘 시연도 매우 작은 수에 대해서만 성공했다. 실질적 장애물은 이론적 가능성이 아니라 공학적 규모다. Wikipedia에 따르면 오류 정정 오버헤드 때문에 고전적 방법을 능가하려면 수백만 큐비트 규모의 장비가 필요할 수 있다.

그렇다 해도 완전한 성능의 양자컴퓨터를 기다리는 것은 실수다. 마이그레이션에는 수년이 걸리고, 일부 데이터는 기밀 유지 기간이 매우 길다. 그래서 “지금 수집하고, 나중에 복호화(harvest now, decrypt later)”가 핵심 계획 개념이 됐다. 공격자는 오늘 암호화된 트래픽이나 저장된 암호문을 수집해 두었다가, 미래의 기술 발전으로 복호화가 가능해질 때까지 보관할 수 있다. 이메일 아카이브, 의료 데이터, 지식재산, 정부 기록, 핵심 인프라 로그의 경우 피해는 데이터가 처음 가로채인 훨씬 뒤에 나타날 수 있다.

양자가 바꾸는 것, 그리고 바꾸지 않는 것

흔한 오해 중 하나는 양자컴퓨팅이 모든 암호를 쓸모없게 만든다는 것이다.

현재의 대부분 대칭키 암호와 해시 함수는 양자 공격에 대해서도 비교적 안전한 것으로 여겨진다. 그로버 알고리즘(Grover’s algorithm)은 대칭 암호에 대한 무차별 대입 탐색을 가속할 수 있지만, 실제로는 키 크기를 키우는 방식, 예를 들어 키 길이를 두 배로 늘리는 방식으로 그 효과를 상쇄할 수 있다. 따라서 가장 큰 변화는 공개키 암호에서 일어나며, 특히 다음 영역이 해당된다.

키 설정과 키 교환
공개키 암호화와 키 캡슐화
디지털 서명

이 때문에 NIST의 PQC 프로그램은 스택 전체를 한 번에 교체하기보다 키 캡슐화 메커니즘(KEM)과 디지털 서명 알고리즘에 집중해 왔다.

NIST가 처음 표준화한 것

NIST는 제안 요청을 거쳐 2016년 말 공식 표준화 작업을 시작했다. 표준화 기록에 따르면 1라운드에는 완전하고 적절한 제출안 69개가 접수됐고, 2020년 7월 발표된 3라운드에는 7개 후보가 진출했다. 수년간의 평가 끝에 NIST는 2024년 8월 13일 첫 3개 표준을 최종 확정했다.

그 표준은 다음과 같다.

FIPS 203: ML-KEM, CRYSTALS-Kyber를 기반으로 한 모듈 격자 기반 키 캡슐화 메커니즘(Module-Lattice-Based Key-Encapsulation Mechanism)
FIPS 204: ML-DSA, CRYSTALS-Dilithium을 기반으로 한 모듈 격자 기반 디지털 서명 알고리즘(Module-Lattice-Based Digital Signature Algorithm)
FIPS 205: SLH-DSA, SPHINCS+를 기반으로 한 상태 비저장 해시 기반 디지털 서명 알고리즘(Stateless Hash-Based Digital Signature Algorithm)

NIST는 ML-KEM을 범용 암호화를 위한 주 표준으로 설명하며, 비교적 작은 암호화 키와 속도를 강점으로 꼽는다. ML-DSA는 디지털 서명을 위한 주 표준이다. SLH-DSA는 다른 수학적 기반을 사용하며, 향후 ML-DSA에 취약성이 발견될 경우를 대비한 백업 용도로 의도됐다.

NIST 자체 가이던스는 분명하다. 이 3개 표준은 즉시 사용 가능한 상태이며, 조직들은 지금부터 적용을 시작해야 한다.

왜 하나의 승자가 아니라 여러 표준이 있는가

양자내성 분야에는 하나의 지배적인 수학적 토대가 존재하지 않는다. 서로 다른 계열은 각기 다른 강점, 구현 특성, 위험 프로파일을 지닌다. NIST의 선택은 포트폴리오 접근을 반영한다.

격자 기반 암호는 현재 배치 부담의 상당 부분을 맡고 있다. NIST가 처음 표준화한 격자 기반 알고리즘은 ML-KEM과 ML-DSA다. 이들은 성능과 관리 가능한 키 크기 덕분에 매력적인 선택지로 평가된다.

하지만 다변화도 중요하다. NIST는 SLH-DSA를 주력 격자 기반 서명의 백업으로 선택했다. 이어 2025년 3월 11일에는 범용 암호화를 위한 백업 KEM으로 HQC를 선택했다. HQC는 격자 기반이 아니라 코드 기반이며, NIST는 바로 그 수학적 접근의 차이 때문에 이를 대체 수단으로 유지한다고 밝혔다.

여기서 전달되는 메시지는 전략적이다. 디지털 신뢰의 미래를 하나의 가정에만 걸지 말라는 뜻이다.

파이프라인에 있는 다음 표준들

NIST의 PQC 작업은 2024년 공개로 끝나지 않았다.

CSRC 프로젝트 페이지에 따르면 NIST는 다음 대상에 대한 표준화 작업을 계속 진행하고 있다.

Falcon, 디지털 서명 알고리즘
HQC, 키 캡슐화 메커니즘

표준화 기록에 따르면 Falcon 기반 표준은 FIPS 206의 FN-DSA로 불릴 예정이다. 2026년 중반 기준으로 이는 여전히 초안 상태였다. 일정이 더딘 이유로 제시된 것은 구현 복잡성이다. FN-DSA는 서명 과정에서 부동소수점 가우시안 샘플링에 의존하는데, NIST는 이것이 이미 최종 확정된 3개 표준보다 안전하고 상수 시간으로 구현하기 더 어렵다고 설명한다.

HQC에 대해서는 NIST가 2025년 3월, 약 1년 안에 초안 표준이 나올 것으로 예상되며 공개 의견 수렴을 거쳐 2027년에 최종 표준이 마련될 것으로 본다고 밝혔다.

이처럼 단계적으로 진행되는 일정은 운영 측면에서 중요하다. 조직들은 앞으로 나올 모든 선택지를 기다릴 필요가 없다. NIST는 대부분의 배치에서 ML-KEM, ML-DSA, SLH-DSA가 기반이 될 것으로 보고 있으며, 이미 사용을 시작해야 한다고 말한다.

첫 표준들을 한눈에 보기

Standard	Algorithm name	Main job	Math family	NIST role description
FIPS 203	ML-KEM	키 설정 / 범용 암호화 지원	격자 기반	범용 암호화를 위한 주 표준
FIPS 204	ML-DSA	디지털 서명	격자 기반	서명을 위한 주 표준
FIPS 205	SLH-DSA	디지털 서명	해시 기반	백업 서명 방식
Forthcoming	FN-DSA	디지털 서명	NTRU-격자 기반	개발 중인 추가 서명 표준
Forthcoming	HQC	키 설정 / 범용 암호화 지원	코드 기반	ML-KEM을 위한 백업 KEM

마이그레이션은 실제로 어떻게 이뤄지나

마이그레이션은 단순히 라이브러리 하나를 바꾸는 문제가 아니라, 시스템 전반의 암호 의존성을 다시 설계하는 일에 가깝다.

NIST의 마이그레이션 가이던스에 따르면 조직은 취약한 알고리즘이 어디에 사용되는지 식별하고, 제품·서비스·프로토콜의 업데이트 또는 교체를 계획해야 한다. 이는 종종 문서화가 부실한 곳에 숨어 있는 암호 사용을 찾아내는 작업을 뜻한다.

TLS 종료 지점과 내부 서비스 간 연결
VPN 및 원격 접속 시스템
PKI 및 인증서 워크플로
코드 서명과 문서 서명
하드웨어 보안 모듈과 펌웨어 업데이트 시스템
ID, 접근, 키 관리 도구
임베디드 장치와 운영 기술
오래된 키 설정 체계로 보호되는 장기 보관 데이터

첫 단계는 대개 암호 인벤토리 작성이다. RSA, Diffie–Hellman, 타원곡선 메커니즘이 직접적으로든 제3자 제품을 통해서든 어디에 쓰이고 있는가? 두 번째는 우선순위화다. 장기 비밀을 다루거나 업그레이드가 어려워 위험이 큰 시스템은 무엇인가? 세 번째는 실행이다. 테스트, 상호운용성 작업, 단계적 롤아웃, 정책 변경이 여기에 포함된다.

NIST의 일정은 긴박성을 더한다. CSRC 페이지에서 언급된 전환 일정에 따르면 NIST는 2035년까지 양자 취약 알고리즘을 자사 표준에서 단계적으로 폐지하고 최종적으로 제거할 계획이며, 위험이 더 큰 시스템은 훨씬 더 이른 시점에 움직여야 한다.

가장 큰 엔지니어링 상충점

양자내성 마이그레이션은 단순한 규정 준수 과제가 아니다. 실제 기술적 절충을 수반한다.

대표적인 상충점 하나는 크기와 효율의 균형이다. NIST의 PQC 자료는 많은 PQC 알고리즘이 양자 이전의 공개키 시스템보다 더 큰 키를 사용한다고 지적한다. 또 키 크기, 계산 효율성, 암호문 또는 서명 크기 사이의 절충도 설명한다. 인터넷 대면 프로토콜과 제약된 장치에서는 이런 차이가 대역폭, 지연시간, 메모리, 구현 복잡성에 영향을 줄 수 있다.

또 다른 상충점은 성숙도와 다양성이다. 격자 기반 시스템은 NIST 평가 전반에서 충분히 좋은 성능을 보여 현재 첫 표준들을 주도하고 있다. 하지만 집중 위험은 현실적이며, 그래서 다른 수학에 기반한 백업 표준이 함께 개발되고 있다.

세 번째 이슈는 구현 보안이다. 표준화 기록은 Falcon에 대해 사이드 채널 우려를 언급하며, 가능한 완화책이 성능에 영향을 줄 수 있다고 지적한다. 더 일반적으로 말해, 암호 설계는 이론적으로 강력해 보여도 실제 구현에서는 안전하게 만들기 어려울 수 있다.

표준이 해결하지 못하는 것

표준의 존재가 영구적인 안전성을 증명하는 것은 아니다. 양자내성 알고리즘은 양자 공격에 견딘다고 증명된 것이 아니라 그렇게 여겨지는 것이다. 이 단서는 분야 자체에 내재돼 있다.

NIST 과정에서 얻은 교훈도 있다. 일부 후보는 평가 도중 깨졌다. Wikipedia는 특히 눈에 띄는 두 사례를 짚는다. Rainbow는 3라운드에서 고전 컴퓨터로 깨졌고, SIKE는 4라운드에서 깨졌다. 이런 실패가 PQC 전체를 부정하는 것은 아니다. 오히려 공개 암호해석과 보수적인 표준화에 시간이 필요한 이유를 보여준다.

여전히 남아 있는 질문은 다음과 같다.

선택된 수학적 문제에 대한 장기적 신뢰
벤더와 오픈소스 스택 전반의 구현 품질
실제 하드웨어와 소프트웨어에서의 사이드 채널 저항성
프로토콜과 인증서 생태계에서의 상호운용성
조직이 알고리즘 계열을 얼마나 적극적으로 다변화해야 하는가

“언제 움직여야 하는가”를 실용적으로 생각하는 법

대부분 조직에 더 적절한 질문은 “Q-Day가 내년인가?”가 아니라 “우리의 마이그레이션에는 얼마나 걸리며, 우리의 데이터는 얼마나 오래 안전해야 하는가?”다.

시스템이 깊이 내장돼 있거나, 규제를 받거나, 전 세계에 분산돼 있거나, 벤더 의존적이라면 전환은 더딜 수 있다. 데이터가 수년 뒤에도 여전히 민감하다면, harvest-now 위험 때문에 지연의 비용은 더 커진다. 바로 이 논리 때문에 NIST는 양자컴퓨터가 아직 필요한 규모에 도달하지 않았음에도 2024년 표준의 즉각적인 도입을 촉구하고 있다.

요컨대 PQC 마이그레이션은 전형적인 인프라 전환이다. 비상 상황이 오기 전에 시작해야 한다. 비상 상황이 누구에게나 분명해졌을 때는 이미 매끄럽게 옮기기엔 너무 늦기 때문이다.

핵심 요약

양자내성암호는 기존 암호 전체를 버리는 일이 아니라, 주로 취약한 공개키 시스템을 대체하는 작업이다.
충분한 성능의 양자컴퓨터가 쇼어 알고리즘을 실행할 수 있다면 RSA, Diffie–Hellman, 타원곡선 Diffie–Hellman을 깰 수 있다.
NIST는 2024년 8월 13일 첫 3개 PQC 표준인 FIPS 203 (ML-KEM), FIPS 204 (ML-DSA), **FIPS 205 (SLH-DSA)**를 최종 확정했다.
NIST는 이 표준들이 지금 바로 사용 가능하며 조직들이 즉시 마이그레이션을 시작해야 한다고 말한다.
ML-KEM은 범용 암호화 관련 키 설정을 위한 주 표준이고, ML-DSA는 주력 서명 표준이며, SLH-DSA는 백업 서명 방식이다.
2025년 3월, NIST는 ML-KEM과 다른 수학에 기반한 백업 KEM으로 HQC를 선택했다.
마이그레이션은 취약한 알고리즘이 사용되는 위치를 파악하는 것에서 시작해, 고위험 시스템의 우선순위를 정하고, 단계적 교체를 계획하는 방식으로 진행된다.
중요한 상충점에는 더 큰 키 자료, 성능 및 대역폭 비용, 구현 복잡성, 그리고 수학적 다양성의 가치가 포함된다.
PQC 표준은 미래 위험을 줄이지만 불확실성을 없애지는 못한다. 지속적인 암호해석, 구현 검토, 운영 테스트는 여전히 필수다.
핵심적인 긴박성은 긴 전환 기간과, 수년간 기밀로 유지돼야 하는 데이터를 노리는 지금 수집하고, 나중에 복호화 공격 가능성에서 비롯된다.