AI, 60시간 만에 양자 내성 암호 해독... 인간은 검증에 한 달 소요

2026년 10월 초, OpenAI는 내부 모델에서 생성된 722개의 수학 연구 논문을 발표했습니다. 이 목록에는 정수론, 대수 기하학, 컴퓨터 과학이 포함되었습니다. 스탠포드 암호학자 Dan Boneh는 이를 꼼꼼히 읽었습니다. 그는 암호학이 빠져 있다는 점을 발견했습니다.

암호학에는 수많은 미해결 난제가 있습니다. 발표된 논문의 수학 중 일부는 이러한 난제들과 밀접해 있습니다. a16z crypto와의 대화에서, Boneh는 프런티어 랩들이 배치된 시스템을 자신들의 가장 강력한 모델로 테스트했는지 여부를 공개해야 한다고 말했습니다. 또한 그 결과도 공개해야 합니다.

이러한 공백은 여러 가지를 의미할 수 있습니다. 모델이 시도했지만 보고할 가치가 있는 것을 발견하지 못했거나, 연구소가 보안 관련 무언가를 발견하고 이를 숨기기로 선택했을 수 있습니다. 조지타운 대학교의 컴퓨터 과학 교수인 Justin Thaler는 무엇이 테스트되었는지, 얼마나 많은 컴퓨팅 자원이 사용되었는지, 그리고 결과가 어떻게 처리되었는지 알고 싶어 합니다.

2026년 7월 28일, Anthropic은 Claude Mythos Preview의 두 가지 암호 해독 결과를 공개했습니다. 하나는 HAWK를 겨냥한 것이었습니다.

HAWK는 격자 기반 디지털 서명 방식입니다. CWI Amsterdam, Leiden University 및 기타 기관의 연구원들이 이를 개발했습니다. 이는 NIST의 양자 내성 표준화 프로세스 3단계에 도달해 있었습니다. 이미 2년간의 전문가 검토와 2단계 평가를 견뎌낸 상태였습니다.

Mythos Preview는 약 60시간 동안 반자율적으로 작동했습니다. 이 모델은 HAWK의 격자 구조에서 사소하지 않은 자기동형(nontrivial automorphism)을 발견했습니다. 그 숨겨진 대칭성으로 인해 HAWK-256의 키 복구 작업량이 2^64에서 2^38로 줄어들었습니다. 96코어 서버에서 전체 키 복구에는 약 3시간 42분이 소요됩니다. Anthropic은 API 비용으로 약 $100,000를 지출했습니다.

HAWK 팀의 일원인 Léo Ducas는 이 공격이 설계가 예상보다 더 취약하다는 것을 보여주었다고 말했습니다. 근본적인 수학이 실패한 것은 아닙니다. 팀은 위험을 알면서도 설계를 효율성 한계까지 밀어붙였습니다. “우리는 현재 표준화된 방법보다 한 걸음 더 나아갔다”라고 Ducas는 말했습니다. NIST는 나중에 HAWK 팀이 3단계에서 이를 철회했음을 확인했습니다.