비트코인 결함 분류 및 수정을 맡은 7개의 AI 에이전트: 무엇을 발견했을까?

• Qwen 3.8, GPT 5.6, Fable 모델은 실패했습니다. 하나는 멈췄고 두 모델은 작동을 거부했습니다.
• 테스트된 7개 모델 중 4개는 오픈 소스이며 필터 없이 사용할 수 있습니다.

비트코인 및 이더리움 프로젝트에서 사용되는 암호화 라이브러리를 관리하는 개발자 Paul Miller는 Bitcoin Red Team이 보고한 5가지 실제 보안 취약점을 분류하고 수정하기 위해 7개의 인공지능(AI) 에이전트를 테스트했습니다. 결과는 각 모델을 실행하는 데 드는 비용과 진단의 정확성 측면에서 모델 간에 뚜렷한 차이를 보여주었습니다.

평가된 7개의 에이전트 중 3개는 작업을 완료하지 못했습니다. 알리바바의 Qwen 3.8은 프로세스 중에 멈췄으며, Miller는 그 이유를 밝히지 않았습니다. Miller에 따르면 OpenAI의 GPT-5.6 Sol과 Anthropic의 Fable은 취약점을 악용하는 것이 아니라 식별하고 수정하는 작업임에도 불구하고 코드 작업을 거부했습니다.

작업을 완료한 4개의 에이전트인 Grok 4.6 (xAI), Kimi K3 (Moonshot AI), DeepSeek V4 Pro, DeepSeek V4 Flash (DeepSeek)는 실행 시 토큰 소비(사용자 지침)에 대한 비용이 매우 달랐습니다:

• Grok 4.6은 컴퓨팅 소비 비용으로 $4.70가 들었습니다.
• DeepSeek V4 Pro는 동일한 작업에 $0.30가 들었으며, 가장 비싼 모델과 가장 저렴한 모델 간에 15.7배(거의 1500%)의 차이를 보였습니다.

소요 시간도 상당히 다양했습니다. DeepSeek V4 Pro는 30분, Kimi K3는 40분, Grok 4.6은 1시간 만에 작업을 완료한 반면, DeepSeek V4 Flash는 3시간이 걸려 동일한 작업에 대해 DeepSeek V4 Pro보다 6배(500%) 더 오래 걸렸습니다.

Miller에 따르면 오직 Grok 4.6만이 5가지 취약점의 심각성에 대한 그 자신의 평가와 일치했습니다.

작업을 완료한 나머지 3개의 에이전트(Kimi K3, DeepSeek V4 Pro, DeepSeek V4 Flash)는 발견된 결함의 심각성을 과장했으며, Miller에 따르면 이는 결국 이 3개 모델이 제공한 결과의 전반적인 품질에 영향을 미쳤습니다.

Miller의 테스트는 비트코인 생태계에서 보안 결함을 찾고 악용하는 속도를 높이기 위해 인공지능을 사용하는 공격이 급증하는 가운데 이루어졌습니다.