Lo que diferencia a estos modelos (supuestamente) es la capacidad emergente de no solo descubrir rápidamente brechas en la superficie de ataque de una organización, como vulnerabilidades de software y configuraciones erróneas, sino de construir cadenas de ataque novedosas. Al mismo tiempo, el desarrollo de la IA se centra ahora en agentes, refiriéndose a IAs que no se limitan a interacciones de estilo chatbot y pueden conectarse directamente con el software.
En el peor de los casos, eso significaría que los modelos de frontera no solo pueden descubrir fallos invisibles en el software, sino combinarlos de una manera sin precedentes y sobre la marcha. Si bien Dios sabe qué diablos sucede a puerta cerrada en la Casa Blanca de Donald Trump, según se informa, esta fue la amenaza que causó pánico en la administración y obligó a retirar dos modelos de Anthropic del mercado este verano. El ataque a Hugging Face ciertamente parece haber validado que las salvaguardas que se están implementando en los LLM no están evolucionando tan rápido como sus capacidades, al menos.
El “supuestamente” se debe a que, aunque los modelos de seguridad de frontera son bastante potentes, las empresas de IA también dependen de un bombo publicitario descarado para recaudar incontables miles de millones de dólares en inversiones. Algunos críticos han argumentado que son más evolutivos que revolucionarios. El desarrollador principal de cURL, Daniel Stenberg, caracteriza a los LLM como muy buenos para encontrar errores pero “no muy buenos para evaluar realmente la criticidad del problema”.
Lo que sí se puede decir con seguridad es que muchas empresas que han obtenido acceso a modelos de frontera de repente comienzan a lanzar parches como locas, como los casi 1,450 parches que Oracle lanzó el mes pasado.
El aspecto positivo es que la IA es al menos tan efectiva en la defensa y posiblemente incluso mejor, según Brockman. Escribió que los modelos de frontera pueden “cambiar la economía de [la seguridad] de maneras que favorezcan fundamentalmente a los defensores”, como “código sobrehumanamente seguro” o la generación de pruebas matemáticas que formen la base de nuevos sistemas criptográficos y otras herramientas. (A principios de este año, OpenAI resolvió una importante conjetura geométrica de 80 años de antigüedad, aunque el matemático de OpenAI Sébastien Bubeck dijo a Scientific American que el triunfo de la IA se debió más a la ejecución que a “algo fundamentalmente nuevo que nadie viera venir”).
El nada sorprendente consejo de 10 pasos de Brockman para los equipos de seguridad incluye, por supuesto, comprar más IA. Argumenta que los equipos deberían adoptar agentes y equiparlos con habilidades como “análisis estático, revisión de código centrada en la seguridad, análisis de variantes de vulnerabilidad, riesgo en la cadena de suministro de software y otros flujos de trabajo de seguridad”, antes de realizar evaluaciones de seguridad en los sistemas por orden de importancia.
Después de eso, escribió Brockman, los equipos deberían usar la IA para ir reduciendo los historiales de vulnerabilidades pendientes, integrar agentes de seguridad en el desarrollo de software para detectar problemas mientras se escriben y dejar que los agentes escriban parches “específicos” directamente en lugar de esperar a la revisión humana. (Esto es quizás capaz de causar sus propios problemas—tenga en cuenta que los investigadores de seguridad han advertido durante mucho tiempo que los agentes que se rebelan podrían no ser fáciles de desactivar.)
Para ser justos, Brockman sí advirtió que se debe comenzar lentamente con la automatización de las operaciones de seguridad, lo que implica clasificar las alertas de seguridad entrantes. Sugirió comenzar con escaneos de solo lectura antes de escalar al “escaneo de solicitudes de extracción (pull-request) de asesoramiento, luego la clasificación de alertas en vivo y después el cierre automático de falsos positivos definidos de manera restrictiva”.
