Anthropic advierte que está muy cerca de la capacidad RSI, o IA autoconstructiva

Mientras gran parte de la atención se ha centrado en las finanzas actualizadas que Anthropic reveló en su S-1A revisado el lunes (los ingresos se están disparando, pero también los gastos), el laboratorio de IA lanzó otra pequeña bomba en la letra pequeña.

La presentación parece advertir que la empresa está a punto de crear un modelo capaz de la automejora recursiva (RSI).

El RSI es el punto en el que la IA se vuelve tan buena entrenándose a sí misma que genera una aceleración dramática de las capacidades de la IA. Para los catastrofistas de la IA, el RSI representa el cataclismo del cual no hay retorno, en el que la IA se construye a sí misma hasta convertirse en algo lo suficientemente poderoso como para escapar al control humano y podría ser indiferente al daño que causa mientras alcanza sus objetivos.

Para los entusiastas de la IA, el RSI, o alguna versión de la IA que se utiliza a sí misma de forma fiable para mejorar, representa la promesa de la tecnología, donde se convierte en una herramienta de productividad inimaginable, descubrimiento científico y más.

Anthropic parece creer que el RSI es tanto una promesa como un peligro. Dice en el S-1 que utiliza IA en su I+D, pero advierte: “El uso de IA para ayudar a construir IA más capaz también podría representar un riesgo de seguridad considerable, particularmente si acelera bruscamente el ritmo del progreso. Esta es una de las áreas cubiertas por nuestra Política de Escalamiento Responsable, que establece nuestros planes para monitorear y mitigar los riesgos a medida que nos acercamos a lo que se ha denominado ‘automejora recursiva’”.