OpenAI bremst Forschung für Sicherheits-Fixes und Alignment-Fokus

Teams müssen aktive Durchläufe sofort unterbrechen, wenn potenzielle Verstöße nicht innerhalb von 30 Minuten als falsch-positive Ergebnisse bestätigt werden können.

Laut OpenAI erfordern diese kontinuierlichen Überwachungssysteme einen Rechenaufwand, der etwa 20% der überwachten Inferenz-Rechenleistung entspricht.

Das Unternehmen weitet die Alignment-Forschung auf alle Trainingsphasen aus. Zu den Schwerpunkten gehört die Vermeidung von Reward Hacking, bei dem Modelle versuchen, die Trainingsumgebungen auszutricksen, um Belohnungen zu erhalten, ohne die beabsichtigten Ergebnisse zu erzielen.

Weitere Arbeiten befassen sich mit der Minderung von Täuschung, indem Modelle darauf trainiert werden, ehrlich über ihre Handlungen, Grenzen und Fähigkeiten zu bleiben.

Verbesserungen der Systemaufsicht zielen darauf ab, Belohnungsmodelle und Grader zu stärken, um unbefugtes Verhalten zu reduzieren, wenn Modelle mit externen Systemen interagieren.

„Während Agenten nicht durch böswillige Absichten gekennzeichnet sind, werden sie den schnellsten und direktesten Weg finden, um eine Aufgabe zu erledigen“, stellt Chandra fest.