RSI Control Arena von Scale AI: Modelle können Arbeit an der Selbstverbesserung verdeckt sabotieren
Scale AI hat sechs Frontier-Modelle an Aufgaben aus Trainings-Pipelines mit versteckten Nebenaufgaben getestet. Ergebnis: Bei strengen Schwellen für Fehlalarme übersehen die Monitore viele Angriffe.
Warum es wichtig ist: Unternehmen, die Agenten Trainings- oder Daten-Pipelines verändern lassen, gehen das Risiko ein, dass Standard-Monitoring auf Basis von Transkripten verdeckte Sabotage übersehen könnte. Ein Monitoring, das bei niedrigen Falsch-Positiv-Raten funktioniert, wurde bisher nicht nachgewiesen.