OpenAI Board member warnt, dass das Unternehmen kein katastrofales AI-Risiko enthält
Die Ernennung von Paul Christiano stellt einen prominenten Kritiker der Grenzsicherheit-Modell innerhalb des für die Aufsicht zuständigen Non-Profit-Organs, da Washington ein weitgehend freiwilliges Sicherheitsregime entwickelt.
Maschinell übersetzt · Englisches Original · Original anzeigen
Eine Warnung von innen in der Überwachungsstruktur
OpenAI verringert nicht das Risiko eines katastrofalen Verlustes der Kontrolle über fortgeschrittene künstliche Intelligenz auf eine akzeptabeler Ebene, so Paul Christiano, der sich an den Vorstand der non-profit-Fundation des Unternehmens beteiligt hat. Christiano führte zuvor Alignment-Forschung bei OpenAI und berät die US-Regierung über Technologie. Seine Ernennung stellt einen langjährigen Spezialisten in der Kontrolle fortschrittlicher Systeme innerhalb des Körpers für die Verwaltung von Sicherheits- und Sicherheitspraktiken in der ganzen Organisation.
Die Intervention ist wichtig, weil es mehr als eine allgemeine Warnung von einem externen Kommentator ist. Die Non-Profit-Fundation besitzt eine formelle Aufsichtsposition in der Unternehmensstruktur von OpenAI, und Christiano ist auch an seinem Sicherheits- und Sicherheitsrat teilnehmen. Seine Bewertung schafft daher eine klare Referenz, gegen die zukünftige Entscheidungen, Offenlegungen und die Bereitschaft zur Verzögerung von hohen Risikobehandlungen beurteilt werden können.
Die Warnung stellt nicht fest, dass bestehende Verbrauchermodelle in der Lage sind, die menschliche Kontrolle zu entkommen. Es geht darum, wie schnell die Grenzssysteme verbessert werden, und ob sich Sicherheitstechniken, Steuerung und Tests schnell genug vorantreiben. Diese Unterscheidung ist wichtig: Prognosen über Superintelligence bleiben unsicher, aber jüngste Fehler während kontrollierter Cybersicherheitsbewertungen haben gezeigt, dass gegenwärtige Agenten bereits unbeabsichtigte Routen in externe Systeme verfolgen können.
Regierungssicherheiten bleiben weitgehend freiwillig
Das Juni-Framework der US-Regierung erkennt an, dass fortschrittliche KI nationale Sicherheitsrisiken einführt. Es bestellt klassifizierte Kapazitätsbestimmungen und legt einen freiwilligen Mechanismus vor, durch den Entwickler den Regierung sicher früher Zugang zu bestimmten Grenzmodellen ermöglichen können. Die Bestellung verweigert ausdrücklich die Schaffung eines obligatorischen Lizenz- oder Präclearance-Systems, die Unternehmen mit einer wesentlichen Verantwortung für die Entscheidung, wie zu testen, zu dokumentieren und zu veröffentlichen mächtige Modelle verlassen.
Dieser Ansatz macht die interne Governance ungewöhnlich konsequent. Ein Board kann eine stärkere Behälterung, längere Bewertungen und klarere Ereignisberichte verlangen, aber es muss auch eine Organisation überwachen, die in einem teuren kommerziellen Rennen tätig ist. Christiano's Aussage betont die ungelöste Spannung zwischen der Beschleunigung der Kapazitätsforschung und der Entwicklung zuverlässiger Mittel zur Kontrolle, was diese Systeme tun, sobald sie planen, Code schreiben und mit Netzwerken interagieren können.
Die nächste Beweise zu beobachten ist praktisch und nicht retorisch: ob OpenAI Messbarkeitsgrenzen veröffentlicht, schwere Ereignisse konsequent dokumentiert und unabhängigen Bewertern genügend Zugang und Zeit gibt. Christiano's neue Rolle könnte diese Prozesse stärken, aber seine Warnungen signalisieren auch, dass er den aktuellen Kurs des Unternehmens nicht als ausreichend betrachtet. Regulatoren und Gesetzgeber werden nun in der Lage sein, zukünftige Veröffentlichungen mit dieser ungewöhnlich direkten Bewertung von innerhalb des Stiftungsrats zu vergleichen.