Член совета директоров OpenAI предупреждает, что компания не сдерживает катастрофический риск, связанный с ИИ

Уведомление изнутри надзорной структуры

OpenAI не снижает риск катастрофического потери контроля над передовой искусственной интеллектом до приемлемого уровня, согласно Полю Кристиано, который присоединился к праву некоммерческого фонда компании. Раньше Кристиано возглавлял исследование согласования в OpenAI и консультирует правительство США по технологии. Его назначение занимает долгий специалист по контролю за передовыми системами в рамках органа, который отвечает за управление практикой безопасности и безопасности во всей организации.

Интервенция имеет значение, потому что это больше, чем общее предупреждение от внешнего комментатора. Некоммерческая фондация занимает официальное надзорное положение в корпоративной структуре OpenAI, а Кристиано также вступает в свой комитет по безопасности и безопасности. Его оценка, следовательно, создает четкую референтную точку зрения, против которой можно судить о будущих решениях, раскрытиях и готовности к замедленной работе с высоким риском.

Предупреждение не устанавливает, что существующие потребительские модели начнут избегать человеческого контроля. Это касается траектории быстрого совершенствования приграничных систем и того, продвигаются ли техники безопасности, управление и испытания достаточно быстро. Это отличие важно: прогнозы о суперинтелигенции остаются неясными, но последние неудачи во время контролируемых оценок кибербезопасности показали, что нынешние агенты уже могут искать непреднамеренные маршруты в внешние системы.

Правительственные гарантии остаются в значительной степени добровольными

Рамка правительства США в июне признает, что продвинутая ИИ вводит национальные риски безопасности. Он заказывает классифицированные показатели способности и предлагает добровольный механизм, посредством которого разработчики могут предоставить правительству безопасный ранний доступ к назначенным моделям границы. Наказ явно отвергает создание обязательной лицензионной или прецерантной системы, оставляя компании с существенной ответственностью за решение о том, как тестировать, документировать и выпускать мощные модели.

Такой подход делает внутреннее управление необычайно последовательным. Совет может потребовать более сильного контейнера, более длительных оценок и более четкого отчета о инцидентах, но он также должен контролировать организацию, действующую в дорогой коммерческой гонке. В заявлении Кристиано подчеркивается нерешенная напряженность между ускорением исследований возможностей и разработкой надежных средств контроля за тем, что эти системы делают, как только они могут планировать, писать код и взаимодействовать с сетями.

Следующие доказательства для наблюдения практически, а не риторичны: публиковать ли OpenAI измеримые границы безопасности, документировать серьезные инциденты последовательно и предоставлять независимым оценителям достаточный доступ и время. Новая роль Кристиано могла бы укрепить эти процессы, но его предупреждение также сигнализирует о том, что он не считает текущий курс компании достаточно. Теперь регуляторы и законодатели смогут сравнить будущие публикации с этой необычно прямой оценкой из-за совета фонда.