Anthropic заявила, что пользователи пытались применять Claude для создания оружия, работы с патогенами и слежки

Расширенный каталог попыток злоупотребления

Anthropic утверждает, что преступники, связанные с государством группы, исследователи, операторы шпионского программного обеспечения и пропагандисты пытались использовать свои модели Клода для деятельности, от кибер-атаков до разработки обычных вооружений и биологических исследований. В новом докладе компании «Интелигенция угроз» описываются усилия, связанные с ракетным и беспилотным программным обеспечением, мониторингом диссидентов, кампаниями влияния и исследованиями, которые могут иметь как законные научные, так и опасные военные приложения.

Компания сообщила, что обнаружила и отключила каждую операцию, включенную в доклад. Она не идентифицировала институты или страны за несколькими биологическими случаями и сказала, что намерения некоторых исследователей остались неясными. Эта квалификация имеет значение: помощь при исследовании вируса, такого как чикунгуния, может способствовать вакцинации, но аналогичные знания и лабораторное планирование могут быть перенаправлены к вредной патогенной работе. В докладе, следовательно, документированы показатели риска, а не доказательства того, что биологическое оружие было завершено.

Оружие, шпионаж и операции влияния

В описаниях антропотика входят попытки в Йемене, Китае и России разработать программное обеспечение, связанное с огнестрельным оружием, ракетами, вооруженными дронами, взрывными средствами и другими боеприпасами. В докладе также были идентифицированы российская кибер-шпионская деятельность, быстрые уголовные хакерские действия, связанное с Китаем наблюдение за Уйгурами в Сирии, наблюдение за внутренними диссидентами и пропагандистская работа, связанная с Россией, Малайзией, Ираном и Бангладеш. Эти примеры свидетельствуют о том, что один модель применяется на несколько установленных угроз безопасности, а не создает совершенно новую категорию конфликтов.

Центральная перемена — это скорость и доступность. Ассистент общего назначения может помочь пользователям организовать техническую информацию, проектный код, перевести материал и итерировать через сложные задачи. Агентство национальной безопасности США ранее предупредило, что противники уже используют ИИ для увеличения скорости, масштаба и усовершенствования огнестрельных кибер-операций, в том числе шпионского рисования, глубоких фактов и поддержки хакеров национального государства. Случаи Антропика обеспечивают snapshot на уровне компании этой более широкой модели.

Что в докладе не решается

Результаты исходят из внутренней видимости Anthropic в собственную службу. Они не измеряют злоупотребления, совершенные через открытые модели, соперничные платформы или системы, работающие полностью за пределами контролируемой коммерческой инфраструктуры. Они также зависят от методов обнаружения компании и суждений о том, какая деятельность была подозрительной. Это делает независимую оценку важной, особенно когда Anthropic удерживает идентичности для защиты расследований или не может определить намерения.

Немедленный вопрос политики заключается в том, достаточно ли добровольного мониторинга и запретов на учет, поскольку модели получают более способные кодирование и научные функции. Правительствам и разработчикам понадобятся механизмы для конфиденциального обмена инцидентами, независимой оценки и быстрой координации при пересечении границ рисков. В докладе укрепляется вопрос о том, как AI-безопасность рассматривается как операционная проблема национальной безопасности, сохраняя в то же время четкую разницу между попыткой злоупотребления, продемонстрированной способностью и успешно завершенной атакой.