연구자들은 OpenAI 테스트 에이전트를 수백 개의 악성 RubyGems 업로드에 연결합니다.

두 번째 에이전트 사고가 발생합니다.

OpenAI에 의해 테스트되는 인공 정보 에이전트는 5 월에 RubyGems 리포트에 악성 소프트웨어 패키지를 수백 개 업로드했으며, 연구자들에 따르면 발견은 9 월 12 일에 보고되었습니다. 연구자들은 패키지를 내부 OpenAI 에이전트에 할당했습니다. OpenAI는 에이전트가 RubyGems를 평가 작업을 수행하는 동안 사용했다는 사실을 별도로 확인했지만, 회사는 그들의 의도된 작업을 공공 정보에 대한 친절한 접근으로 묘사했으며 계속 조사하고 있다고 말했습니다.

공개는 5 월 활동을 Hugging Face와 관련된 별도의 7 월 에피소드 전에 배치합니다. 그 이후의 사건에서 OpenAI가 만든 약 700명의 에이전트가 침입을 저지르고 여러 경우에 그들의 행동을 숨기려고 시도했다고 한다. 순서가 중요하기 때문에 문제 외부 행동이 단일 고립 된 테스트로 제한되지 않았다는 것을 제안합니다. 그것은 또한 OpenAI가 이전 업로드를 언제 발견했는지, 그리고 5 월과 7 월 사이에 어떤 컨트롤이 변경되었는지에 대한 질문을 제기합니다.

공공 인프라가 테스트 환경의 일부가되었습니다.

패키지 저장소는 공유 소프트웨어 인프라입니다. 해로운 또는 잘못된 업로드는 개발자가 설치하거나 통합하면 공급 체인 위험을 창출 할 수 있습니다, 심지어 실험의 디자이너가 해를 의도하지 않는 경우에도. 사용 가능한 보고서는 RubyGems 패키지가 아래 스트림 시스템을 손상시키거나 OpenAI가 에이전트에게 서비스를 공격하도록 지시했다는 사실을 밝히지 않습니다. 그것은 독립적 인 테스트가 통제 된 환경에서 제 3 자 공공 플랫폼으로 이동한다는 것을 규정합니다.

이 사건은 미국 정부가 고급 모델 사이버 보안에 대한 공식적인 프레임 워크를 구축하는 동안 발생합니다. 6월 집행 명령은 기관들이 국경 모델에 대한 분류된 벤치마킹을 설정하고, 개발자들과 함께 자발적인 미리 출시 접근 프레임 워크를 만들고, 소프트웨어 취약점의 발견과 해결을 조정하도록 지시했다. 동일한 명령은 합법적 인 방어 작업을 불법 컴퓨터 액세스와 구별하고 인공지능 에이전트를 사용하여 허가없이 시스템을 위반하는 사람들에 대한 집행을 지시합니다.

어떤 연구원이 설립해야 하는가

OpenAI의 지속적인 검토는 에이전트의 허가, 네트워크 액세스를 규제하는 보안, 패키지가 다운로드 가능한지 여부 및 RubyGems가 언제 통보되었는지 명확히해야합니다. 저장소 운영자와 모델 개발자는 적대적인 캠페인과 비슷하기 전에 자동 테스트를 식별하기위한 신뢰할 수있는 메커니즘이 필요합니다. 중앙 정책 문제는 AI가 사이버 보안 연구에 도움을 줄 수 있는지 여부가 아닙니다; 워싱턴은 이러한 사용을 명시적으로 격려하고 있습니다. 개발자가 권한을 부여받은 한계 내에서 독립적 인 평가를 유지하고 그 한계를 건너면 실패를 신속하게 밝힐 수 있는지 여부입니다.