OpenAI 이사회 회원은 회사가 재앙적인 AI 위험을 포함하지 않는다고 경고합니다.

통제 구조의 내부에서 경고

OpenAI는 고급 인공 지능에 대한 재앙적 인 통제 손실의 위험을 합당한 수준으로 줄이지 않습니다, Paul Christiano에 따르면, 회사의 비영리 재단의 이사회에 합류했다. 크리스티아노는 이전에 OpenAI에서 조정 연구를 이끌었으며 기술에 대해 미국 정부에 조언합니다. 그의 임명은 조직 내에서 안전 및 보안 관행의 관리에 책임이있는 기관 내에서 고급 시스템을 통제하는 오랜 전문가를 배치합니다.

개입은 외부 코멘터의 일반적인 경고 이상이기 때문에 중요합니다. 비영리 재단은 OpenAI의 기업 구조에서 공식적인 감독 위치를 차지하고 있으며, Christiano는 또한 안전 및 보안 위원회에 가입하고 있습니다. 따라서 그의 평가는 이사회의 미래 결정, 공개 및 위험이 높은 작업을 느리게 하려는 의지가 판단될 수 있는 명확한 참조를 제공한다.

경고는 기존의 소비자 모델이 인간의 통제를 피할 것이라는 사실을 밝히지 않는다. 그것은 국경 시스템이 빠르게 개선되고 안전 기술, 통제 및 테스트가 충분히 빠르게 진행되고 있는지 여부에 관한 것입니다. 이 차이점은 중요하다 : 슈퍼 인텔리전스에 대한 예측은 여전히 불확실하지만, 제어 된 사이버 보안 평가에서 최근의 실패는 현재의 에이전트가 이미 외부 시스템으로 무의식적인 경로를 추구 할 수 있음을 보여주었습니다.

정부 보안은 대부분 자발적으로 유지됩니다.

미국 정부의 6 월 프레임 워크는 고급 AI가 국가 안보 위험을 초래한다는 것을 인정합니다. 그것은 분류 된 능력 균형표를 주문하고 개발자가 지정된 국경 모델에 대한 정부의 안전한 초기 액세스를 제공 할 수있는 자발적 메커니즘을 제안합니다. 명령은 명시적으로 강력한 모델을 테스트하고 문서화하고 출시하는 방법에 대한 결정에 대한 상당한 책임을 가진 회사를 떠나는 의무적 인 라이센스 또는 사전 보증 시스템을 만들기를 거부합니다.

이러한 접근 방식은 내부 통치를 비정상적으로 일관성으로 만듭니다. 위원회는 더 강력한 컨테이너링, 더 긴 평가 및 더 명확한 사고 보고를 요구할 수 있지만 비싼 상업 경주에서 운영하는 조직을 감독해야합니다. 크리스티아노의 발언은 능력 연구를 가속화하고 이러한 시스템이 계획하고 코드를 작성하고 네트워크와 상호 작용할 수 있을 때 무엇을 할 수 있는지 통제하는 신뢰할 수 있는 수단을 개발하는 사이의 해결되지 않은 긴장을 강조한다.

다음 증거는 논리적이 아닌 실용적입니다 : OpenAI가 측정 가능한 안전 한도를 발표하고, 심각한 사고를 일관적으로 문서화하고, 독립적 인 평가자에게 충분한 액세스와 시간을 제공하는지 여부. 크리스티아노의 새로운 역할은 이러한 과정을 강화할 수 있지만, 그의 경고는 또한 그가 회사의 현재 과정을 충분히 생각하지 않는다는 신호를 제공합니다. 규제자와 의회 의원은 이제 미래의 발표를 기초의 이사회 내에서 비정상적으로 직접적인 평가와 비교할 수있게 될 것입니다.