OpenAI董事会成员警告公司不包含灾难性AI风险

监控结构内部的警告

OpenAI并没有将对先进人工智能的控制损失的危险降低到可接受的水平,据保罗·克里斯蒂亚诺(Paul Christiano)表示,他已经加入了公司的非营利基金会董事会。 此前,克里斯蒂亚诺曾在OpenAI开展过调整研究,并向美国政府提供技术咨询。 他的任命将一个长期的专家在组织内部负责安全和安全实践管理的先进系统控制。

介入很重要,因为它比外部评论员的一般警告更重要。 非营利基金会在OpenAI的企业结构中占据了正式的监督职位,克里斯蒂亚诺也加入了其安全与安全委员会。 因此,他的评估创造了一个明确的参考标志,可以判断董事会未来的决策、披露和放缓高风险工作的愿望。

警告并没有证明现有消费模式即将逃避人类控制。 它涉及到快速改进边境系统的轨道,以及安全技术、管理和测试是否正在迅速推进。 这个区别很重要:关于超级情报的预测仍然不确定,但最近在控制的网络安全评估中出现的失败已经证明了当今的代理人已经能够追求无意中进入外部系统的路线。

政府保安仍然是志愿者。

美国政府6月的框架承认,先进的人工智能引入国家安全风险。 它命令分类能力指标,并提出了一个志愿机制,通过该机制,开发人员可以为政府提供安全的早期访问指定的边境模型。 该命令明确拒绝建立强制性许可或准确性系统,让公司有重大责任决定如何测试、文档和发布强大的模型。

这种方法使内部治理不寻常的后果。 董事会可能需要更强的包容、更长的评估和更清晰的事件报告,但它还必须监督在昂贵的商业竞赛中运作的组织。 克里斯蒂亚诺的声明强调,加速能力研究和开发可靠的控制这些系统一旦能够规划、编写代码和与网络互动,之间的紧张局势。

接下来的证据是实用的,而不是理性的: OpenAI 是否发布可测量的安全边界,是否连续记录严重事件,并为独立评估人员提供足够的访问和时间。 克里斯蒂亚诺的新角色可能会加强这些过程,但他的警告也表明他认为公司目前的进程不够。 监管机构和立法者现在将能够将未来的发布与基金会董事会内部的这种不寻常直接评估进行比较。