OpenAI呼吁就AI自我改进制定国际标准
OpenAI提出，递归自我改进目前尚未实现，但应在安全前提下推进，并建议由美国主导全球测量标准、事件报告和人工监督规则。
AI解读：OpenAI这次谈的不是某个新模型，而是AI自己改进AI这件事。它把递归自我改进定义为AI系统越来越多地自动完成构建下一代AI所需的研究，并明确表示完全自主的递归自我改进今天还没有发生。
它给出的现实风险是：如果保护措施不成熟，人类可能跟不上AI的发展节奏，AI可能变得更危险、更难对齐。因此OpenAI主张，这类能力只应在能够安全完成的前提下推进，并呼吁建立国际标准。
具体方向上，OpenAI建议美国牵头全球技术标准，依托各国AI安全研究所以及CAISI、ISO等组织，推动共享测量方法、事件报告和针对自动化AI研究的人工监督规则。这一主张与近期联合国科学小组的警告方向相近，后者也提到自主智能体集群失控风险，并建议借鉴航空、核能和网络安全框架开展国际AI安全合作。
OpenAI呼吁就先进AI开发制定国际标准，重点针对递归自我改进（RSI）。按照OpenAI的说法，递归自我改进意味着AI系统越来越多地自动完成构建下一代AI所需的研究，可能大幅加速进展。
OpenAI表示，完全自主的递归自我改进今天还没有发生，这类能力只应在能够安全完成的前提下推进。
OpenAI警告，如果保护措施不成熟，人类可能失去对AI发展的掌控，AI可能变得更危险、更难对齐，总体上对人类构成危险。
OpenAI建议由美国牵头全球技术标准，依托各国AI安全研究所以及CAISI、ISO等组织。这包括共享测量方法、事件报告，以及针对自动化AI研究的人工监督规则。
联合国一个科学小组近期提出了类似担忧，警告自主智能体集群可能失控，并建议参照航空、核能和网络安全框架开展国际AI安全合作。