菲尔兹奖得主Tsimerman创立数学AI安全研究所,计划 2027 年 1 月启动
MAISI计划招募 10 至 30 名数学家,用数学证明的方式论证AI安全性,类似密码学证明加密方案不可破解;Tsimerman同时加入OpenAI安全团队。
AI解读:Tsimerman拿完菲尔兹奖就转身去研究AI安全了,而且不是写报告、发指南那种做法。他想让数学家用证明加密方案不可破解的方式来证明AI安全——加密方案可以证明“没有攻击能破解”,但AI没有这种捷径,安全性只在实践中才看得出来。
这件事真正的痛点是:AI安全至今连“安全”的清晰定义都没有,理论上也没有。MAISI想补的就是这个底层缺口,目标是证明系统能负责任地行动、给出正确结果,多个AI智能体协同时不会触发意外后果,并且能扛住尚无人发现的漏洞。
对AI实验室来说,一个可能用得上的工具是零知识证明:系统可以证明自己没有作弊,同时不必公开实验室的商业机密。但要注意,这些目标目前只是研究所公开的计划,还没有可验证的成果,具体怎么落地要等 2027 年 1 月启动后才有答案。
谁受影响最大?前沿AI实验室和做安全评估的人。如果这套证明路径可行,它可能给安全论证提供比“跑一堆测试”更硬的依据;但数学证明能覆盖的往往是形式化后的系统属性,不等于真实部署中的全部行为,这也是它最大的边界。
加拿大数学家、新晋菲尔兹奖得主Jacob Tsimerman宣布创立数学AI安全研究所(Mathematical A.I. Safety Institute,MAISI)。据《纽约时报》报道,这家位于旧金山湾区的独立研究机构计划于 2027 年 1 月启动,届时将有 10 至 30 名数学家着手处理AI安全问题。
Tsimerman同时加入OpenAI的安全团队。他表示,这个领域需要“比目前所得到的标准高得多得多的安全标准”。
MAISI的思路借鉴密码学:对于一套加密方案,可以证明它不可破解,而无需尝试每一种可能的攻击方式。AI没有这样的捷径,安全性只在实践中才显现出来。MAISI指出,目前连“安全”的清晰定义都没有,理论上也没有。
该研究所希望实现的正是这类证明:证明一个系统负责任地行动并产生正确结果;证明多个AI智能体协同工作时不会触发不想要的后果;证明系统能够抵御尚无人发现的漏洞。
一个可能使用的工具是零知识证明,它允许系统证明自己没有作弊,同时不暴露AI实验室的商业机密。