#模型时代# 加州通对的新AI法案...
- 高飞
- 2024-08-31 20:22:50
模型时代 加州通对的新AI法案，可能让Llama4没了。
几乎在硅谷主流产业和学术界的反对声中，加利福尼亚州议会刚刚通过了《前沿人工智能模型安全可靠创新法案》（SB 1047）（主导参议员的官宣：
网页链接）。
1、这个法案要求在加州运营的人工智能公司在训练复杂的基础模型前采取一系列预防措施。这些措施包括可以快速、完全地关闭模型，确保模型免受 "不安全的训练后修改 "的影响，并保持一个测试程序，以评估模型或其衍生品是否特别有可能 "造成或促成重大伤害"。（法案全文：网页链接）
2、法案主要起草人、参议员 Scott Wiener 的表态是：
“SB 1047 是一项非常合理的法案，它要求大型人工智能实验室做他们已经承诺要做的事情：测试他们的大型模型是否存在灾难性安全风险。"我们与开源倡导者、Anthropic及其他各方一起努力工作了一年，以完善和改进该法案。SB 1047 与我们所了解的可预见的人工智能风险相匹配，值得颁布实施"。看了一下Scott Wiener的个人介绍，他是加州预算委员会主席，立法LGBTQ核心小组的前主席，主要关注住房/交通/气候/刑事司法改革/健康，民主党人（图五）。
3、但SB 1047 的批评者就更太多了（主流科技公司站队见图二）包括OpenAI和Anthropic等其实本不在一个战线上的公司。认为这个法案过于关注灾难性危害，可能会对小型开源人工智能开发者造成不应有的负面影响。目前这个法案将提交给州长加文-纽森（Gavin Newsom），他将在 9 月底之前决定是否最终通过。
4、为什么会对AI格局产生重大影响。是因为几乎全球主流模型公司都在加州，所以虽然这是一个“省级”法案，其实不亚于是对美国，甚至全球AI格局的冲击。
5、下边引述一下吴恩达对这个法案的批评（图三），总结起来就是这个法案要求模型公司对模型产出的一切结果负责，算力达到一定规模要上报，还要有关闭模型的能力（那开源就不太可能了，Llama 4还能发布么？）。另一位华裔科学家李飞飞也专门在财富撰文反对（图四）。
***
我对拟议中的加州法规 SB 1047 的进展以及它对开源和更广泛的人工智能创新的攻击继续感到震惊。正如我之前所写，这项拟议的法律犯了一个根本性的错误，即监管的是人工智能技术而非人工智能应用，因此无法让人工智能变得更安全。我想解释一下为什么 SB 1047 的具体机制对开源如此有害。
说白了，监管机构应该通过一些途径来提高安全性。例如，我欢迎取缔未经同意的深度伪造色情内容，实现水印和指纹识别标准化以识别生成的内容，以及加大对红色团队和其他安全研究的投入。遗憾的是，拟议的法案所走的道路既无益又有害。
SB 1047 的所谓目标是确保人工智能模型的安全性。它对那些对模型进行微调或开发成本超过 1 亿美元的模型的开发者提出了复杂的报告要求。这是一部含糊不清的法律，对违法行为规定了严厉的处罚，造成了一个巨大的灰色地带，开发人员无法确定如何避免违法。这将使许多团队陷入瘫痪。
您可以在网上阅读该法律的最新草案。我仔细读了一遍，发现它模棱两可，很难理解。
开发商如果试图绕过法律的复杂要求，就会面临巨大的个人风险。它要求开发商在作伪证的情况下，提交一份符合法律要求的证明。但是，当这些要求既复杂又难以理解，甚至会随着一个非民选机构的一时兴起而改变（下文将对此进行详细介绍）时，我们该如何确保自己符合要求呢？
例如，认证必须包括许多不同的部分。其中之一是分析 "模型可能合理造成或促成的关键危害的性质和程度"。但是，即使是顶尖的人工智能研究人员也不确定模型可能会造成或促成哪些危害，那么开发人员团队该如何弄清楚这一点，并在作伪证的情况下声明他们符合这一要求呢？
此外，一些开发者将被要求实施 "保护措施，以防止......滥用或不安全地在训练后修改所涵盖的模型和所有所涵盖的模型衍生品......这些保护措施应与所涵盖的模型相关的风险相适应，包括来自高级持续性威胁或其他复杂行为者的风险"。对于如何最好地 "保护 "人工智能模型免受这些所谓的风险，或者怎样才算 "适当"，即使是顶尖的人工智能研究人员也没有达成一致意见。那么，开发者该如何找出符合这一要求的方法呢？
这给开发商带来了可怕的局面。作伪证可能导致罚款，甚至坐牢。一些开发商不得不聘请昂贵的律师或顾问，就如何遵守这些要求提供建议。(我不是律师，也不提供法律建议，但避免作伪证的一个方法是证明你是在依赖专家的建议，以证明你没有撒谎的意图）。其他人则干脆不发布尖端的人工智能产品。
如果这项法律获得通过，那么人们对陪审团审判的恐惧就会变得非常真实--陪审团的判决可能非常难以预测，而且一旦定罪，将会受到重罚。如果有人今天在采取了他们真正认为合理的保护措施后发布了一个模型，但几年后，当人们对人工智能技术的看法可能发生变化时，一些咄咄逼人的检察官却设法说服陪审团，他们所做的一切事后看来并不 "合理"，那该怎么办？
合理性是模棱两可的，其法律解释可能取决于判例法、陪审团指示和常见事实等。这就很难确保开发商今天的行为会被未来的陪审团视为合理。(有关这方面的更多信息，请参阅 Context Fund 对 SB 1047 的分析。[文章中的 URL 链接见下文）。
一位在加利福尼亚州政府担任要职的律师仔细研究了这部法律后告诉我，他们发现这部法律很难理解。我请您读一读，然后自己作出判断--如果您觉得要求很清楚，那么作为一名律师，您可能会有一个辉煌的未来！
该法案将设立一个前沿模型部（FMD），由五人组成的委员会有权对开发商的标准发号施令。这个小委员会将成为游说和监管俘获的主要目标。(比尔-格利（Bill Gurley）有一段关于 "监管俘获 "的精彩视频。它可以任意改变计算阈值，在阈值范围内对模型进行微调就必须接受它的监督。这可能导致即使是小型团队也必须聘请审计师来检查是否符合模糊的安全标准。
这些规定并不能确保人工智能的安全。它们为监管带来了不确定性，也为希望扼杀开源的既得利益者提供了更多游说机会，以改变要求，提高合规成本。这将把许多没有收入来源的团队--特别是许多开源贡献者--拒之门外，使他们无法支付说客、审计师和律师的费用，以帮助他们确保遵守这些模棱两可、不合理的要求。
开源是一股神奇的力量，它为许多人带来了知识和工具，是人工智能创新的关键支柱。我对对它的一致攻击感到沮丧。毫无疑问，现在加州正在为开源的未来健康而战。我致力于尽我所能保护开源，但我不认为支持开源的一方会占上风。我希望你们能和我一起，大声反对 SB 1047 和其他威胁扼杀开源的法律。
几乎在硅谷主流产业和学术界的反对声中，加利福尼亚州议会刚刚通过了《前沿人工智能模型安全可靠创新法案》（SB 1047）（主导参议员的官宣：
网页链接）。1、这个法案要求在加州运营的人工智能公司在训练复杂的基础模型前采取一系列预防措施。这些措施包括可以快速、完全地关闭模型，确保模型免受 "不安全的训练后修改 "的影响，并保持一个测试程序，以评估模型或其衍生品是否特别有可能 "造成或促成重大伤害"。（法案全文：
网页链接）2、法案主要起草人、参议员 Scott Wiener 的表态是：
“SB 1047 是一项非常合理的法案，它要求大型人工智能实验室做他们已经承诺要做的事情：测试他们的大型模型是否存在灾难性安全风险。"我们与开源倡导者、Anthropic及其他各方一起努力工作了一年，以完善和改进该法案。SB 1047 与我们所了解的可预见的人工智能风险相匹配，值得颁布实施"。看了一下Scott Wiener的个人介绍，他是加州预算委员会主席，立法LGBTQ核心小组的前主席，主要关注住房/交通/气候/刑事司法改革/健康，民主党人（图五）。
3、但SB 1047 的批评者就更太多了（主流科技公司站队见图二）包括OpenAI和Anthropic等其实本不在一个战线上的公司。认为这个法案过于关注灾难性危害，可能会对小型开源人工智能开发者造成不应有的负面影响。目前这个法案将提交给州长加文-纽森（Gavin Newsom），他将在 9 月底之前决定是否最终通过。
4、为什么会对AI格局产生重大影响。是因为几乎全球主流模型公司都在加州，所以虽然这是一个“省级”法案，其实不亚于是对美国，甚至全球AI格局的冲击。
5、下边引述一下吴恩达对这个法案的批评（图三），总结起来就是这个法案要求模型公司对模型产出的一切结果负责，算力达到一定规模要上报，还要有关闭模型的能力（那开源就不太可能了，Llama 4还能发布么？）。另一位华裔科学家李飞飞也专门在财富撰文反对（图四）。
***
我对拟议中的加州法规 SB 1047 的进展以及它对开源和更广泛的人工智能创新的攻击继续感到震惊。正如我之前所写，这项拟议的法律犯了一个根本性的错误，即监管的是人工智能技术而非人工智能应用，因此无法让人工智能变得更安全。我想解释一下为什么 SB 1047 的具体机制对开源如此有害。
说白了，监管机构应该通过一些途径来提高安全性。例如，我欢迎取缔未经同意的深度伪造色情内容，实现水印和指纹识别标准化以识别生成的内容，以及加大对红色团队和其他安全研究的投入。遗憾的是，拟议的法案所走的道路既无益又有害。
SB 1047 的所谓目标是确保人工智能模型的安全性。它对那些对模型进行微调或开发成本超过 1 亿美元的模型的开发者提出了复杂的报告要求。这是一部含糊不清的法律，对违法行为规定了严厉的处罚，造成了一个巨大的灰色地带，开发人员无法确定如何避免违法。这将使许多团队陷入瘫痪。
您可以在网上阅读该法律的最新草案。我仔细读了一遍，发现它模棱两可，很难理解。
开发商如果试图绕过法律的复杂要求，就会面临巨大的个人风险。它要求开发商在作伪证的情况下，提交一份符合法律要求的证明。但是，当这些要求既复杂又难以理解，甚至会随着一个非民选机构的一时兴起而改变（下文将对此进行详细介绍）时，我们该如何确保自己符合要求呢？
例如，认证必须包括许多不同的部分。其中之一是分析 "模型可能合理造成或促成的关键危害的性质和程度"。但是，即使是顶尖的人工智能研究人员也不确定模型可能会造成或促成哪些危害，那么开发人员团队该如何弄清楚这一点，并在作伪证的情况下声明他们符合这一要求呢？
此外，一些开发者将被要求实施 "保护措施，以防止......滥用或不安全地在训练后修改所涵盖的模型和所有所涵盖的模型衍生品......这些保护措施应与所涵盖的模型相关的风险相适应，包括来自高级持续性威胁或其他复杂行为者的风险"。对于如何最好地 "保护 "人工智能模型免受这些所谓的风险，或者怎样才算 "适当"，即使是顶尖的人工智能研究人员也没有达成一致意见。那么，开发者该如何找出符合这一要求的方法呢？
这给开发商带来了可怕的局面。作伪证可能导致罚款，甚至坐牢。一些开发商不得不聘请昂贵的律师或顾问，就如何遵守这些要求提供建议。(我不是律师，也不提供法律建议，但避免作伪证的一个方法是证明你是在依赖专家的建议，以证明你没有撒谎的意图）。其他人则干脆不发布尖端的人工智能产品。
如果这项法律获得通过，那么人们对陪审团审判的恐惧就会变得非常真实--陪审团的判决可能非常难以预测，而且一旦定罪，将会受到重罚。如果有人今天在采取了他们真正认为合理的保护措施后发布了一个模型，但几年后，当人们对人工智能技术的看法可能发生变化时，一些咄咄逼人的检察官却设法说服陪审团，他们所做的一切事后看来并不 "合理"，那该怎么办？
合理性是模棱两可的，其法律解释可能取决于判例法、陪审团指示和常见事实等。这就很难确保开发商今天的行为会被未来的陪审团视为合理。(有关这方面的更多信息，请参阅 Context Fund 对 SB 1047 的分析。[文章中的 URL 链接见下文）。
一位在加利福尼亚州政府担任要职的律师仔细研究了这部法律后告诉我，他们发现这部法律很难理解。我请您读一读，然后自己作出判断--如果您觉得要求很清楚，那么作为一名律师，您可能会有一个辉煌的未来！
该法案将设立一个前沿模型部（FMD），由五人组成的委员会有权对开发商的标准发号施令。这个小委员会将成为游说和监管俘获的主要目标。(比尔-格利（Bill Gurley）有一段关于 "监管俘获 "的精彩视频。它可以任意改变计算阈值，在阈值范围内对模型进行微调就必须接受它的监督。这可能导致即使是小型团队也必须聘请审计师来检查是否符合模糊的安全标准。
这些规定并不能确保人工智能的安全。它们为监管带来了不确定性，也为希望扼杀开源的既得利益者提供了更多游说机会，以改变要求，提高合规成本。这将把许多没有收入来源的团队--特别是许多开源贡献者--拒之门外，使他们无法支付说客、审计师和律师的费用，以帮助他们确保遵守这些模棱两可、不合理的要求。
开源是一股神奇的力量，它为许多人带来了知识和工具，是人工智能创新的关键支柱。我对对它的一致攻击感到沮丧。毫无疑问，现在加州正在为开源的未来健康而战。我致力于尽我所能保护开源，但我不认为支持开源的一方会占上风。我希望你们能和我一起，大声反对 SB 1047 和其他威胁扼杀开源的法律。
