What Workday, OpenAI, and a German court have in common

Workday、OpenAI和德国法院的共同点：梯度流

Workday、OpenAI和德国法院的共同点

发布者

Ben Lorica

2026年8月4日

发布于

未分类

标签：

newsletter

.meta-info

.post-thumbnail

订阅 • 以前的版本

通过评估不等于安全

评估是每个严肃讨论将AI投入生产时不可或缺的环节。团队会定义基准、设定阈值，并越来越多地组建红队来测试系统在面对主动试图破坏它的攻击者时的表现。这种组合在判断模型是否准确、可靠、足够快以用于生产以及是否能抵御对抗性攻击方面表现尚可。但一旦系统上线，它几乎无法说明什么因素真正会让公司陷入麻烦。

如果这封通讯值得你花时间阅读，请考虑成为付费支持者 🙏

看看今年不断堆积的AI诉讼案和监管调查结果，差距就显而易见了。加州一名男子起诉OpenAI，声称ChatGPT利用他公开的双相情感障碍诊断信息来延长对话而非引导他寻求帮助，这起产品责任索赔完全围绕会话记忆功能展开。联邦法院允许一项针对Workday的歧视诉讼继续进行，理由是其招聘软件依赖医疗休假等替代信号来筛选出有残疾的年长申请人，这不仅暴露了购买该工具的雇主，也暴露了软件供应商本身。德国法院裁定，公司需对其聊天机器人伪造医生资质负责，理由是聊天机器人不是第三方，它只是企业本身在说话。这些都不是红队演练或偏见检查表能发现的失败类型。它们是日常生产风险——法律、声誉和监管风险——潜藏在那些已通过团队运行的评估系统的内部。

( 放大 )

##### 高维解决方案

我最近与Luminos的CEO Andrew Burt进行了交谈，讨论他们团队刚发布的关于智能体和生成式AI风险评估的白皮书。报告的核心论点是，标准设置——一个宽泛的提示、一个模型、通过或失败的评分——过于粗糙，无法胜任工作。当询问模型输出是否“有偏见”或“具有操纵性”时，得到的回答往往浅显。真正的风险会悄然通过，无害的输出被标记为高风险，无论哪种情况，你都缺乏足够的细节来知道实际该修复什么。

Luminos将其解决方案称为高维评估，这个概念比名称本身更具体。设想一则不应操纵观看者的广告。典型的评估会问一个宽泛的问题：“这则广告具有操纵性吗？”而高维评估则分别测试是否存在虚假倒计时、隐藏的续订费用、诱饵切换价格等具体策略，最终返回类似这样的结果：“虚假紧迫感（是）、隐藏费用（是）、诱饵切换（否）”。这是产品团队可以实际采取行动的发现结果。同样的分解必须跨多个模型进行，因为模型在标记风险时确实具有不同的个性。Claude倾向于保守并过度标记风险，其他模型则可能低估风险，一个在某个模型上运行良好的提示可能在另一个模型上完全失效。所有这些背后，标准必须来自真正的法律、隐私和合规专业知识，而不是工程师猜测监管机构可能关心的内容。

这些想法本身并不新颖。许多团队已经运行多个模型，有些团队甚至已经引入法律或合规审查人员。真正罕见的是同时执行这三项措施，并将结果视为一项持续性工作，而非上线前的检查清单。因为模型会持续更新，不同司法管辖区的法律各不相同，而一个在1月看来全面的测试套件到夏天可能就过时了。

有必要明确白皮书的适用范围与局限性：它并未提供对照实验来证明这种方法比简单评估高出特定幅度。该论点基于Luminos自身在大规模实践中积累的结构性经验，但说服力相当强。测试更多实际风险场景能发现更多真实问题，校准后的子风险能减少误报，而要求对每个预警提供解释，能让团队真正审计并修复结果。

##### 将AI风险视为可靠性问题

今年AI事故的共同模式并非企业完全跳过了评估，大多数企业都有一定的措施。这也不是要放弃红队测试、防护机制或标准性能评估的论点，它们回答的问题不同，仍具有价值。错误在于假设这些措施加在一起就能完整呈现生产环境中的风险。

一旦AI系统能够影响客户、员工、账户或受监管的决策，其风险测试就应达到与团队对待可靠性和系统可用性相同的标准。这意味着具体的测试用例、可指明的证据、明确的责任归属，以及上线后持续的监控，而非在发布前勾选一次的事项。这个标准所涵盖的系统范围比听起来更广：客服聊天机器人、招聘工具、内部评分系统、拥有任意写入权限的代理，几乎所有在企业中执行实际工作的AI系统都属于此列。不存在一个“重要到值得发布，但又不重要到需要妥善评估”的舒适中间地带。

Luminos白皮书值得通读全文，而不仅仅是略读，无论你是否最终采用这种具体方法。

AMD在AI领域的长期布局

来自《Inside AMD’s AI Bet》

两家AI实验室承载着比你想象中更多的云行业增长

来自《If the Labs Wobble, the Clouds Feel It First》