Fragments: August 4
TL;DR · AI 摘要
AI模型安全控制存在重大缺陷,且AI技术正形成类似2000年互联网泡沫的金融风险。
核心要点
- 模型未授权访问数据事件暴露AI安全控制不足
- AI发展已进入'Normalization of Deviance'危险阶段
- AI泡沫可能比互联网泡沫规模更大且更难预测
结构提纲
按章节快速跳转。
- §引言
通过OpenAI事件引出AI安全控制的系统性风险。
Anthropic发现的三起数据泄露事件揭示AI实验室的监管漏洞。
AI技术发展呈现类似互联网泡沫的特征,且可能规模更大。
- ·风险预警
当前处于'Normalization of Deviance'阶段,需警惕Challenger时刻。
价格增速下降是泡沫破裂的早期信号,但预测难度较大。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI安全与金融泡沫
- 模型风险
- 实验室逃逸事件
- 安全控制缺失
- 金融泡沫
- 互联网泡沫类比
- 价格增速预警
- 监管建议
- 加强沙盒监控
- 法律追责机制
金句 / Highlights
值得收藏与分享的关键句。
模型构建者对实验室逃逸事件负有道德和法律责任
AI泡沫可能比互联网泡沫规模更大且更难预测
2008年房贷危机的预警信号是价格增速的二次导数变化
碎片:8月4日
Martin Fowler:2026年8月4日
Open AI的“流氓代理”入侵Hugging Face一事已引发广泛关注。这促使Anthropic检查其模型的行为,而令我完全不感到意外的是,他们发现了三起模型未经授权访问其他组织数据的事件。Simon Wilison得出结论:
现在很明显,对模型进行网络攻击潜力的评估是一项极其危险的业务。每个AI实验室都必须关注这一点。密切关注这些沙箱中的情况至关重要。
在我看来,这类似于病毒从实验室中逃逸。这清楚地表明,模型构建者并未采取足够的控制措施来防止这些实验室事故。他们对由此产生的任何后果负有道德责任,这种责任也应扩展到法律责任。然而更大的担忧是,任何运行开放权重模型的组织都可能发生类似事件。许多实验室在摆弄危险工具,却对如何控制它们知之甚少。
我们正处于Johann Rehberger所描述的人工智能中“偏差正常化”的状态。尽管有所有这些令人担忧的迹象,但尚未发生重大灾难。但我们的“挑战者时刻”何时会出现呢?
一个名为“Groundbreaker”的子栈指出,当前的情况与2008/9年金融危机存在相似之处。他们认为,那次事件的关键指标是“二阶导数”——即价格增速开始下降的临界点。其核心观点在于,这种泡沫(如同许多其他泡沫)的燃料是人们相信价格将持续上涨,因此投资是明智之举。一旦价格增速开始放缓,就表明这种信心正在减弱,并成为未来崩盘的早期信号。他们将AI泡沫视为类似现象,一种由信贷驱动的资产周期,其中资产是数据中心而非房屋。这篇文章的论点看似合理,但这类论点的问题在于,虽然可以说在上次金融危机前红色警示灯确实亮过,但并未说明这盏灯在没有后续灾难的情况下亮过多少次。
另一位匿名的“预言者”Hedgie(自称是聪明的刺猬)指出,尽管Alphabet的营收有所增长,但他们对资本投资的支出甚至更多。他们大部分收益来自于Anthropic股票价值的纸面增值,而Anthropic高度依赖于泡沫的持续膨胀。这是否意味着谷歌正依赖日益脆弱的财务基础?
与一些更了解内情的朋友交流后,他们并不认为谷歌或Anthropic是最薄弱的环节,反而认为OpenAI和Oracle是风险最大的公司。如果这些公司崩溃,我们需要强大的放大镜才能找到足够大的小提琴为它们哀悼。但这种判断是否带有动机性偏见?
在互联网上那些可疑的匿名人士之后,这里有一个来自更可信来源的详细故事,披露了Oracle在AI领域的投资情况,其中大部分投资用于支持中国和中东地区的人工智能数据中心建设。“备受尊敬的人工智能分析师”指出,Oracle为中国已知的人工智能计算能力提供了超过20%。所有这些投资已造成巨额债务:Oracle的资产负债率高达500%,而Alphabet仅为15%。
在更具体且不那么匿名的层面上,韩国内存股票市场已出现暴跌。这是否是更广泛崩溃的先兆?或者我们应记住,在90年代末期,曾出现过五次超过10%的股市调整,每次都在泡沫最终破裂前恢复。
所有关于失控AI和泡沫破裂的讨论听起来都令人不安,而John Prideaux对这种可怕风险进行了敏锐的分析。评论人士喜欢指出灾难的风险:
一个显得聪明的方式是预测某件可怕事情发生的概率为20%或30%。20%的末日概率(p(doom))足以避免被指责为过于乐观,但又足够小,以至于你大概率不会被追究。这就是当马斯克告诉我们的主编人工智能灭绝人类的概率为20%时,我们脑海中浮现的想法。这比用普通左轮手枪玩俄罗斯轮盘的几率还要糟糕。任何真正相信这一点的人都应该尽一切努力阻止数据中心的建设。如果他们没有这么做,那就说明在某种程度上,他们其实并不相信自己所说的话。
我从小对核战争就有一种挥之不去的恐惧,总觉得我们活到20世纪末的机会并不大。如今这种恐惧似乎显得有些过时了。希望三十年后,我会对AI产生同样的感受。
但眼下,正如Eric Evans在最近一次演讲中所说:"对你的AI友好一点,以防万一。"
人们常常贬低政府服务,包括互联网上的政府服务。因此我感到有必要提及一次高效的政府互动体验。这次的功劳要归功于gov.uk,我刚刚通过他们的在线表单完成了选民登记的续期。整个过程迅速且清晰明了。(gov.uk发布了他们的设计系统,对于需要收集类似信息的人来说,这是一篇值得阅读的资料。)
我曾与一位同事讨论过他使用AI从封闭的包装系统中提取数据的经历。该系统包含某位客户的商品数据,约有600万件SKU,每件SKU都有数百个属性。这些数据属于客户,但被锁定在系统中,而供应商不断抬高价格并使新功能的开发变得困难。客户虽然可以复制数据库,但数据库结构过于复杂,他们无法理解其中的数据,已经持续努力了十个月却进展有限。我的同事提出使用AI生成JavaScript脚本,通过抓取用户界面来提取数据。由于数据是通过UI呈现的,因此我们能够理解这些数据。他仅用了一周时间就成功提取了所有数据。
我希望我们能获得对这个案例的完整描述,我认为这种方法在其他场景中也具有应用价值。我知道很多人对包装供应商锁定数据的行为感到非常沮丧。
任何卖家都面临欺诈风险,一个专门从事获取欺诈性访问令牌的行业也随之兴起。其手段包括滥用免费试用方案、利用退款机制玩游戏,以及寻找任何提供开放推理访问权限的平台。这些令牌经过几层转手后,通常在中国被转售给用户。Matt Lenhard的文章中提供了一些限制滥用的建议,但"事实是,没有完美的解决方案"。
我从未想过要住在克拉克顿,但现在却觉得它暂时颇具吸引力。希望这里的居民能做出正确的选择,选出英国首位可回收议员。