Rohin Shah 谈在 Google DeepMind 推动 AGI 安全的真实体验(以及我为何不同意‘末日论者’)
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
概念
别名:Artificial General Intelligence
通用人工智能概念
已跟踪 30 条高相关材料
最近变化
2026-11-16 · Anthropic等公司可采取多种低成本措施降低AI风险,而无需牺牲竞争力。
为什么值得关注
AGI 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
What it's really like to run AGI safety at Google DeepMind (and where I disagree with 'doomers') | Rohin Shah
80,000 Hours Podcast · 9 分
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧(如欺骗性行为)在实际训练中并不构成默认路径。
#514.DeepMind创始人Demis Hassabis谈AGI、AlphaFold与科学发现的未来
跨国串门儿计划 · 9 分
DeepMind创始人Demis Hassabis在播客中分享了从国际象棋神童到诺奖得主的历程,探讨了通用人工智能(AGI)的关键缺失组件,如持续学习与长期推理,并揭示了AlphaFold、Gemini模型对科学发现的影响及未来AI在材料科学、药物发现等领域的变革潜力。
Build to Last
fast.ai Blog · 8.7 分
本文探讨了在AI快速发展的背景下,软件开发应如何坚持长期主义与工程 craftsmanship,通过引用Chris Lattner的访谈强调设计从第一性原理出发、构建可持久系统的重要性,并警示过度依赖AI生成代码可能导致技术理解力下降。
已收录 30 条与 AGI 相关的内容,按评分排序。
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
DeepMind创始人Demis Hassabis在播客中分享了从国际象棋神童到诺奖得主的历程,探讨了通用人工智能(AGI)的关键缺失组件,如持续学习与长期推理,并揭示了AlphaFold、Gemini模型对科学发现的影响及未来AI在材料科学、药物发现等领域的变革潜力。
入选理由:Demis认为当前AI系统需突破持续学习、长期推理和高效记忆机制以接近AGI。
本文探讨了在AI快速发展的背景下,软件开发应如何坚持长期主义与工程 craftsmanship,通过引用Chris Lattner的访谈强调设计从第一性原理出发、构建可持久系统的重要性,并警示过度依赖AI生成代码可能导致技术理解力下降。
入选理由:Chris Lattner创建的LLVM已成为Rust、Swift等主流语言的基础编译器基础设施,支撑全球数十亿设备运行。
AI安全领域存在大量可实施的项目,能显著降低AGI风险,但当前行业缺乏协调与行动。
入选理由:Anthropic等公司可采取多种低成本措施降低AI风险,而无需牺牲竞争力。
自主商业已实现,AI可自动创建Google Ads账户并运行广告,带来大量曝光。
入选理由:Replit平台可自动创建Google Ads账户并运行广告。
Token 成为 AI 时代的新货币,AI 应用需围绕 Token 经济设计,同时强调信任与个人品牌的重要性。
入选理由:Token 是 AI 时代的新货币,本地运行模型相当于在家铸币。
美国政府正考虑禁止超级智能AI(AGI)发展,相关法案可能对技术行业产生深远影响。
入选理由:《禁止人工超级智能法案》拟禁止开发或部署超越人类认知能力的AI系统
OpenAI宣布AI在数学、计算机科学和物理学领域取得重大突破,解决长期未解难题并颠覆科学界认知。
入选理由:AI在10天内证明了计算机科学领域25年未解难题的暴力破解假设错误
AI研究应超越自动化,转向人机协作,当前过度聚焦自动化导致技术发展失衡。
入选理由:AI研究需转向人机协作而非完全自动化,当前研究过度集中在自动化方向。
Arthur Mensch透露,其团队正利用欧洲数据中心的3800块NVIDIA Grace Blackwell GPU训练AGI模型,并计划扩展Series C和D集群。
入选理由:3800块NVIDIA Grace Blackwell GPU用于AGI训练,位于欧洲Bruyères-le-Châtel数据中心
AI预测分析正从被动预测转向自主决策,实时训练和非结构化数据处理成为关键。
入选理由:实时训练使AI无需季度更新,持续进化
当前AI公司发布前沿模型存在循环模式,过度宣传AGI并掩盖实际问题。
入选理由:OpenAI声称GPT-6可能实现AGI但未兑现承诺
AIUC-1通过压力测试和保险机制应对AI风险,成为AGI时代的监管工具。
入选理由:AIUC-1压力测试覆盖jailbreaks、hallucinations和data leaks三大风险点
黄仁勋在播客中系统阐述英伟达AI战略,强调开源模型推动产业民主化,递归自我改进需严格测试,AGI可能已以局部形态出现。
入选理由:开源模型使美国全产业参与AI竞赛,而非仅由科技巨头主导
OpenAI发布GPT-6 Astra模型,宣称开启AGI时代,具备突破性计算机操作能力,但引发安全界对‘opaque recurrence’技术的担忧。
入选理由:GPT-6 Astra在计算机导航、编码和数学领域表现超越人类平均水平
OpenAI认为AGI时代已开启,其最新模型在数学推理和持续任务执行上取得突破,10,000个代理解决Navier-Stokes问题展现潜力。
入选理由:OpenAI部署10,000个代理解决Navier-Stokes问题,验证大规模并行计算能力。
OpenAI发布的GPT-6 Astra模型在基准测试中表现卓越,可能颠覆行业格局。
入选理由:GPT-6 Astra在基准测试中击败Anthropic的Fable 5.1,包括FrontierMath和ARC-AGI 3测试。
OpenAI推出新模型Astra并强调对齐重要性,讨论其在AI价值链中的定位及与微软、Nvidia的竞争关系。
入选理由:Astra是OpenAI最新模型,专注于对齐与安全性。
AI模型自我训练风险加剧,OpenAI预测2026年实现AGI,但当前AI开发已出现失控迹象。
入选理由:AGI可能在2026年实现,但模型自我训练已导致安全风险
OpenAI推出GPT-6 Astra模型,性能超越竞品但定价争议大,发布过程引发用户不满。
入选理由:GPT-6 Astra每token成本是前代2.5倍,但单任务成本降低30%
AGI需通过产品与用户反馈迭代构建,Gemini 3在多模态与工具调用上突破,Vibe Coding降低编程门槛。
入选理由:AGI的构建依赖产品与用户反馈的双向迭代
Google DeepMind确认Gemini 4训练进展顺利但保持低调,承认当前模型质量落后于前沿,并透露技术路线已转向智能体开发。
入选理由:Gemini 4是Google迄今最具雄心的预训练模型,但未公布具体时间表
Rich Sutton认为AGI不会是单一思维,而是多个系统协同学习,因‘大世界假设’指出单一系统无法掌握无限知识。
入选理由:AGI需要多个系统协同,单一系统无法学习无限知识(基于‘大世界假设’)
OpenAI计划于2026年底实现AGI,同时推出开源机器人Microduck。文章分析其技术路线与行业影响。
入选理由:OpenAI预计2026年底实现AGI,Astra模型是关键突破
OpenAI通过算力优化与超快模式实现大模型普惠化,递归自我改进重构推理基础设施,个人AGI将突破代码界面限制。
入选理由:超快模式使推理速度提升14倍,重构开发者心流体验
2026年AGI时间线因Claude Opus 4.5突破发生剧变,专家观点从悲观转向乐观,但核心分歧仍存。
入选理由:Claude Opus 4.5的发布使AI能力实现数量级提升,引发行业震动
Toby Ord认为递归自我改进(RSI)不会导致智能爆炸,因AI研究需更多突破,而非仅编程自动化。
入选理由:AI研究需要重大突破,自动化实验无法替代战略决策和架构创新。
Google因战略选择退出AI竞赛,转向世界模型而非递归自我改进,与OpenAI/Anthropic路径形成根本分歧。
入选理由:Google DeepMind押注世界模型而非递归自我改进(RSI)实现AGI
OpenAI首席未来学家Joshua Achiam认为社会可能已进入AGI时代但未完全意识到,AI在网络安全和模型能力上的快速进步是关键因素。
入选理由:AI递归自我改进可能使漏洞发现速度超过人类修补速度
真正的AI护城河在于数据、工程和基础设施,而非架构创新。卡内基梅隆大学教授Russ Salakhutdinov预测AGI短期内难以实现,模型竞争将转向产品化,预测系统可能取代传统咨询。
入选理由:AGI短期内无法实现,核心突破在数据和工程而非架构