Rohin Shah 谈在 Google DeepMind 推动 AGI 安全的真实体验(以及我为何不同意‘末日论者’)
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
人物
AI 安全研究者,提出权力追求型 AI 构成存在性风险的观点。
已跟踪 2 条高相关材料
最近变化
2026-06-02 · Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
为什么值得关注
Joe Carlsmith 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
What it's really like to run AGI safety at Google DeepMind (and where I disagree with 'doomers') | Rohin Shah
80,000 Hours Podcast · 9 分
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧(如欺骗性行为)在实际训练中并不构成默认路径。
Claude's Constitution is now an audiobook, read by two of its authors, Amanda Askell and Joe Carlsmi...
Anthropic(@AnthropicAI) · 4.5 分
Anthropic 发布了 Claude 的宪法有声书,由两位作者朗读,包含写作过程、哲学背景和模型能力提升后的变化。
已收录 2 条与 Joe Carlsmith 相关的内容,按评分排序。
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
Anthropic 发布了 Claude 的宪法有声书,由两位作者朗读,包含写作过程、哲学背景和模型能力变化。
入选理由:Claude 宪法有声书由两位作者朗读