Marc Andreessen 🇺🇸(@pmarca)
开源大模型还能追上闭源吗？Casado三连问引发Andreesen共鸣
4.2Score
TL;DR · AI 摘要
开源大模型面临预训练未饱和、单次训练成本20–40亿美元、蒸馏路径被闭源封锁三重困境，Andreessen以‘Fight!’回应支持。
核心要点
- 当前一代大模型单次预训练成本高达20–40亿美元，开源社区难以承担。
- 闭源模型逐步关闭API与推理日志权限，使知识蒸馏技术路径失效。
- Martin Casado指出：若预训练未达饱和，开源模型将持续落后于闭源前沿。
结构提纲
按章节快速跳转。
Martin Casado质疑开源大模型在高成本、闭源封锁与预训练未饱和三重压力下能否持续追赶闭源模型。
预训练未饱和意味着模型性能仍有巨大提升空间，而单次训练需20–40亿美元，且闭源模型拒绝提供蒸馏所需接口。
Andreessen以'Fight! 🦾'转发该帖，表明其对开源AI面临结构性挑战的认同与战斗姿态。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 开源大模型可持续性危机
- 经济壁垒
- 单次训练成本：$2–4B
- 开源项目平均预算 < $10M
- 技术路径阻断
- 预训练未饱和 → 性能仍有跃升空间
- 闭源模型拒供蒸馏接口 → 蒸馏失效
- 关键人物观点
- Martin Casado：提出三重质疑
- Marc Andreessen：以'Fight!'表态支持
金句 / Highlights
值得收藏与分享的关键句。
有人能解释一下：如果预训练尚未饱和、单次训练耗资20–40亿美元、且因顶级模型闭源导致蒸馏越来越难——开源模型如何跟上？
单次训练成本达20–40亿美元，远超多数开源组织年度预算总和，形成事实上的‘算力垄断’。
知识蒸馏依赖访问强模型输出，但主流闭源厂商已逐步关闭API微调/推理日志权限，使蒸馏技术路径失效。
#大模型#开源AI#训练成本#知识蒸馏
打开原文Marc Andreessen 
](https://x.com/pmarca)
x.com/lugaricano/sta Fight! 
Quote
martin_casado
@martin_casado
5h
Can someone explain to me how open source models can keep up if ... - pre-training isn't saturated - it costs $2-4B to train a current gen model - distillation is increasingly hard as access to the most powerful models gets blocked .. ?