Could On-Policy Self-Distillation Revolutionize Post-Training?
On-Policy Self-Distillation(OPSD)通过知识蒸馏解决持续学习中的灾难性遗忘问题,SDFT框架在实验中展现显著效果。
入选理由:SDFT框架通过历史策略生成数据缓解灾难性遗忘,准确率提升15%
概念
别名:Catastrophic Forgetting
模型在新任务训练后旧任务性能下降现象
已跟踪 2 条高相关材料
最近变化
2026-10-22 · SDFT框架通过历史策略生成数据缓解灾难性遗忘,准确率提升15%
为什么值得关注
灾难性遗忘 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Could On-Policy Self-Distillation Revolutionize Post-Training?
Towards Data Science · 8.5 分
On-Policy Self-Distillation(OPSD)通过知识蒸馏解决持续学习中的灾难性遗忘问题,SDFT框架在实验中展现显著效果。
The art and science of hyperparameter optimization on Amazon Nova Forge
AWS Machine Learning Blog · 8.5 分
Amazon Nova Forge 提供了在领域特定模型上进行超参数优化的策略与科学方法,通过数据混合和检查点选择解决灾难性遗忘问题,并推荐使用服务默认学习率以避免训练不稳定。
已收录 2 条与 灾难性遗忘 相关的内容,按评分排序。
On-Policy Self-Distillation(OPSD)通过知识蒸馏解决持续学习中的灾难性遗忘问题,SDFT框架在实验中展现显著效果。
入选理由:SDFT框架通过历史策略生成数据缓解灾难性遗忘,准确率提升15%
Amazon Nova Forge 提供了在领域特定模型上进行超参数优化的策略与科学方法,通过数据混合和检查点选择解决灾难性遗忘问题,并推荐使用服务默认学习率以避免训练不稳定。
入选理由:数据混合和检查点选择是防止灾难性遗忘的关键机制。