字节开源统一框架Bernini:给DiT配个“大模型军师”,AI视频编辑先理解再动手
字节跳动开源统一视频生成与编辑框架Bernini,通过多模态大模型(MLLM)先理解语义指令并规划,再由DiT扩散模型执行高质量渲染,实现从“听指令”到“先理解再动手”的AI视频创作范式升级,支持天气、风格、动作、视角等可控编辑及参考图/视频生成。
入选理由:Bernini采用MLLM-based planner + DiT-based renderer双阶段架构,实现语义理解与视觉生成的解耦。
模型
别名:扩散变换器
基于扩散过程的生成模型,用于阶段条件生成。
已跟踪 3 条高相关材料
最近变化
2026-07-28 · 单个深度解码器替代多级解码器,内存复杂度恒定为21MB
为什么值得关注
DiT 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
字节开源统一框架Bernini:给DiT配个“大模型军师”,AI视频编辑先理解再动手
量子位 · 8.7 分
字节跳动开源统一视频生成与编辑框架Bernini,通过多模态大模型(MLLM)先理解语义指令并规划,再由DiT扩散模型执行高质量渲染,实现从“听指令”到“先理解再动手”的AI视频创作范式升级,支持天气、风格、动作、视角等可控编辑及参考图/视频生成。
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
Apple Machine Learning Research · 8.5 分
苹果提出基于解耦时间深度扩散变换器的音频合成架构,实现21MB内存下10ms/步的实时音频生成,MOS评分提升0.28。
应留言解读的关于DiT的论文,看作者才知道。 就是张小珺前段时间访谈的大神谢赛宁,好强。 不过这篇论文读起来难度很高,已经尽力了,一万三千字的解读,但还是很多看不懂。 https://t.co/...
向阳乔木(@vista8) · 3.5 分
解读关于DiT的论文难度很高,尽管已有13000字的详细解读,但仍有很多难以理解的部分。
已收录 3 条与 DiT 相关的内容,按评分排序。
字节跳动开源统一视频生成与编辑框架Bernini,通过多模态大模型(MLLM)先理解语义指令并规划,再由DiT扩散模型执行高质量渲染,实现从“听指令”到“先理解再动手”的AI视频创作范式升级,支持天气、风格、动作、视角等可控编辑及参考图/视频生成。
入选理由:Bernini采用MLLM-based planner + DiT-based renderer双阶段架构,实现语义理解与视觉生成的解耦。
苹果提出基于解耦时间深度扩散变换器的音频合成架构,实现21MB内存下10ms/步的实时音频生成,MOS评分提升0.28。
入选理由:单个深度解码器替代多级解码器,内存复杂度恒定为21MB
解读关于DiT的论文难度很高,尽管已有13000字的详细解读,但仍有很多难以理解的部分。
入选理由:论文解读难度高,需深入研究。