清华系团队给大模型织了一张“智能算力电网”
量子位2087 字 (约 9 分钟)
92
是石科技构建智能算力电网，整合国产异构芯片，实测单位Token成本降40%、吞吐提30%-50%，达成99.9%高可用，实现从算力资源到标准化Token产能的跃迁。
入选理由：是石科技通过全域异构算力池+深度国产芯片适配（昇腾/昆仑芯等），使闲置国产卡转化为稳定Token产能
精选文章#大模型推理#国产AI芯片#算力调度#是石科技#Token经济中文
概念
Continuous Batching
别名：连续批处理
连续批处理技术，动态合并请求以提升GPU利用率，是石科技推理优化核心组件。
已跟踪 2 条高相关材料
TraeAI 观察
最近变化
2026-05-29 · 是石科技通过全域异构算力池+深度国产芯片适配（昇腾/昆仑芯等），使闲置国产卡转化为稳定Token产能
为什么值得关注
Continuous Batching 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
LLMToken经济国产AI芯片大模型推理推理优化
相关材料
已收录 2 条与 Continuous Batching 相关的内容，按评分排序。
解锁连续批处理中的异步性
Hugging Face Blog4048 字 (约 17 分钟)
85
异步批处理可将GPU利用率提升至100%，减少24%的空闲时间。
入选理由：同步批处理导致GPU空闲时间占总运行时间的24%。
精选文章#大语言模型#推理优化英文