DeepSeek 的 10 万亿美元大战略
DeepSeek通过多项技术创新大幅降低大模型推理中的KV缓存需求,推动中国AI硬件生态发展,目标打造价值10万亿美元的产业巨兽。
入选理由:DeepSeek V4 Pro仅需5.48GB HBM,相比GLM5的60GB和Qwen3-235B-A22B的89GB显著节省显存
概念
别名:Key-Value Cache
存储推理过程中键值对的内存结构
已跟踪 13 条高相关材料
最近变化
2026-11-09 · TPU Sync使KV缓存传输延迟降低90%,TTFT缩短90%(235B-480B模型)
为什么值得关注
KV缓存 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
DeepSeek 的 10 万亿美元大战略
宝玉的分享 · 9.2 分
DeepSeek通过多项技术创新大幅降低大模型推理中的KV缓存需求,推动中国AI硬件生态发展,目标打造价值10万亿美元的产业巨兽。
Introducing TPU Sync: Fast KV cache and weight transfer for inference and RL on TPU
Google Cloud Blog · 8.5 分
TPU Sync通过异步DMA传输和共享内存架构,将TPU推理延迟降低90%,并实现强化学习中权重的高效传输。
Your KV Cache Can Spot Attacks on Your AI Agents - Ari Azarafrooz, Intrinsec AI
AI Engineer · 8.5 分
KV缓存可作为AI代理攻击检测的新型安全信号,通过分析缓存数据发现提示注入等威胁。
已收录 13 条与 KV缓存 相关的内容,按评分排序。
DeepSeek通过多项技术创新大幅降低大模型推理中的KV缓存需求,推动中国AI硬件生态发展,目标打造价值10万亿美元的产业巨兽。
入选理由:DeepSeek V4 Pro仅需5.48GB HBM,相比GLM5的60GB和Qwen3-235B-A22B的89GB显著节省显存
TPU Sync通过异步DMA传输和共享内存架构,将TPU推理延迟降低90%,并实现强化学习中权重的高效传输。
入选理由:TPU Sync使KV缓存传输延迟降低90%,TTFT缩短90%(235B-480B模型)
KV缓存可作为AI代理攻击检测的新型安全信号,通过分析缓存数据发现提示注入等威胁。
入选理由:KV缓存记录模型计算过程,可检测绕过输入过滤的攻击
本文推荐了5个LLM推理工程实践项目,涵盖KV缓存、量化、注意力优化等关键技术,适合工程师通过动手学习提升系统性能。
入选理由:构建Mini-vLLM项目可掌握KV缓存和连续批处理机制
LLM推理性能由prefill和decode两个阶段的算力与带宽瓶颈决定,优化需分别针对不同阶段。
入选理由:Prefill阶段瓶颈在算力,优化需更强GPU和更优kernel
LLM推理优化需针对预填充和解码阶段的性能瓶颈,通过内存管理、模型压缩等技术提升吞吐量并降低延迟。
入选理由:预填充阶段计算密集,解码阶段受内存带宽限制,需差异化优化。
DeepSeek的V4.1-Flash通过减少KV缓存的存储需求,显著降低运营成本。
入选理由:V4.1-Flash的KV缓存仅需上一代1/4的HBM和1/8的SSD存储
AI推理依赖模型权重、推理服务器和GPU协同工作,KV缓存优化可降低延迟和成本。
入选理由:推理服务器(如vLLM)是实现生产级GPU利用率的关键组件
LLM的KV缓存导致内存成本激增,通过分块处理和缓存压缩可降低60%以上内存占用。
入选理由:KV缓存使700亿参数模型在128k上下文时消耗40GB显存
ThunderAgent通过优化KV缓存管理,实现单节点吞吐量提升2倍,集群加速2.4倍,解决代理推理中的缓存抖动问题。
入选理由:单节点吞吐量提升2.5倍,P50延迟降低10倍
七种工程策略可降低LLM推理延迟,量化压缩模型内存75%,键值缓存优化解码阶段,推测解码提升生成速度30%。
入选理由:量化将FP16模型内存占用减少75%,显著降低TPOT
小红书团队开源的高效长上下文LLM服务框架通过注意力头分类和分段式KV缓存策略,降低预填充FLOPs约50%-70%。
入选理由:RedKnot框架通过分段式KV缓存策略减少50%-70%预填充计算量
微软研究院汇总了AI在澄清需求、机器人视觉任务、KV缓存优化等领域的研究方向,但缺乏技术细节和实践案例。
入选理由:AI在需要澄清时表现更优,但未说明具体实现机制