T
traeai
登录

概念

MLA

Multi-head Linear Attention,DeepSeek自研的注意力机制变体。

已跟踪 2 条高相关材料

TraeAI 观察

相关材料

已收录 2 条与 MLA 相关的内容,按评分排序。

https://t.co/nw0GoHamCI

DeepSeek 的 10 万亿美元大战略【译】

宝玉(@dotey)5655 字 (约 23 分钟)
92

DeepSeek通过多项底层技术创新构建低成本高效能模型体系,旨在撬动中国10万亿美元AI硬件生态并实现自身万亿美元市值。

入选理由:DeepSeek V4 Pro在100万上下文中仅需5.48GB HBM显存,远低于竞品的60-89GB。

精选推文#DeepSeek#AI模型#MoE#KV缓存优化#硬件生态中文
TokenSpeed is a brand new inference engine purpose built for speed-of-light agentic workloads.  

Re...

TokenSpeed 是一个专为光速代理工作负载打造的全新推理引擎

NVIDIA AI(@NVIDIAAI)157 字 (约 1 分钟)
72

TokenSpeed 是一个专为代理型工作负载优化的新型开源 LLM 推理引擎,具备高性能 KV 缓存管理、高效调度器和跨芯片支持的模块化内核架构。

入选理由:TokenSpeed 实现了媲美 TensorRT-LLM 的性能与接近 vLLM 的易用性。

精选推文#LLM推理#NVIDIA#开源#KV缓存#注意力机制中英混合

跨材料问答 · MLA

回答基于:MLA 相关 2 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容