LLM架构近期发展:KV共享、mHC和压缩注意力
LLM架构近期发展聚焦于KV共享、mHC和压缩注意力,以提升长上下文效率。
入选理由:Gemma 4引入KV共享和每层嵌入,优化内存使用。
产品
别名:Laguna XS2
采用分层注意力预算管理的LLM模型。
已跟踪 5 条高相关材料
最近变化
2026-05-16 · Gemma 4引入KV共享和每层嵌入,优化内存使用。
为什么值得关注
Laguna XS.2 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
Ahead of AI · 8.5 分
LLM架构近期发展聚焦于KV共享、mHC和压缩注意力,以提升长上下文效率。
First open-weight model from @poolsideai! Apache license, and available on Ollama to try. 👇👇👇 m...
ollama(@ollama) · 7.2 分
Poolside AI 发布首款开源权重模型 Laguna XS.2(33B总参/3B激活MoE),Apache 2.0 许可,支持单卡运行,专为智能体编程与长周期任务优化。
Laguna XS.2 & M.1 by @poolsideai are ready in the Code Arena: Front-end. Come bring your toughe...
lmarena.ai(@lmarena_ai) · 5.2 分
Poolside AI 发布开源 MoE 编程模型 Laguna XS.2(33B/3B),专为智能体式前端开发任务优化,支持单卡运行,Apache 2.0 协议。
已收录 5 条与 Laguna XS.2 相关的内容,按评分排序。
LLM架构近期发展聚焦于KV共享、mHC和压缩注意力,以提升长上下文效率。
入选理由:Gemma 4引入KV共享和每层嵌入,优化内存使用。
Poolside AI 发布首款开源权重模型 Laguna XS.2(33B总参/3B激活MoE),Apache 2.0 许可,支持单卡运行,专为智能体编程与长周期任务优化。
入选理由:Laguna XS.2 是 Poolside AI 首个开源权重模型,采用 MoE 架构
Poolside AI 发布开源 MoE 编程模型 Laguna XS.2(33B/3B),专为智能体式前端开发任务优化,支持单卡运行,Apache 2.0 协议。
入选理由:Laguna XS.2 是 Poolside 自研的 33B 总参、3B 激活的稀疏 MoE 编程模型
NVIDIA AI祝贺@poolsideai发布了Laguna XS.2和Laguna M.1,这是Poolside的首个开放权重模型。
入选理由:Laguna XS.2是Poolside的第一个开放权重模型。
该推文仅为 Arena.ai 平台上线 Laguna XS.2 与 M.1 两个前端代码模型的简短通告,无技术细节、评测数据或架构说明。
入选理由:未提供 Laguna XS.2/M.1 的模型能力、训练方法或性能指标