T
traeai
登录

概念

SiTU-GLU

别名:SiTU

Kimi-K3.1-Pro使用的自定义激活函数

已跟踪 2 条高相关材料

TraeAI 观察

最近变化

2026-11-04 · Kimi-K3.1-Pro总参数2.8T,但每个token仅激活104B参数

为什么值得关注

SiTU-GLU 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。

AI模型AttentionHugging FaceK3模型MoE

相关材料

已收录 2 条与 SiTU-GLU 相关的内容,按评分排序。

简单谈谈K3的MoE和Attention

简单谈谈K3的MoE和Attention

科学空间3451 字 (约 14 分钟)
85

K3模型通过Stable LatentMoE和SiTU-GLU改进MoE稳定性,结合Per-Head Muon优化Attention机制,实现效果与效率的平衡。

入选理由:K3采用SiTU-GLU替代SwiGLU,通过softcap操作减少梯度爆炸风险

精选文章#MoE#Attention#K3模型#深度学习#模型优化中文

跨材料问答 · SiTU-GLU

回答基于:SiTU-GLU 相关 2 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容