Ggml v1.0.0
TL;DR · AI 摘要
ggml v1.0.0 发布,引入 FP8 支持、YaRN 截断、多后端性能优化等关键更新。
核心要点
- ggml v1.0.0 引入 FP8 支持和 YaRN 截断功能,提升模型性能。
- CUDA 和 Metal 后端新增优化,包括 MMQ、MVF 和 FlashAttention 支持。
- API 重构移除过时功能,提升兼容性和稳定性。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- ggml v1.0.0 更新
- API 变更
- 移除过时 API
- 新增 YaRN 截断控制
- 实现 TRI 反向传播
- 核心变更
- 优化调度器
- 提升缓存效率
- 提高 Meta 后端计算视图限制
- 后端变更
- CUDA 优化
- Metal 优化
- FP8 支持
金句 / Highlights
值得收藏与分享的关键句。
ggml v1.0.0 引入 FP8 支持和 YaRN 截断功能,提升模型性能。
CUDA 后端新增 few-row MMQ 和 MMVF,提升 BF16 矩阵乘法性能。
Metal 后端融合 MoE 路由,提升命令缓冲区效率。
发布 v1.0.0 · ggml-org/ggml · GitHub
仓库导航
v1.0.0
最新版本
比较
选择一个标签进行比较
抱歉,出现了错误。
筛选
加载中
抱歉,出现了错误。
啊哦!
加载时出现了错误。请刷新此页面。
没有找到结果
查看所有标签
github-actions
发布了这个
13 Nov 08:34
v1.0.0
417a024此提交是在 GitHub.com 上创建的,并使用 GitHub 的
验证签名
进行了签名。
GPG 密钥 ID:
B5690EEEBB952194
已验证
了解警惕模式
概述
ggml 1.0.0 移除了过时的公共 API 和遗留的 DIAG_MASK 操作,增加了可配置的 YaRN 截断和 FP8 支持,并在后端实现了广泛的性能优化:在 CUDA/Metal 上实现了少量行量化矩阵乘法和 MoE 融合,在 Vulkan 上实现了预填充 FlashAttention 路径,在 SYCL 上实现了设备端 MoE 调度器,在 OpenCL 中实现了分解的 Adreno FlashAttention,在 WebGPU 中新增了内核,扩展了 Hexagon 操作的覆盖范围,并改进了调度器以避免上传未使用的输入。
API 变更
- 移除了过时的 API 并删除了遗留的 DIAG_MASK_INF / DIAG_MASK_ZERO 操作,将 RPC 协议升级以拒绝不兼容的对等节点(llama/29801, llama/31946)
- 添加了 ggml_rope_set_truncate / ggml_rope_get_truncate 以控制 YaRN 纠正边界舍入(llama/30206, llama/30802)
- 实现了 TRI 的反向传播(llama/30712)
- 添加了 MUL_MAT src1 精度测试和 ggml_prec_set_acc 的门控(llama/31896, llama/31851)
- 将 RPC 协议升级到 v9,以实现更快的加载和在无法到达的端点或握手失败时的优雅失败(llama/29413, llama/30415)
核心变更
- 调度器跳过上传未读取的输入,并仅预取由早期拆分生成的输入(llama/31419, llama/32100)
- MoE 缓存可以在 CPU 上计算一部分缓存未命中,并异步将结果复制回(llama/30966)
- Meta 后端提高了缓冲区中张量较少时的计算视图限制(llama/31447)
后端变更
#### CUDA
- 为批量大小 2-24 添加了少量行 MMQ,并为 BF16 少量行矩阵乘法添加了 MMVF(llama/31533, llama/31959)
- 添加了 OCP FP8 支持,并在 MMQ 中融合了 NVFP4 gate/up 矩阵乘法与 GLU(llama/28413, llama/31296)
- 扩展了 FlashAttention,添加了 sm70 头大小 256 的配置和 MMA 头大小 40/72(llama/27997, llama/30285)
- 改进了图处理:在重用时跳过兼容性检查,在集群维度变化时重新实例化,移动图状态(llama/32004, llama/31284, llama/32001)
- MoE:跳过空的 MMQ stream-k 瓷砖,线性化 MoE 布局,并清理 post-bias NaN(llama/32067, llama/31047, llama/31005)
- 添加了调试缓冲池,并将 VMM 池保留减半,同时增加保留重试(llama/31919, llama/30542)
- HIP:使用固定 BLAS 工作区,并为 CDNA2 添加了 MFMA 雷电索引器(llama/31838, llama/29050)
- 添加了 d_state=64 的 SSM_SCAN 快速路径,并使 radix Top-K 在平局时确定(llama/31818, llama/31084)
#### Metal
- 融合了 MoE 路由,并将可融合的节点组保留在单个命令缓冲区中(llama/31615, llama/31688)
- 使 radix Top-K 在平局时确定,添加了 32<=K<64 的 mul_mm,并将 TRI 切换为 select(llama/31084, llama/30982, llama/30711)
- 修复了 ne03>1 的 GROUP_NORM 和 FA 输出及 SOLVE_TRI 内核中的越界访问(llama/31852, llama/31662, llama/32103)
#### Vulkan
- 添加了一个 Intel FlashAttention 预填充内核(llama/29357)
- 新增了批量张量复制、测试融合接口和 ReBAR 检测(llama/31418,llama/30769,llama/31658)
- 在更新的 AMD 驱动程序上启用了 CM2 的去量化 KV、YaRN 截断、RDNA3/4 大瓦片 split-K 以及大 coopmat 矩阵乘法(llama/31526,llama/30802,llama/30280,llama/31587)
- 为块宽度超过 512 的情况添加了分块转置连接着色器和 FWHT 内核(llama/30591,llama/29772)
- 修复了 MoltenVK 越界访问、GROUP_NORM 工作组限制以及 FA 的临时内存大小(llama/31890,llama/31930,llama/30487)
- 在高通设备上将标量 FlashAttention 的行数上限设为 8(llama/30829)
#### SYCL
- 添加了设备端的 MoE 调度器(llama/30156)
- 使 oneDNN FA 缓存线程安全,并在 head_dim=64 时为 Alchemist 启用未受限制的融合 SDPA(llama/31138,llama/31574)
- 缓存了设备 ID,并拒绝那些会超出显存的缓冲区(llama/31126,llama/32013,llama/31285)
- 为 CPY 添加了精确的四舍五入到 Q4_1/Q5_1/Q8_0,添加了步长 CLAMP,以及 f16 SWIGLU_OAI(llama/31465,llama/31784,llama/30857)
- 修复了 4GB 以上分配的 AOT(llama/31873)
#### OpenCL
- 添加了分解后的 Adreno FlashAttention 并提升了解码性能(llama/32046,llama/31633)
- 添加了 q6_k 分块、q8_0 以及 f32/q5_k 多列 GEMV 内核和 f32 MUL_MAT_ID(llama/31758,llama/30947,llama/31783)
- 添加了 arange、非连续的 sigmoid、f16/i32/i16/bf16 的 repeat 以及 DSV4 HC 前后处理内核(llama/31829,llama/31687,llama/31782,llama/31623)
- 默认启用 Adreno X2 的多列 GEMV(llama/31694)
#### WebGPU
- 添加了批量张量 API 支持,并从 get_max_size 返回 maxBufferSize(llama/31473,llama/31348)
- 添加了 GROUP_NORM、MEAN、COUNT_EQUAL 和 PAD_REFLECT_1D 内核(llama/31490,llama/31591,llama/31578,llama/31877)
- 支持 YaRN 截断配置(llama/30802)
#### Hexagon
- 添加了 Q5_0/Q5_1 支持,在添加 conv_3d 的同时优化了 conv_2d(llama/32094,llama/31814)
- 将 post-norm 残差加法融合到 RMS_NORM_MUL 中,并添加了 set_tensor_n(llama/31822,llama/31744)
- 添加了自动加载 libhtp 以及修复了 64 位 FastRPC 句柄截断(llama/31781,llama/30952)
- 修复了在 Windows ARM64 上使用 clang-cl 的主机构建(llama/32011)
#### CPU
- 将 MUL_MAT 的 src1 切换为 F32,并在 F32 中累积 FlashAttention V(llama/31854,llama/29810)
- 添加了 SpacemiT GATED_DELTA_NET RVV 和 Q4_1 32x256 HP 内核,并启用了 IME2 MXFP4 重新打包(llama/31897,llama/31929,llama/31776)
- 在 ARM NEON 上启用了 4x4 simd_gemm 瓷砖,并将 bf16/q8_0 VXE 添加到 llamafile(llama/32128,llama/31866)
#### CANN
- 当缓冲区类型不被支持时提前失败(llama/31270)
#### ZDNN
- 接受非 zdnn 张量,在每次操作后使计算张量失效,并修复了释放后端库的检测(llama/31824,llama/31905)
#### OpenVINO
更多信息
- ggml-org 项目的发布和版本控制
自 v0.29.0 以来的变更日志
417a024 ggml : 版本升级至 1.0.0 ( #1690 ) 771b3d9 requirements : 修复 numpy 以支持 Python 3.14 ( #1691 ) f154959 sync : llama.cpp ec04faf 修复(hexagon): 使 host 构建在 Windows ARM64 上与 clang-cl 兼容 (llama/3201) b45738e examples : 适配 ggml_diag_mask_inf 的移除 1514439 sync : llama.cpp 5f29555 ggml : 修剪 (llama/29801) 076861c hexagon: 添加 Q5_0 和 Q5_1 支持 (llama/32094) 63ec52d 标题: CUDA: 用于 BS 2-24 的 few-row MMQ (llama/31533) c6fe796 ggml : 将 GATED_DELTA_NET 路由到 SpacemiT RVV 内核 (llama/31897) 4ae6e72 vulkan : Intel FA 内核用于预填充。 (llama/29357) b22071c ggml-cpu: 在 ARM NEON 上使用 4x4 simd_gemm tile (llama/32128) ba8b013 CUDA: 通过在 epilogue MMQ 中融合 w_s scale 优化预填充,用于 nvfp
资产
2
'"`
</textarea></xmp>
20 人做出了反应