Hacker News Best

Ggml v1.0.0

8.5内容质量

TL;DR · AI 摘要

ggml v1.0.0 发布,引入 FP8 支持、YaRN 截断、多后端性能优化等关键更新。

核心要点

  • ggml v1.0.0 引入 FP8 支持和 YaRN 截断功能,提升模型性能。
  • CUDA 和 Metal 后端新增优化,包括 MMQ、MVF 和 FlashAttention 支持。
  • API 重构移除过时功能,提升兼容性和稳定性。

结构提纲

按章节快速跳转。

  1. ggml v1.0.0 发布,包含 API 重构、FP8 支持、多后端性能优化等更新。

  2. 移除过时 API,新增 YaRN 截断控制和 TRI 反向传播实现。

  3. 优化调度器,提升缓存效率,提高 Meta 后端计算视图限制。

  4. CUDA、Metal 等后端新增 MMQ、MVF、FlashAttention 等优化。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • ggml v1.0.0 更新
    • API 变更
      • 移除过时 API
      • 新增 YaRN 截断控制
      • 实现 TRI 反向传播
    • 核心变更
      • 优化调度器
      • 提升缓存效率
      • 提高 Meta 后端计算视图限制
    • 后端变更
      • CUDA 优化
      • Metal 优化
      • FP8 支持

金句 / Highlights

值得收藏与分享的关键句。

#ggml#CUDA#AI#模型优化
打开原文

发布 v1.0.0 · ggml-org/ggml · GitHub

仓库导航

v1.0.0

最新版本

比较

选择一个标签进行比较

抱歉,出现了错误。

筛选

加载中

抱歉,出现了错误。

啊哦!

加载时出现了错误。请刷新此页面。

没有找到结果

查看所有标签

github-actions

发布了这个

13 Nov 08:34

v1.0.0

code
417a024

此提交是在 GitHub.com 上创建的,并使用 GitHub 的

验证签名

进行了签名。

GPG 密钥 ID:

B5690EEEBB952194

已验证

了解警惕模式

概述

ggml 1.0.0 移除了过时的公共 API 和遗留的 DIAG_MASK 操作,增加了可配置的 YaRN 截断和 FP8 支持,并在后端实现了广泛的性能优化:在 CUDA/Metal 上实现了少量行量化矩阵乘法和 MoE 融合,在 Vulkan 上实现了预填充 FlashAttention 路径,在 SYCL 上实现了设备端 MoE 调度器,在 OpenCL 中实现了分解的 Adreno FlashAttention,在 WebGPU 中新增了内核,扩展了 Hexagon 操作的覆盖范围,并改进了调度器以避免上传未使用的输入。

API 变更

  • 移除了过时的 API 并删除了遗留的 DIAG_MASK_INF / DIAG_MASK_ZERO 操作,将 RPC 协议升级以拒绝不兼容的对等节点(llama/29801, llama/31946)
  • 添加了 ggml_rope_set_truncate / ggml_rope_get_truncate 以控制 YaRN 纠正边界舍入(llama/30206, llama/30802)
  • 实现了 TRI 的反向传播(llama/30712)
  • 添加了 MUL_MAT src1 精度测试和 ggml_prec_set_acc 的门控(llama/31896, llama/31851)
  • 将 RPC 协议升级到 v9,以实现更快的加载和在无法到达的端点或握手失败时的优雅失败(llama/29413, llama/30415)

核心变更

  • 调度器跳过上传未读取的输入,并仅预取由早期拆分生成的输入(llama/31419, llama/32100)
  • MoE 缓存可以在 CPU 上计算一部分缓存未命中,并异步将结果复制回(llama/30966)
  • Meta 后端提高了缓冲区中张量较少时的计算视图限制(llama/31447)

后端变更

#### CUDA

  • 为批量大小 2-24 添加了少量行 MMQ,并为 BF16 少量行矩阵乘法添加了 MMVF(llama/31533, llama/31959)
  • 添加了 OCP FP8 支持,并在 MMQ 中融合了 NVFP4 gate/up 矩阵乘法与 GLU(llama/28413, llama/31296)
  • 扩展了 FlashAttention,添加了 sm70 头大小 256 的配置和 MMA 头大小 40/72(llama/27997, llama/30285)
  • 改进了图处理:在重用时跳过兼容性检查,在集群维度变化时重新实例化,移动图状态(llama/32004, llama/31284, llama/32001)
  • MoE:跳过空的 MMQ stream-k 瓷砖,线性化 MoE 布局,并清理 post-bias NaN(llama/32067, llama/31047, llama/31005)
  • 添加了调试缓冲池,并将 VMM 池保留减半,同时增加保留重试(llama/31919, llama/30542)
  • HIP:使用固定 BLAS 工作区,并为 CDNA2 添加了 MFMA 雷电索引器(llama/31838, llama/29050)
  • 添加了 d_state=64 的 SSM_SCAN 快速路径,并使 radix Top-K 在平局时确定(llama/31818, llama/31084)

#### Metal

  • 融合了 MoE 路由,并将可融合的节点组保留在单个命令缓冲区中(llama/31615, llama/31688)
  • 使 radix Top-K 在平局时确定,添加了 32<=K<64 的 mul_mm,并将 TRI 切换为 select(llama/31084, llama/30982, llama/30711)
  • 修复了 ne03>1 的 GROUP_NORM 和 FA 输出及 SOLVE_TRI 内核中的越界访问(llama/31852, llama/31662, llama/32103)

#### Vulkan

  • 添加了一个 Intel FlashAttention 预填充内核(llama/29357)
  • 新增了批量张量复制、测试融合接口和 ReBAR 检测(llama/31418,llama/30769,llama/31658)
  • 在更新的 AMD 驱动程序上启用了 CM2 的去量化 KV、YaRN 截断、RDNA3/4 大瓦片 split-K 以及大 coopmat 矩阵乘法(llama/31526,llama/30802,llama/30280,llama/31587)
  • 为块宽度超过 512 的情况添加了分块转置连接着色器和 FWHT 内核(llama/30591,llama/29772)
  • 修复了 MoltenVK 越界访问、GROUP_NORM 工作组限制以及 FA 的临时内存大小(llama/31890,llama/31930,llama/30487)
  • 在高通设备上将标量 FlashAttention 的行数上限设为 8(llama/30829)

#### SYCL

  • 添加了设备端的 MoE 调度器(llama/30156)
  • 使 oneDNN FA 缓存线程安全,并在 head_dim=64 时为 Alchemist 启用未受限制的融合 SDPA(llama/31138,llama/31574)
  • 缓存了设备 ID,并拒绝那些会超出显存的缓冲区(llama/31126,llama/32013,llama/31285)
  • 为 CPY 添加了精确的四舍五入到 Q4_1/Q5_1/Q8_0,添加了步长 CLAMP,以及 f16 SWIGLU_OAI(llama/31465,llama/31784,llama/30857)
  • 修复了 4GB 以上分配的 AOT(llama/31873)

#### OpenCL

  • 添加了分解后的 Adreno FlashAttention 并提升了解码性能(llama/32046,llama/31633)
  • 添加了 q6_k 分块、q8_0 以及 f32/q5_k 多列 GEMV 内核和 f32 MUL_MAT_ID(llama/31758,llama/30947,llama/31783)
  • 添加了 arange、非连续的 sigmoid、f16/i32/i16/bf16 的 repeat 以及 DSV4 HC 前后处理内核(llama/31829,llama/31687,llama/31782,llama/31623)
  • 默认启用 Adreno X2 的多列 GEMV(llama/31694)

#### WebGPU

  • 添加了批量张量 API 支持,并从 get_max_size 返回 maxBufferSize(llama/31473,llama/31348)
  • 添加了 GROUP_NORM、MEAN、COUNT_EQUAL 和 PAD_REFLECT_1D 内核(llama/31490,llama/31591,llama/31578,llama/31877)
  • 支持 YaRN 截断配置(llama/30802)

#### Hexagon

  • 添加了 Q5_0/Q5_1 支持,在添加 conv_3d 的同时优化了 conv_2d(llama/32094,llama/31814)
  • 将 post-norm 残差加法融合到 RMS_NORM_MUL 中,并添加了 set_tensor_n(llama/31822,llama/31744)
  • 添加了自动加载 libhtp 以及修复了 64 位 FastRPC 句柄截断(llama/31781,llama/30952)
  • 修复了在 Windows ARM64 上使用 clang-cl 的主机构建(llama/32011)

#### CPU

  • 将 MUL_MAT 的 src1 切换为 F32,并在 F32 中累积 FlashAttention V(llama/31854,llama/29810)
  • 添加了 SpacemiT GATED_DELTA_NET RVV 和 Q4_1 32x256 HP 内核,并启用了 IME2 MXFP4 重新打包(llama/31897,llama/31929,llama/31776)
  • 在 ARM NEON 上启用了 4x4 simd_gemm 瓷砖,并将 bf16/q8_0 VXE 添加到 llamafile(llama/32128,llama/31866)

#### CANN

  • 当缓冲区类型不被支持时提前失败(llama/31270)

#### ZDNN

  • 接受非 zdnn 张量,在每次操作后使计算张量失效,并修复了释放后端库的检测(llama/31824,llama/31905)

#### OpenVINO

更多信息

  • ggml-org 项目的发布和版本控制

自 v0.29.0 以来的变更日志

417a024 ggml : 版本升级至 1.0.0 ( #1690 ) 771b3d9 requirements : 修复 numpy 以支持 Python 3.14 ( #1691 ) f154959 sync : llama.cpp ec04faf 修复(hexagon): 使 host 构建在 Windows ARM64 上与 clang-cl 兼容 (llama/3201) b45738e examples : 适配 ggml_diag_mask_inf 的移除 1514439 sync : llama.cpp 5f29555 ggml : 修剪 (llama/29801) 076861c hexagon: 添加 Q5_0 和 Q5_1 支持 (llama/32094) 63ec52d 标题: CUDA: 用于 BS 2-24 的 few-row MMQ (llama/31533) c6fe796 ggml : 将 GATED_DELTA_NET 路由到 SpacemiT RVV 内核 (llama/31897) 4ae6e72 vulkan : Intel FA 内核用于预填充。 (llama/29357) b22071c ggml-cpu: 在 ARM NEON 上使用 4x4 simd_gemm tile (llama/32128) ba8b013 CUDA: 通过在 epilogue MMQ 中融合 w_s scale 优化预填充,用于 nvfp

资产

2

'"`

</textarea></xmp>

20 人做出了反应