Databricks

The Enterprise Case for Open-Weight Models on Databricks

8.5内容质量

TL;DR · AI 摘要

开放权重模型通过降低企业AI成本、保障数据主权和操作自主性,成为企业AI战略新选择。Databricks的Unity AI Gateway与Omnigent结合可实现统一模型治理。

核心要点

  • 开放权重模型成本比前沿模型降低30%-50%(引用Databricks基准测试)
  • Unity AI Gateway支持统一API管理20+模型类型,包含预算控制和智能路由
  • 模型性能受Harness影响显著:同一模型在不同Harness下得分差异达23.3%

结构提纲

按章节快速跳转。

  1. 开放权重模型正在改变企业AI部署的经济性和自主性。

  2. 企业因成本、模型排名波动等七项压力重新评估AI策略。

  3. 通过统一API实现多模型治理、预算控制和智能路由。

  4. Hugging Face事件暴露前沿模型的治理限制。

  5. Databricks测试显示Harness对模型性能影响达23.3%。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 企业AI战略转型
    • 驱动因素
      • 成本压力
      • 模型排名波动
      • 数据主权需求
    • 解决方案
      • Unity AI Gateway
      • Omnigent架构
    • 关键挑战
      • 模型治理
      • Harness影响

金句 / Highlights

值得收藏与分享的关键句。

  • Hugging Face团队因前沿模型防护机制拒绝分析恶意代码,转而使用GLM 5.2开放模型

    — 第3点观察

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Anthropic的前沿模型引入30天数据保留政策,违反部分企业零数据留存合规要求

    — 第4点观察

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Databricks基准测试显示:同一模型在不同Harness下得分差异达23.3%(61.7%→38.4%)

    — 第6点观察

    ⬇︎ 下载 PNG𝕏 分享到 X
#AI模型#企业AI#Databricks#模型治理#Open-Weight
打开原文

在 Databricks 上使用开放权重模型的企业案例 | Databricks 博客

跳过导航到主要内容

平台

2026年11月4日

在 Databricks 上使用开放权重模型的企业案例

一篇关于 Unity AI 网关与 Omnigent 如何通过降低成本、保障数据主权、实现运营自主性以及提升模型灵活性,来应对企业人工智能战略不断变化需求的思考文章。

作者:Jay Palaniappan、Elise Gonzales、Tanner Waggoner、Toby Messinger 和 Will Middlebrook

摘要

  • 开放权重模型现在以更低的成本接近前沿级智能,同时赋予企业数据主权和运营自主性。
  • Unity AI 网关通过一个受控 API 提供开放权重模型、前沿模型和外部模型,具备快速推理、智能路由、回退机制和预算控制功能。

作为 Databricks 的现场工程师,我们每天都在企业人工智能部署中工作,观察到企业战略的明显转变。在标准化使用单一前沿模型提供商两年后,由于以下七个关键压力,公司正在重新评估其方法:

塑造人工智能战略的七个观察

  1. 支出未能产生足够的回报。人工智能预算已超过收入和成本节约,促使企业需要更好的单位经济效益 [1]。
  2. 自 2023 年以来模型排名频繁变化。最佳模型在编码、推理和提取任务上的排名每月都在变化,自 2023 年 5 月以来,顶级智能排名已更迭 20 多次 [2]。与单一提供商绑定的架构使得在排名变化时更难采用更优模型。
  3. 前沿模型的防护机制可能阻碍合法工作。AI 实验室施加的模型防护机制可能拒绝合法任务,例如分析实时恶意软件或重现漏洞以修复它,这一限制在最近的 Hugging Face 事件中被发现 [6] [7]。当 Hugging Face 团队将真实攻击日志和漏洞载荷输入托管的前沿模型进行分析时,防护机制拒绝了请求,团队转而使用开放权重模型(GLM 5.2)进行分析。
  4. 数据保留政策已发生变化且可能继续演变。一些前沿模型提供商已偏离零数据保留(ZDR)政策,例如 Anthropic 的前沿层级引入了 30 天最低保留期 [8]。对于合规政策基于“绝不存储任何提示或完成内容”原则的企业,上游政策变更可能导致问题并可能需要系统变更。
  5. 企业希望获得模型治理的可见性和控制权。对 AI 模型端到端可见性和治理的需求正在增长。客户希望拥有可搜索的模型输入、输出、错误和代理操作记录,以帮助团队评估准确性并提升性能,同时需要集中控制来保护敏感数据和知识产权。
  6. 模型的“支架”与模型本身同样重要。Databricks 的研究表明,围绕模型的“支架”(包括提示、工具和控制流的组合)会影响性能表现。在 Databricks 自己的基准测试中,同一模型在不同支架下得分差异显著:61.7%、48.1% 和 38.4% [9]。由于支架选择会影响基准测试结果,评估应同时测试模型和支架。
  1. 开放权重模型已追平前沿模型。目前,顶级开放权重模型的基准测试水平已能与成本更低的顶级前沿模型相媲美 [3] [4] [5] 。这一情况在18个月前并不存在。开放权重模型实现前沿级基准性能,改变了其他六个要点中描述的成本、控制和部署权衡。

在这些观察中,企业正在尝试:1)在不牺牲生产力提升的情况下优化成本,2)保持运营自由度,3)确保AI实施能够快速整合创新。为此,他们需要一种架构,使模型和工具链能够发生变化而不会削弱治理能力。

开放权重模型的吸引力

与前沿模型相比,开放权重模型在成本效率、控制力和灵活性方面具有优势:

  • 商品化智能:当模型智能成为一种商品时,开放权重选项现在以远低于顶级前沿模型的成本提供同等智能水平,使AI部署获得更好的投资回报率。
  • 数据主权:在可控的基础设施上托管模型,使团队能够掌控合规性、安全性和数据保留策略,降低未来出现不合规变更的风险。
  • 完全操作自主权:开放权重模型使团队能够运行前沿模型可能限制的工作负载(例如网络安全响应)。

来源:[5] 按成本划分的DeepSWE排行榜。部分顶级开放权重模型与其专有对应模型进行比较,筛选标准由作者自行决定。

在Unity Gateway上使用开放权重模型的优势

在前沿模型旁利用开放权重模型

Unity Gateway通过统一的API提供开放权重模型和前沿模型,并具有集中的治理控制功能,使团队可通过配置或智能路由 [10] [11] 在模型之间切换,而无需代码更改或其他抽象层 [12] [13] 。

Unity Gateway的多模型能力正成为客户AI战略的重要组成部分。自今年1月以来,每位客户使用的唯一模型平均数量已从4.2增加至7.1,这反映了Unity Catalog中可用选项的丰富性以及对更高投资回报率模型的追求。这些模型中约有40%为开放权重模型。

来源:Databricks内部数据,2026年1月5日至2026年7月27日每周数据。使用Genie One生成。

以行业领先的高速度使用大型开放权重模型

要以具有竞争力的响应时间服务大型开放权重模型,需要优化以在规模上保持成本效率。Databricks通过利用定制的推理引擎和部署在前沿GPU上的优化内核来解决延迟限制。来自Artificial Analysis的独立评估突显了这些性能特征:例如,GLM 5.3(最大)在Databricks上实现了端到端响应时间(包括输入处理、推理和生成)为9.1秒 [15] ,与顶级托管端点 [16] 相比表现良好。

来源:[15] GLM 5.3模型提供商:Artificial Analysis

从一个位置治理所有模型的成本和使用情况

以下是一些关键功能,有助于在Unity Gateway上治理这些模型并控制成本:

  • 智能路由将会话发送到针对任务的高效模型,使常规任务从前沿模型转移 [10] [11] 。
  • 回退链在模型速率限制或提供商中断时自动重新路由 [14] 。
  • 通过按用户、团队或使用场景设置支出上限的预算机制,可以防止支出失控 [19] [30] 。这些限制可以配置为不同严重程度,从温和警告到严格策略(将会话重定向到更便宜的模型)。
  • 工具和技能的集中治理。除了内置的MCP服务器,Unity Catalog还支持注册通过托管代理运行并接受集中审计的外部MCP服务器。因此,代理获取的工具将与模型遵循相同的治理规则 [20] 。技能 [21] 也可以注册和治理,从而提高可重复工作流的确定性和令牌效率。
  • 跨开放权重模型、外部模型和前沿模型的统一治理。通过模型提供商服务 [17] 连接外部模型提供商(例如Amazon Bedrock、Azure AI Foundry),并将请求路由到与Databricks托管的开放权重和前沿模型相同的中央治理层 [18] 。通过单一平台统一管理对整个模型组合的访问权限、支出控制和审计追踪。

企业正在将工作负载转移到开放权重模型

GLM 5.2的发布与Unity Gateway上开放权重使用量的急剧增加同时发生。GLM 5.2于7月中旬发布后,其使用量迅速上升。与此同时,Unity Gateway客户群体的增长保持相对稳定,这表明现有客户将更多AI流量转向了开放权重模型。在首次提供仅一个月后,GLM 5.2已占Unity Gateway上开放权重令牌使用量的约40%,其中大部分增长为新增使用。GLM 5.3和Kimi K3的基准性能测试为客户提供了另一个可与GLM 5.2并行评估的开放权重选项 [5] 。

来源:Databricks内部数据,时间范围为2026年1月5日当周至2026年7月27日当周。使用Genie One生成

为满足这一需求,Databricks于7月宣布进行30亿美元的融资,并且CEO Ali Ghodsi告诉CNBC,此次融资部分是为了确保GPU容量以托管开放模型。"我们在全球各地的GPU资源都快用完了...日本、韩国、美国和印度,所以我们需要大量采购这些资源,而这需要大量资金。这就是促使我们发起此次融资的原因" [22] 。

通过Unity Gateway在提供商框架中访问开放权重模型

开发人员当前使用的框架仍然可以运行托管在Databricks上的开放权重模型。自7月下旬起,Unity Gateway上提供的模型(包括GLM 5.3)可以在Codex和OpenCode [12] [26] 等提供商编码框架中运行,更多框架的支持正在逐步推出。网关为每个框架暴露OpenAI兼容的端点,因此只需进行配置更改即可完成设置。将框架指向工作区的网关URL,或使用一行命令调用ucode助手:

ucode codex --model system.ai.glm-5-3

总结思考

企业应为模型组合做好规划,因为没有任何单一模型或提供商能在所有工作负载的质量、成本和政策契合度方面都处于领先地位。在可选方案中,开放权重模型现在以更低的成本和更大的数据处理及治理策略控制权提供具有竞争力的智能。相比之下,前沿模型在能提供更好效果的场景中仍然具有价值。Unity Gateway通过通用的访问控制、路由策略、预算和审计功能管理这些选项。Omnigent将这种灵活性扩展到框架层面,使团队能够在不重建工作流的情况下切换模型或代理环境。

本文的使用数据表明,客户已经在向这一方向迈进。他们正在部署更多模型,将更多流量导向开放权重,并使用便携式适配器来扩展选择范围。持久的优势在于能够随着模型选项、质量、定价和政策要求的变化,快速进行调整。

参考文献

[1] Nanda, M., Challapally, A., Pease, C., Raskar, R., & Chari, P. (2025, July). The GenAI divide: State of AI in business 2025 (Preliminary Findings from AI Implementation Research). Project NANDA, Massachusetts Institute of Technology. [2] LLM Leaderboard History: AI Rankings 2023-2026 Tracked, BenchLM [3] Kimi K3 - Intelligence, Performance & Price Analysis, Artificial Analysis [4] GLM-5.3 (max) - Intelligence, Performance & Price Analysis | Artificial Analysis [5] DeepSWE Leaderboard by Cost [6] Security incident disclosure, July 2026, Hugging Face Blog [7] OpenAI's Hugging Face Breach Shows Frontier AI Guardrails Are Failing, Forbes, July 23, 2026 [8] Statement on the US government directive to suspend access to Fable 5 and Mythos 5 [9] What is an AI Agent Harness?, Databricks Blog [10] Smart routing for coding agents [11] Smart Routing in Unity AI Gateway: Match frontier quality with 30%+ lower cost per task [12] Databricks-hosted foundation models, Databricks docs [13] Agent Bricks: Data + AI Summit 2026, Databricks Blog [14] Configure routing and fallbacks for model services [15] GLM-5.3 (max) API Provider Benchmarking & Analysis [16] https://artificialanalysis.ai/models#end-to-end-response-time [17] Govern external model providers (model provider services) [18] Databricks Unity AI Gateway Documentation [19] Manage budgets for Unity Gateway [20] Unity AI Gateway: How to connect agents to external MCPs securely, Databricks Blog [21] Skills support in Unity Gateway [22] Databricks CEO: We're hosting open source models like Kimi and running out of GPUs, CNBC, July 17, 2026 [23] Models & Credentials, Omnigent docs [24] Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase [25] Governing MCPs at Scale with Unity AI Gateway [26] Use Open Source models with coding agents [27] Unity AI Gateway: Multi-AI governance and cost control, Databricks [28] Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents, Databricks Blog [29] GLM-5.2 Providers: Output Speed Comparison, Artificial Analysis [30] Introducing AI spend controls with Unity Gateway [31] Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents

探索 Unity AI Gateway

了解如何通过统一平台治理、路由和监控开放权重、前沿模型和外部模型。

在邮箱中获取最新文章

订阅我们的博客,将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"