Databricks

A builder’s guide to scaling Databricks Apps

8.5内容质量

TL;DR · AI 摘要

本文提供扩展Databricks应用的四阶段指南,涵盖性能目标设定、缓存策略、负载测试及实例优化,确保应用在高负载下保持响应和可靠性。

核心要点

  • 设定p95延迟和峰值用户数是扩展Databricks应用的基础
  • 硬状态需存储在Lakebase或Unity Catalog实现跨实例恢复
  • 通过负载测试确定实例规模可降低30%以上成本

结构提纲

按章节快速跳转。

  1. 介绍Databricks应用扩展的挑战与成本控制需求

  2. 明确p95延迟和峰值用户数等关键性能指标

  3. 区分软状态与硬状态存储方案,推荐Lakebase/Unity Catalog

  4. 异步代码设计与按需计算实例分配方法

  5. 通过负载测试确定实例规模与资源预算

  6. 持续监控与动态调整实例配置的实践

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Databricks应用扩展
    • 设计阶段
      • 性能目标(p95延迟)
      • 可扩展性指标(峰值用户)
    • 构建阶段
      • 软状态缓存策略
      • 硬状态存储(Lakebase)
    • 测试阶段
      • 负载测试方法
      • 实例规模验证

金句 / Highlights

值得收藏与分享的关键句。

#Databricks#应用扩展#云架构#性能优化
打开原文

构建者指南:扩展Databricks应用 | Databricks博客

跳至主要内容

数据战略

2026年11月5日

构建者指南:扩展Databricks应用

如何在使用量增长时保持应用的快速和可靠

作者:Bruno Tafur 和 Tushar Madan

摘要

  • 扩展Databricks应用应从编写任何代码之前开始:明确应用响应速度要求和高峰期需支持的用户数量,将繁重工作分配给合适的服务。应用计算服务负责界面呈现并协调服务调用。
  • 可扩展的代码在等待服务响应时保持应用响应性,使用按用户缓存并保持状态可恢复性。软状态可重新构建;硬状态存储在Lakebase或Unity Catalog表中,确保任何实例都能重建会话。
  • 使用负载测试和遥测数据选择实例规格、工作节点数量和实例数量。合理规划Lakebase连接预算,并根据实际需求和可用性目标增加计算资源。

恭喜,你已在Databricks应用平台上构建了应用,其用户规模已从最初的几位用户扩展到组织内的数百甚至数千人。用户希望应用响应快速且持续可用,而你的上司可能并不喜欢为一堆实例上的XLarge计算资源买单。

如何构建一个能快速运行、保持稳定并应对增长需求的应用?直观的答案是增加计算资源,但只有在了解请求处理时间分布和应用是否具备扩展能力后(包括其框架、异步代码以及跨多实例运行能力)才能真正奏效,使平台能够轻松实现横向或纵向扩展。

在本指南中,我们将逐步讲解如何通过四个阶段扩展Databricks应用:设计;开发;测试与部署;以及运维(图1)。

本指南的重点主要在于大规模下的应用性能和弹性,不涉及部署自动化或其他可能与应用交互的Databricks服务的性能优化和扩展。

图1:Databricks应用扩展的四个阶段。

优秀的扩展决策应从编写任何代码之前开始:明确用户对应用的需求,然后决定工作负载的运行位置和数据存储位置。

从目标开始:峰值用户和延迟

在选择架构之前,明确应用需要处理的负载规模和理想用户体验非常重要。我们建议确定两个主要目标:

  • 性能:关键操作必须多快响应?我们建议基于百分位数(如p95)设定端到端延迟目标,该指标能捕捉平均值无法显示的较慢体验。包含UI渲染时间,并单独处理冷启动时间。对于流式AI响应,首次生成令牌的时间也至关重要。
  • 可扩展性:高峰期有多少活跃用户?他们使用频率如何?应用需要支持多大的增长规模?月末等繁忙时段应包含在估算中,因为这是应用必须在延迟和错误率目标内处理的负载。

同时,确定哪些工作必须在重启后继续执行,并验证关键依赖项能否支持该需求。这将影响状态划分方式和实例运行数量。

接下来,绘制几个用户旅程示例,如打开仪表板或提交问题。对于每个操作,记录调用的服务、大致调用次数、依赖关系、预期完成时间和缓存数据可接受的陈旧程度。这些假设将塑造架构设计和首次测试目标。一旦原型运行,可以通过实际调用数据进行测量并修正假设。

假设一家零售商为其2000名门店经理提供了一款基于Lakebase支持的App,用于检查库存。在黑色星期五最繁忙的那个小时里,有200名经理同时使用该App。如果每位经理平均每分钟进行两次库存检查,那么总共有400次检查每分钟。如果每次检查需要向Lakebase执行3条SQL语句,预计每分钟会产生1200条语句,即在该小时内平均每秒20条。

这估算的是查询速率,而非并发量。需要测试突发流量和增长情况,并根据实际使用数据验证,同时要单独规划连接数预算(参见“规划连接到Lakebase的预算”)。

设计:规划架构

保留应用计算资源用于服务应用

应用计算资源的职责是服务UI界面并协调调用,而不是执行繁重任务。我们建议将每类工作都发送到对应的专用服务中(见图2)。对于长时间运行的调用,应在后台执行工作(例如作为作业),让UI通过轮询获取状态或接收流式更新,而不是保持一个请求直到完成。

如果应用需要运行不受控代码(例如用户编写的代码或代理生成的代码),不要在应用中运行。应使用Databricks Sandbox这一隔离环境来运行,该环境可从自定义镜像启动,确保其CPU和内存使用不会影响服务用户的实例。

图2:各类工作运行位置与状态存储位置。

规划扩展性并选择框架

当更多用户使用你的应用时,可以通过两种方式增加容量:纵向扩展(vertical scaling)通过迁移到更大规格的计算实例,为每个实例提供更多的CPU和内存;或横向扩展(horizontal scaling)通过增加实例数量来分担请求负载。当繁重工作在应用外部运行时,通常限制其性能的是同时能处理的请求数量。

例如在黑色星期五案例中,每次库存检查本身很轻量,但200名门店经理的检查请求可能同时爆发。增加实例数量可以分散这些请求,如果应用能利用额外的CPU核心(通常通过运行更多工作进程),更大规格的实例会更有帮助。对于需要在内存中保持大型参考数据集或模型的应用,限制因素则不同。更大规格的实例能提供所需的内存,而增加实例数量没有帮助,因为每个实例都会加载自己的副本。你可以从中等规格开始,稍后本指南中的负载测试会显示你需要哪种方式。

框架后期更难更改,因此现在选择很重要。Databricks Apps支持基于Python或Node.js构建的应用,你并不局限于以下框架。对于大多数新应用,我们推荐使用AppKit——这是TypeScript SDK,也是databricks apps init和Databricks代理技能默认使用的工具。AppKit内置了缓存、遥测、重试逻辑和错误处理,为本指南中提到的多项实践提供了起点。AppKit默认为每个实例运行一个Node.js进程,因此最简单的扩展方式是增加实例数量。

如果你已有应用,或后端需要使用Python:

  • JavaScript前端配合API后端(FastAPI、Flask或Express):在浏览器中保留UI状态,并确保服务器端状态能在工作进程和实例之间恢复。Python后端可以在每个实例上运行多个工作进程(例如使用Uvicorn或Gunicorn)。Node.js后端默认每个实例运行一个进程,因此需要通过增加实例数量来扩展。
  • Streamlit 或 Gradio 框架:适合快速构建 Python 数据和 AI 工具。Streamlit 以单进程方式运行,两者都依赖于实例本地的会话处理,因此在重启和扩展时需测试会话连续性。对于需要跨实例无缝恢复的可扩展应用,建议采用上述方法之一,因为这些框架不推荐用于此类场景。

无论选择哪种方案,如果会话状态存储在服务器内存中,建议在扩展前测试会话迁移到其他实例时会发生什么情况。

规划可跨重启和扩展保持的应用状态

大多数 Databricks 应用都会在内存中保存部分状态,只要清楚哪些部分可以承受丢失即可。一个有用的初步步骤是列出每个会话保存的内容以及必须跨重启保留的内容,然后将其划分为软状态和硬状态:

| 什么是 | 软状态 | 硬状态 | |---|---|---| | 临时工作数据,用于速度或上下文 | 真实数据源,持久化保存 | | | 示例 | 内存上下文、缓存、进行中的工作 | 业务记录、检查点、保存的偏好 | | 存储位置 | 通常存储在实例内存或本地磁盘,绑定到单个实例 | Lakebase 或 Unity Catalog 表,所有实例均可访问 | | 如果丢失 | 可能从硬状态重建 | 必须跨重启和故障存活,符合您的恢复需求 |

这种划分方式取决于应用类型:

  • AI 代理:在循环运行时,将对话上下文、工具输出和计划保存为软状态,每个有意义的步骤后保存检查点。
  • 工作流应用:将进行中的状态流或轮询到 UI,并保存每个完成的步骤。
  • 仪表板:在内存中保存筛选值、参考列表和小数据集,将用户偏好和保存的筛选器作为硬状态保存。

图3:当会话迁移时,其他实例可以从硬状态重建会话。

Databricks 应用尽最大努力将每个用户保留在同一实例(会话亲和性),并在需要时重新平衡会话,因此您的应用在本地保存的任何用户缓存通常都能保持可用。但重启、故障和扩展仍可能导致会话迁移,因此其他实例必须能够从硬状态重建会话(图3)。

构建:编写可扩展且能跨重启运行的代码

在确定目标和架构后,下一步是编写能承受负载的代码,包括会话迁移或实例停止时的场景。

在需要之前就启用监控

我们建议从一开始就启用遥测功能,这样在需要时数据已经就绪。应用遥测通过 OpenTelemetry 将日志、追踪和指标写入 Unity Catalog 表。一旦为应用启用遥测,日志会自动到达,但追踪和指标需要进行代码埋点。

您应该在 SQL、数据库、模型和 API 调用周围创建自定义追踪段,以显示时间消耗位置。同时在追踪段中记录捕获的异常,这样它们会显示在您的追踪中。追踪和请求 ID 可让您跨实例跟踪单个用户的请求。例如,围绕 SQL 调用的追踪段:

$

/$

使用异步代码并减少冗余调用

大多数应用程序的运行时间都花在等待其他服务上:SQL 查询、模型调用、外部 API。使用阻塞调用时,每次等待都会占用一个执行槽位,直到整个调用完成。少量缓慢的调用就可能耗尽这种容量。这就是为什么异步处理程序对 I/O 密集型工作至关重要。当处理程序等待模型和数据库调用时,只要这些调用是非阻塞的,一个工作线程可以在等待期间继续为其他请求服务。你的追踪记录和系统指标会显示这种情况:如果请求的大部分时间都花在 SQL、模型或 API 的跨度上,且随着并发用户数增加延迟上升而 CPU 使用率保持低位,请求很可能在阻塞调用后排队。

即使使用异步处理,如果一个请求依次运行查询,它仍然可能很慢。应同时启动独立查询(例如使用 asyncio.gather 或 Promise.all),这样请求的耗时将接近于最慢查询的时间。同时值得限制并行运行的查询数量,以防止单个请求淹没仓库或数据库。通常,合并查询比运行 N+1 查询更好,即应用程序先获取列表,然后对每个项目运行一个额外查询:使用连接或 IN 子句可以在一到两次查询中完成相同的工作。

默认按用户缓存数据

缓存可以加速应用程序,但也可能导致数据泄露:应用级别的缓存不会强制执行 Unity Catalog 权限,因此共享缓存可能让一个用户看到另一个用户的数据。应根据用户的验证身份和查询参数来限定缓存键的范围,在需要时也应按会话限定;永远不要使用客户端发送但未验证的身份作为缓存键。只有在数据对所有人完全相同时才共享缓存数据。对于许多用户同时读取的共享条目,可以让一个请求在其他请求等待时刷新过期条目,避免所有请求同时冲击仓库。例如,AppKit 的缓存会在每个实例内对并发缓存未命中进行去重。

应用容器重启或会话迁移时

将软状态和硬状态设计付诸实践的关键在于以下几点建议:

  • 持久化任何需要在重启或部署后仍然存在的数据。内存适合用于一次性缓存,但不适合用于用户无法承受丢失的工作数据。
  • 在不希望重复工作的地方进行检查点记录,并使步骤具有幂等性,以便重试是安全的。
  • 使会话可移植,这样任何实例都可以从硬状态重建会话(图 3)。仅重新加载所需内容,并缓存以避免重复读取。
  • 浏览器应用会自动获得会话亲和性。对于有状态的 API 客户端,请发送稳定的 X-Routing-Key 请求头,并根据拥有软状态的实体进行键值设置。选择足够具体的键来分散负载,例如使用对话或用户 ID 而非租户 ID。客户端设置该请求头,因此只能将其用于路由,绝不能用于确定用户身份。
  • 预期数据库连接也会中断。当数据库重启或故障转移时,连接会中断。使用有界退避和抖动重新连接,避免所有实例同时重新连接导致连接风暴。在重试写入之前,请先检查数据库以确认它尚未处理过该操作。
  • 保持启动过程轻量。每次重启、部署和新实例启动时,都需要加载模型或数据集、预热缓存和打开连接池才能开始处理流量。避免在启动时进行大型安装和阻塞外部调用,仅在需要时加载重型资源。

优雅关闭

当重新部署应用时,Databricks 会发送 SIGTERM 信号,如果应用在 15 秒内未退出,会继续发送 SIGKILL 信号。这个时间窗口用于执行最终检查点。重要工作应在正常运行期间已保存。

以 FastAPI 为例,Uvicorn 会在执行生命周期清理前完成所有开放请求。save_in_progress_sessions() 代表您自己的用于保存未完成工作的函数:

这假设使用异步连接池(例如 psycopg 的 AsyncConnectionPool)。Apps-to-Lakebase 教程使用同步连接池,关闭时无需 await。

将 Uvicorn 的 --timeout-graceful-shutdown 设置为低于 15 秒(例如 10 秒),防止长时间请求占用检查点时间,并使用自己的工作负载测试关闭流程。AppKit 的 Lakebase 插件会在关闭时自动关闭连接池;任何自定义的检查点操作仍需在相同时间窗口内完成。

测试与部署:负载测试与峰值规模

图 4:阶梯式负载测试期间的系统指标:在最后一步延迟突然增加,而 CPU 和内存仍低于限制。

发布前进行负载测试,可帮助您将估算值转化为更接近实际的决策:实例规格、每实例工作线程数和实例数量。

如何对 Databricks 应用进行负载测试

我们建议在生产前使用预期峰值下的真实用户流程进行负载测试。工具如 Locust 可报告每秒请求数、延迟百分位数和每个步骤的失败率,并根据您为关键操作设定的延迟和错误率目标判断测试是否通过。测试运行期间,应用内置的系统指标会显示每分钟请求数、延迟以及 CPU 和内存使用情况,帮助您识别应用首先触及的限制(图 4)。

逐步增加并发用户,直到吞吐量停止增长或延迟和错误率超出目标。尝试多种实例规格和工作线程组合是有价值的,因为更大的配置不一定是更快的。我们还建议在测试环境中验证恢复能力:停止并重新启动应用(而不仅仅是重新部署或调整实例数量),然后检查用户是否能继续操作、恢复耗时以及是否有工作丢失。对于代理应用,负载测试指南会演示如何先使用模拟 LLM 测量应用自身的吞吐量,再使用真实模型测试端到端延迟。

负载生成器本身可能成为瓶颈:它可能先耗尽 CPU 或连接,认证错误或限流响应可能表现为延迟增加。关键指标是持续成功请求在延迟目标内的表现,而非短暂的峰值。

负载测试还应验证应用后端服务的响应能力。如果仓库开始排队或模型端点被限流,请扩展该服务而非应用本身。

选择实例规格

Databricks 应用提供三种规格:中型(默认,最多 2 vCPU 和 6 GB)、大型(最多 4 vCPU,12 GB)和超大型(最多 12 vCPU,48 GB)。选择取决于应用首先触及的限制,建议从中小型开始,让负载测试指导您:

负载测试显示的现象

可能原因

应对措施

应用 CPU 使用率低但请求缓慢

应用在等待后端资源,或阻塞调用占用了工作线程

保持当前规格。优先修复查询、仓库、连接池或阻塞调用,同时检查每个进程的 CPU 使用情况:一个满载的核心可能表现为整体低 CPU

CPU 接近限制,服务器运行多个工作线程(例如 FastAPI 配合 Uvicorn)

应用可以使用更多核心

升级到大型实例

CPU接近极限,单进程应用(默认为Streamlit或AppKit)

性能分析显示工作仅限于一个核心

增加实例数量。只有当应用能够利用额外核心时(例如通过工作线程或本地库),增大实例规模才有帮助

内存接近极限

内存中存储了大型数据集或模型

为内存扩容:大型实例的内存是中型的两倍,XLarge实例单个实例可提供48GB内存

恢复测试:当唯一实例重启时应用会中断

没有备用实例接管

增加实例数量,而非增大实例规模

每个实例应运行多少个工作进程?

工作进程是每个实例内的服务器进程。对于支持该模型的Python服务器,您可以在启动时设置数量(例如 uvicorn --workers 2),该设置适用于每个实例。

单个工作进程可能导致CPU空闲,但额外工作进程也会争夺CPU和内存资源。根据我们的负载测试指南中的基准测试,中型实例使用两个工作进程的表现优于使用四个,而大型实例的吞吐量约为中型的2.2倍。将文档中提到的初始建议(中型实例使用2个工作进程,大型实例使用8个工作进程)作为初步参考:该基准测试模拟了LLM并受CPU限制,而实际应用如果主要等待模型调用,可能能从额外工作进程中获益更多。请使用真实模型进行自己的负载测试来确定最佳数量。

应用应运行多少个实例?

通过水平扩展,您可以自行设置实例数量。默认每个应用的实例数量上限为5个,如果负载测试显示需要更多,您的Databricks代表可以提高该限制。根据预期的峰值和增长情况设置实例数量。在实例数量变更期间应用仍会持续提供服务,计算成本会随实例数量线性扩展。如果您正在迁移现有应用,建议先在副本上进行测试。

为提高可用性,我们建议至少运行两个实例,并确保在丢失一个实例后仍有足够容量处理峰值负载:如果峰值需要两个实例,应运行三个实例。额外实例可防范实例故障,但无法防范应用后端服务的问题。

规划与Lakebase的连接

对于通过OAuth连接到Lakebase的Databricks应用,我们建议从数据库的标准连接字符串(非PgBouncer)开始,使用应用端连接池。如Apps-to-Lakebase教程中Python示例所示,该连接池会重用连接,并在打开新连接时获取最新的OAuth凭证。将池超时时间设置为在请求截止时间前为查询本身留出足够时间。

这些连接会累积,因此在增加实例或工作进程前应先进行规划。每个工作进程使用一个连接池时,最大连接数上限为:实例数 × 每个实例的工作进程数 × 连接池最大大小。例如,5个实例,每个实例8个工作进程,连接池最大为10时,最多可打开400个连接。加上其他客户端和应用代表用户打开的连接后,将总数与数据库的文档限制进行比较,并为新旧版本并行部署预留空间。

代表用户(OBO)查询需要身份容量。这意味着每个以自己身份查询Lakebase的用户都需要自己的PostgreSQL角色,而Lakebase每个分支允许500个角色。对于更大的用户群,应尽早决定哪些查询确实需要按用户访问。增加实例数量不会改变此限制。当组级权限足够时,可以为Databricks组创建一个PostgreSQL角色,允许组成员使用自己的OAuth令牌连接,这样一个角色即可覆盖整个组。

无停机部署与安全回滚

对于水平扩展的应用,Databricks 会先更新一个实例,待其成功后再更新其余实例,从而确保应用持续提供服务。部署后仍需检查应用是否健康以及会话是否恢复。将代码保留在 Git 中意味着可以通过重新部署已知良好的标签或提交来回滚。在部署过程中,新旧版本会并行运行,因此要确保数据库和检查点格式对两者都可读,并且在确认不会回滚之前不要删除旧版本所需的字段。

运维:从数据中监控、诊断和修复问题

发布后,工作进入一个循环:找出最慢的步骤,修复它并再次测量。这就是为什么我们在生产环境中始终保持遥测功能开启。在水平扩展的应用中,日志标签中的 Live view 每次只显示一个实例;启用遥测后,App Telemetry Logs 会显示所有实例。

当出现性能问题时,可以端到端追踪请求(图5)。

图5:请求耗时分布及主要瓶颈位置。

从症状入手

我们最常看到的症状及其通常指向的位置:

症状

检查位置

空闲期或部署后首次请求缓慢

应用遥测中的 Insights 标签页系统指标和追踪

冷启动:应用启动或服务从空闲状态唤醒

检查应用启动时间,确认 Lakebase 或 SQL 数据仓库在空闲时是否停止运行,并保持启动过程轻量

在添加应用计算资源前,检查追踪中是否有查询、数据仓库或连接池延迟

对于单进程应用,需注意整体CPU利用率低仍可能表示某个核心已满载

应用CPU或内存接近限制

Insights 标签页系统指标

应用本身是瓶颈,或内存中保存了过多数据

对CPU密集型任务进行剖析,将大状态数据移出内存,然后参考“选择实例规格”中的指导

等待数据库连接超时

应用日志和 Lakebase 指标

连接池争用、长事务或数据库连接限制

检查连接使用情况和事务持续时间,然后在连接预算内调整连接池或数据库容量

部署或重新扩展期间用户丢失工作或看到错误

存在无法重建的软状态,或关闭操作未在15秒内完成

对关键工作进行检查点保存,确保会话可在任何实例上重建,并使用真实请求和流测试关闭过程

设置健康警报

我们建议将警报设置作为部署的一部分进行规划:确定应用宕机时通知谁,并将 Apps API 的 app_status.state 和 compute_status.state 喂入监控工具。仅凭应用状态无法证明用户能正常工作,因此还需检查具有延迟和错误率指标的代表性用户旅程。设置阈值时需允许部署期间的短暂状态变化。

总结

扩展 Databricks 应用意味着要对整个请求路径进行容量规划,而不仅仅是应用服务器:设定延迟和峰值负载目标,将繁重工作交给专用服务处理,保持状态可恢复,并让负载测试和遥测数据决定容量分配。根据测量结果添加计算资源,而非作为第一反应。

要深入了解,请阅读如何使用 Databricks Apps 和 Lakebase 构建生产级数据和 AI 应用。如需更多详情,请参阅文档中的《Databricks Apps 最佳实践》和《Databricks Apps 的日志记录与监控》。针对不同应用类型(如内部工具、AI 协作助手和智能代理工作流)的架构模式,请观看 Data + AI Summit 2026 的主题演讲《构建更好的应用》和《为数千用户构建状态化应用》。

常见问题

如何扩展 Databricks 应用?

通过四个阶段进行扩展:设计、构建、测试和部署、运营。首先设定延迟和峰值负载目标,为 UI 服务保留应用计算资源,并编写具有可恢复状态的异步代码。随后通过负载测试和遥测数据决定是升级到更大实例还是横向扩展到更多实例。

我应该纵向扩展还是横向扩展 Databricks 应用?

这取决于应用首先触及哪种限制。当请求以突发方式到达或单进程应用绑定到单个核心时,通过增加实例进行横向扩展。当应用需要更多内存,或运行多个可使用额外核心的工作者时,升级到 Large 或 XLarge 实例。

Databricks Apps 提供哪些实例规格?

Databricks Apps 提供 Medium(默认规格,最高 2 个 vCPU 和 6 GB)、Large(最高 4 个 vCPU 和 12 GB)和 XLarge(最高 12 个 vCPU 和 48 GB)。建议从 Medium 开始,通过负载测试确定应用所需的规格。

当应用重启或扩展时如何保持用户会话?

将会话状态分为可重建的软状态和持久化存储在 Lakebase 或 Unity Catalog 表中的硬状态。Databricks Apps 会尽力将每个用户保留在同一实例上,但重启和扩展仍可能导致会话迁移,因此任何实例都必须能够从硬状态重建会话。

扩展后的应用最多可以打开多少个 Lakebase 连接?

每个工作者使用一个连接池时,上限为实例数 × 每个实例的工作者数 × 连接池最大容量。例如,5 个实例、每个实例 8 个工作者、连接池上限为 10 时,最多可打开 400 个连接。将该总数与数据库的文档限制进行对比,并为部署预留容量。

准备好将应用从几十用户扩展到数千用户了吗?请参阅文档中的《Databricks Apps 最佳实践》和《Databricks Apps 水平扩展》。

"探索 Databricks Apps" →

相关标签:

最佳实践

订阅获取最新文章

订阅我们的博客,最新文章将直接发送到您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"