T
traeai
登录
返回首页
Towards Data Science

逃离BI的选择谷:生成式BI将如何取代数据分析师

7.8Score
逃离BI的选择谷:生成式BI将如何取代数据分析师

TL;DR · AI 摘要

文章提出“BI选择谷”概念,解释了在数据分析中因问题复杂度与投入努力之间的权衡导致的效率瓶颈,并指出生成式AI驱动的Text-to-SQL技术正打破这一平衡,使高复杂度查询也能以低门槛快速完成,从而重塑数据分析师的角色。

核心要点

  • Text-to-SQL 技术使95%以上的常见分析问题能被自动化解决,显著降低查询成本。
  • 传统仪表板(dashboard)仅适合中等复杂度问题,无法支持深度洞察发现。
  • 生成式BI(Agentic BI)将推动数据分析师从执行者转变为处理“极难问题”的专家角色。

结构提纲

按章节快速跳转。

  1. 文章引入‘选择谷’概念,描述在BI中因问题复杂度和努力投入之间的权衡导致的效率困境。

  2. 通过餐厅比喻说明不同分析方法对应的不同成本与精度,如11 Madison Park代表高成本高精度,普通餐厅代表中等方案。

  3. 生成式BI通过Text-to-SQL技术实现低门槛、高效率的复杂查询,打破了传统分析工具的局限性。

  4. Hex等平台结合记忆机制,使Text-to-SQL能够处理复杂查询,大幅降低分析门槛。

  5. 随着自动化工具普及,数据分析师将主要负责解决最复杂的、非标准化的问题。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Escaping the Valley of Choice in BI
    • Valley of Choice
      • High Effort, High Accuracy
      • Low Effort, Low Accuracy
      • Moderate Effort, Moderate Accuracy
    • Agentic BI
      • Text-to-SQL
      • Memory-Augmented Platforms
      • Automation of Routine Queries
    • Impact on Analysts
      • Shift to Expert Role
      • Focus on Complex Problems
      • Reduced Manual Workload

金句 / Highlights

值得收藏与分享的关键句。

  • 选择谷描述了速度与准确性的权衡,取决于洞察需求的本质。

    第 2 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Hex等平台结合记忆功能,使Text-to-SQL能够解决以前需要手动处理的复杂问题。

    第 3 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 随着可靠的Text-to-SQL出现,分析师只会被问到真正棘手的问题,成为超级分析师。

    第 4 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#BI#生成式AI#Text-to-SQL#数据分析#数据工程师
打开原文

逃离商业智能中的选择谷

URL 来源:https://towardsdatascience.com/escaping-the-valley-of-choice-in-bi-how-agentic-bi-will-kill-data-analysts/

发布日期:2026-06-01T12:00:00+00:00

引言

数据分析师正在被取代,因为他们局限于商业智能(BI)中的“选择谷”之中。

“选择谷”描述了问题的复杂性与我们愿意投入解决它所需努力之间的完美比例。

例如,一个关于收入是如何构成的、以及不同版本的收入为何随时间变化的业务关键问题,可能需要手动探索。这可能需要通过多个 SQL 查询进行深入发现,并手动记录结果并追踪数据血缘关系。

这是高努力、高准确性的方法。

相比之下,对简单数据集的简单问题,如“我昨天有多少注册用户?”,可以通过较低努力、更简单的方法来满足,比如 Thoughtspot 等工具中看到的基本文本转 SQL 方法。

在中间是仪表板。仪表板为中等复杂度的问题提供了中等努力的解决方案。它们能够回答多个问题,并通过数据透视来解释异常和预测趋势。它们并不帮助你“发现”洞察,而是帮助你“交付”你已经找到的洞察。

当某个问题被频繁询问时,它就值得创建一个仪表板,从而立即从棘手的一次性手动洞察转变为更简单且可重复的内容。

代理分析(Agentic Analytics)提供了一种新的方式来发现和呈现洞察。这就是文本转 SQL。这种新方式意味着以前中等复杂的查询现在可以即时回答。

像 Hex 这样的工具在其平台上整合了记忆功能,这意味着即使复杂的查询,结合记忆功能后,文本转 SQL 也能解决复杂问题。

这改变了努力与复杂性之间的必要比例,并将重塑我们对分析的看法。让我们看看它是如何实现的。

解释 BI 中的选择谷

选择谷可以如下图所示。

图片 1

BI 中的选择谷。作者提供的图像

它描述了速度与准确性之间的权衡,由需求或洞察的本质决定。在其他条件不变的情况下,最重要的问题需要最高的准确性,而这反过来又证明了更耗时(高努力)方法的合理性。

这有点像说你可以花 20 美元从熟食店买一个美味的三明治,或者花 500 美元去 11 Madison Park 吃一顿饭。两种不同的产品,两种不同的选择,两个不同的价格点。仪表板就像在普通餐厅吃饭。每人 100 美元,但如果你是纽约的单身汉,就不合适了。

现在:想象有一家新餐厅。这家新餐厅非常排他。食物令人惊叹;所有食材都是有机的。服务出色。很多名人去那里。它非常受欢迎。你可以以 40 美元的价格吃到一顿美味的三道菜餐。我们可以称之为 Hugo 的餐厅。

事实上,这是一个新趋势的一部分。Hugo 拥有庞大的餐饮帝国。有 Hugo 的餐厅,还有 Casa Hugo、Chez Hugo、Hugo's Table,甚至 Hugo-San。Hugo-San 提供全市最好的寿司料理,价格仅为 39.50 美元。

图片 2

这可能是你。使用 Gemini 制作

你会怎么做?你在哪里用餐?11 Madison Park 突然不再那么繁忙了。而 BI 正在发生同样的事情。

简而言之,通过新一代文本转 SQL 运行查询的成本和速度非常低。这意味着除非绝对必要,否则根本没有理由做任何其他事情。无论如何,你肯定不会向下走。

是的——有时你可能需要手动做一些事情。只是为了确保。同样地,没有什么比 Dorsia 更能击中数据之夜(数据?)了。

变化的选择谷:分析的标准刚刚提高

想象一下,你不需要费力就能让语义层运行起来,而文本转 SQL 能够可靠、重复地解决你 95% 的问题。

分析师几乎变成了超级分析师。他们只会被问到那些真正棘手的问题。他们很可能是最初设计语义层的人。

图片 3

BI 中的新选择谷。作者提供的图像

准确性的代价变得更高了。要手动做某事,你最好是在问一个极其重要的问题。

这对分析师意味着什么?嗯,与软件工程师的情况大致相同。现在意味着真正有用的人的比例变得更小了——当然,这是一种基于能力的机制。

无法成为语义架构师的分析师将在12个月内变得毫无用处。他们将被洞察代理(insights agents)取代。如果他们仍然坚持,那么CTO们一定做错了什么,应该考虑引入服务合作伙伴来帮助他们实施其语义层。

在分析领域工作的门槛已经提高。现在出现了一位新的竞争者,它的名字叫A. Gent。就像软件工程一样——初级人员被淘汰,高级人员上位。

关于令牌成本呢?

令牌成本是一个有趣的话题。自首批模型推出以来,令牌成本总体已下降了95%[1]。推理成本持续下降,并且预计在未来几年内还将进一步降低95%[2]。

图片 4

来源:Epoch AI(CC-BY)

尽管如此,像Uber这样的公司仍在迅速消耗他们的信用额度。毕竟,信用额度很有趣。Claude令人上瘾。Tokenmaxxing是被鼓励的。

事实上,前沿模型的价格并没有大幅下降。Claude在2023年的成本约为每百万输出令牌32美元。现在仍然是25美元。

实际上,随着系统变得更加复杂,令牌使用量预计将呈指数级增长,目前尚不清楚收益何时会出现,甚至是否会出现。例如,Claude生成100万个输出令牌大约需要25美元。假设通过代理运行几个查询需要1000个令牌。这意味着每次查询的成本为0.025,即2.5美分。

每天有1万人进行一次这样的操作,一年365天,总成本为9.1万美元。还不错。

如果分析师的成本是10名分析师,每人10万美元,那么回报率开始看起来不错。如果推理成本进一步降低,情况会更好,而这种降低是必然的。

我怀疑“每个‘洞察’1000个令牌”这一假设可能偏低。然而,随着推理成本的降低和技术的进步,这种成本必然会继续下降。

例如,假设最初代理需要很长时间才能学会当市场部门说“给我看看收入”时,这与财务部门说“给我看看收入”时是不同的查询集。

一旦这一点被编码并可重复执行,这应该只需要极少的令牌。它应该变成一个仪表板、持久查询,甚至可能是代理的“技能”。当人们每周都问同样的问题时,我们不需要一百万个输出令牌。

当然,随着时间的推移,人们通常会问类似的问题。

因此,我对令牌成本持乐观态度。虽然当前市场上不可避免地存在一个奇怪的时刻,即推理成本可能过高,但我相信推理成本将会下降。随着人们构建更可靠和可重复的系统,产生可靠和可重复洞察所需的令牌数量也将减少。

哪些BI供应商会赢,哪些会输?

有几个因素在起作用:

  1. 代理的强度
  2. 市场定位
  3. 规模和生态系统

代理的强度(代理分析)

毋庸置疑,代理的强度至关重要。目前有少数几家公司拥有强大的分析代理。

  1. Lightdash
  2. Omni
  3. Hex
  4. TextQL

这些公司各自成功的原因不同。Lightdash与dbt语义层紧密集成。Omni有自己的产品,前Looker团队成员,非常了解该领域。Hex拥有出色的代理基础设施和内存,而TextQL则是一种必须亲自使用才能相信的产品。

值得注意的是,数据仓库也有自己的版本。Snowflake Cortex Intelligence和Databricks Genie都是投入大量资金的产品。如果足够好,客户就会使用它们。

市场定位

并非每个BI供应商都能真正关心或担心这些因素。例如,Tableau将继续通过Salesforce获得收入。其成功将取决于Salesforce的粘性。

没有优势的独立BI工具在这里处境艰难。Sisense、Qlik和Looker几乎没有理由继续被选择,如果他们无法开发出更好的代理分析层——而且他们没有董事会中的“大哥哥”来照顾他们。

像Sigma这样的公司,历史上与Snowflake等公司关系密切,现在直接与它们竞争。因此,他们处于一个棘手的位置,以观察谁能构建出最好的AI数据分析师。

规模和生态系统

一些公司可能规模太大、生态系统太庞大,无法被完全取代。例如,Tableau、Sigma和Power BI都有庞大的生态系统,难以轻易移除。

如果仪表板能够可靠地发挥作用,它们将会保留下来。请记住——仪表板存在于“选择谷”中。这是因为点击进入一个已知、可靠的仪表板仍然比提出问题、将其输入聊天窗口、等待、要求绘制图表等要省力得多。

这意味着已经实施了仪表板的公司将很可能保留它们。然而,预计随着代理BI迫使用户基于定价模式退出,将面临巨大的价格压力。

结论——BI将在3年内整合

逻辑结论是进一步整合。

AI 意味着构建仪表盘变得异常简单。

商业智能(BI)领域的转变,从“不可思议”到“理所当然”,意味着代理分析、仪表盘和手动工作之间的成本权衡发生了巨大变化。

实际上,按使用量计费的模式直接对抗了传统的按用户计费的定价模式,即使在结构上不完全相同,至少在成本上也形成了鲜明对比。虽然公司可能愿意为像 Hex 这样的代理式 BI 工具支付少量用户费用,但它们绝不会愿意为制作一些 Tableau 仪表盘而支付 5000 美元。

了解更多关于整合的内容 –> **《现代数据栈的最终航程》**

与此同时,公司将直接与该领域中最大、资本最雄厚、研究最深入的公司竞争:超大规模云服务商和数据仓库提供商。如果这些工具足够优秀,没有理由不利用 Snowflake Cortex Intelligence 和 Databricks Genie 等工具。

这意味着行业将继续围绕 BI 和分析代理进行整合。除非独立供应商能够比数据仓库厂商更快地持续推出更优质的产品,否则这一领域将日益商品化。

Orchestra,我们正在为工程师打造代理层。关注我们以了解更多信息

AI 可能会生成不准确的信息,请核实重要内容

逃离BI的选择谷:生成式BI将如何取代数据分析师 | Towards Data Science | traeai