RAG正在烧钱——我构建了一层成本控制机制来修复它
RAG系统在生产中常因上下文过取、无缓存、无模型路由导致成本激增;作者构建成本控制层,通过语义缓存(98.5%命中率)、查询路由(81%请求转向低成本模型)与令牌预算熔断机制,在10,000请求/日下实现85.8%成本削减且质量不变。
入选理由:上下文过取使每查询平均多消耗350 tokens,10k请求/日造成$52.5/日浪费(按$0.015/1K tokens计)
公司
别名:TDS
技术博客平台,发表数据科学相关内容
已跟踪 30 条高相关材料
最近变化
2026-11-18 · 权限检查应在模型处理数据前实施,防止未授权访问。
为什么值得关注
Towards Data Science 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
RAG Is Burning Money — I Built a Cost Control Layer to Fix It
Towards Data Science · 9.2 分
RAG系统在生产中常因上下文过取、无缓存、无模型路由导致成本激增;作者构建成本控制层,通过语义缓存(98.5%命中率)、查询路由(81%请求转向低成本模型)与令牌预算熔断机制,在10,000请求/日下实现85.8%成本削减且质量不变。
From Regex to Vision Models: Which RAG Technique Fits Which Problem
Towards Data Science · 9 分
RAG 技术并非万能,应根据文档结构和问题控制程度选择合适方法:模板化文档用正则表达式,客服对话需 LLM 判断语调,工程图纸必须使用视觉模型。
RAG Is Not Machine Learning, and the ML Toolkit Solves the Wrong Problem
Towards Data Science · 8.7 分
RAG 不是机器学习,使用 ML 工具包解决的是错误问题。文章指出,尽管 RAG 看似类似 ML,但其核心是构建搜索系统而非训练模型,因此超参数调优、嵌入模型微调等 ML 方法无法解决 RAG 的真实故障,反而导致资源浪费和信任下降。
已收录 30 条与 Towards Data Science 相关的内容,按评分排序。
RAG系统在生产中常因上下文过取、无缓存、无模型路由导致成本激增;作者构建成本控制层,通过语义缓存(98.5%命中率)、查询路由(81%请求转向低成本模型)与令牌预算熔断机制,在10,000请求/日下实现85.8%成本削减且质量不变。
入选理由:上下文过取使每查询平均多消耗350 tokens,10k请求/日造成$52.5/日浪费(按$0.015/1K tokens计)
RAG 技术并非万能,应根据文档结构和问题控制程度选择合适方法:模板化文档用正则表达式,客服对话需 LLM 判断语调,工程图纸必须使用视觉模型。
入选理由:模板化文档(如保险单、银行流水)适合用正则表达式提取字段,避免使用高成本的 RAG 流程。
RAG 不是机器学习,使用 ML 工具包解决的是错误问题。文章指出,尽管 RAG 看似类似 ML,但其核心是构建搜索系统而非训练模型,因此超参数调优、嵌入模型微调等 ML 方法无法解决 RAG 的真实故障,反而导致资源浪费和信任下降。
入选理由:RAG 解决的是确定性答案查找问题,而非预测未知结果,因此不能用 ML 方法优化。
RAG系统中嵌入向量并非魔法,其失败模式高度可预测:当查询与文档使用不同术语(如“overtime” vs “non-employee labor”)、含否定词、或依赖精确编号/代码时,检索会失效;文章强调企业级可靠性应优先依赖上游过滤(如专家关键词、结构化元数据),而非堆叠重排序器。
入选理由:嵌入模型在处理同义词/拼写变体时表现优异(如‘cancel’→‘termination procedures’),但对术语不一致问题无能为力
Proxy-Pointer RAG 通过保留文档结构上下文,将知识图谱实体与关系匹配的计算成本降低 90% 以上,实现高效、低延迟的图谱入管,解决了大规模知识图谱的语义蔓延问题。
入选理由:Proxy-Pointer RAG 使用 Skeleton Tree 和 Breadcrumb Injection 技术,使向量检索能精准定位文档完整结构段,而非碎片化块。
AI代理可能被攻击者利用进行恶意活动,需通过权限检查、数据访问控制等措施防范风险。
入选理由:权限检查应在模型处理数据前实施,防止未授权访问。
数据分析师应专注于理解数据链路和工具开发,以避免被AI取代。
入选理由:数据分析师应学习数据从输入到输出的完整链路。
Agentic GraphRAG通过自主代理动态更新知识图谱,提升企业级RAG系统的推理能力与上下文完整性。
入选理由:Agentic GraphRAG通过自主代理动态更新知识图谱,提升企业级RAG系统的推理能力与上下文完整性。
CoQS-LSTM结合量子计算与LSTM,提升时间序列预测的准确性。文章提出量子增强架构并验证其在电力负荷预测中的潜力。
入选理由:CoQS-LSTM在电力负荷预测中实现92.7%准确率,优于传统LSTM的89.1%
使用Claude Code等编码代理时,通过功能备忘录、PR审查和HTML解释器三种技术可有效理解代码库。
入选理由:用Claude Code编写功能备忘录可记录代码逻辑与业务关联
信用风险建模中的PD、LGD、EAD参数是银行评估贷款损失和资本需求的核心工具,但其应用需结合数据质量与监管框架。
入选理由:PD(违约概率)是评估借款人未来违约可能性的关键指标
AI系统在状态更新时存在严重缺陷,从头计算准确率100%但更新旧状态时骤降至0.7%。作者开发的RevisionTrace基准测试揭示了信念修正的挑战。
入选理由:从头计算准确率100%但更新旧状态时准确率最低至0.7%
使用Claude Code结合E2E测试可显著减少应用中的bug,提升测试效率。
入选理由:E2E测试通过模拟用户操作发现潜在bug,减少维护成本
CLIP模型能发现标签未识别的有意义相似性,传统评估指标可能低估检索系统性能。
入选理由:CLIP在建筑图像检索中发现跨类别相似性,准确率比标签匹配高37%
AI时代需培养批判性思维和创造力,人类价值取决于不可被机器复制的高阶认知能力。
入选理由:AI将接管重复性思维任务,人类需专注战略决策与创新
实际测试显示Claude Code和Cursor的token消耗差异取决于任务类型,架构差异决定工具选择,基准测试无法替代真实场景验证。
入选理由:Cursor在交互式编码中消耗33,000 token,Claude Code在自主任务中仅用33,000 token
AI生成的故事因叙事结构的不自然感被识别,如时间跳跃、矛盾信息和开放结局,研究论文StoryScope揭示了这些特征。
入选理由:StoryScope发现AI故事中时间跳跃使用率比人类写作高47%
企业需采用6种高级架构模式构建AI数据基础,解决传统数据平台与AI需求的不匹配问题,确保数据新鲜度、清洁度和权限控制。
入选理由:企业数据平台需解决数据新鲜度、清洁度和权限控制三大核心问题
代理在工具失效后仍生成答案会掩盖系统故障,需改进错误处理机制。
入选理由:401/403/404错误重试无效,应直接终止代理流程
将长时间运行的Python模拟转化为自助服务平台需解决队列管理、故障恢复和可重复性问题,AWS异步工作负载处理方法是关键。
入选理由:使用AWS SQS和SNS实现任务队列与通知机制,提升处理效率。
CodeOwnership工具通过隐藏缺陷测试开发者对AI生成代码的实际理解,揭示AI辅助开发中隐含的维护风险。
入选理由:CodeOwnership通过预设隐藏bug测试开发者对AI代码的掌握程度
AI应用需兼具历史经验与未来扩展性,结构设计是避免技术债务的关键。
入选理由:AI生成代码需遵循软件工程原则,否则易产生不可维护的技术债务
本文揭示了统计学中常见的10个陷阱,帮助读者避免数据误解。重点包括平均值与中位数的差异、样本偏差、相关性不等于因果性等核心问题。
入选理由:平均值易受极端值影响,中位数更能反映典型值(如薪资数据)
将紧密耦合的Python流水线拆分为独立MCP服务可解决依赖冲突、故障传播和部署问题。
入选理由:MCP服务通过进程边界隔离避免单点故障传播
神经网络权重平均可能因排列对称性导致性能下降,模型合并需考虑参数空间结构。
入选理由:神经网络权重平均可能使模型性能下降50%以上,因排列对称性导致参数错位。
RAG架构的复杂性应在检索失败模式被验证后逐步引入,而非默认采用。传统检索方法在特定场景下表现优异,过度复杂化可能掩盖基础问题。
入选理由:优先评估基础检索子系统,再引入复杂技术如重排序或代理系统。
将FAQ作为RAG知识库可显著优化生成成本并提升检索效率,通过结构化设计实现解析简化与缓存复用。
入选理由:FAQ结构使RAG解析步骤复杂度降低70%
AI显著改变了数据科学家的日常工作,提示工程成为核心技能,LLM成本控制成为关键挑战。
入选理由:精确设计提示词可使LLM输出质量提升数倍,需包含具体指标和约束条件。
AI与人类协作使数学实验成本大幅降低,但证明验证仍需人类参与。GPT-5.6 Sol与Lean等工具推动实验规模化,而独立审查和数学理解仍是稀缺资源。
入选理由:GPT-5.6 Sol与Lean工具组合可生成完整证明候选,但需人类专家验证新颖性
RAG系统构建依赖Prompt、Context、Loop三层工程架构,分别对应指令设计、上下文管理与循环控制,明确区分可解决90%工程混淆。
入选理由:Prompt工程定义LLM调用规则,决定输出格式与约束条件