慢请求,而非失败:自适应对冲请求如何将p99延迟降低74%
自适应对冲请求可将p99延迟降低74%,其核心是用实时学习的延迟分布动态触发对冲,而非静态阈值或重试;DDSketch实现O(1)内存量化估算,配合令牌桶限流防止负载雪崩。
入选理由:在100个下游服务、各1%慢请求率的扇出架构中,63%的顶层请求会被至少一个慢请求拖累,导致单服务健康指标失真。
公司
别名:infoq.com
技术新闻网站,专注于软件开发、架构和设计等领域。
已跟踪 13 条高相关材料
最近变化
2026-06-08 · InfoQ 20周年纪念文章回顾了其20年来的技术趋势预测。
为什么值得关注
InfoQ 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Article: Stragglers, Not Failures: How Adaptive Hedged Requests Reduce p99 Latency by 74 Percent
InfoQ · 9.2 分
自适应对冲请求(Adaptive Hedged Requests)可将p99延迟降低74%,其核心是用实时学习的延迟分布动态触发对冲,而非静态阈值或重试;DDSketch实现O(1)内存量化估算,配合令牌桶限流防止负载雪崩。
Article: Why Vector Search Alone Isn't Enough: Hybrid Retrieval for RAG
InfoQ · 9 分
仅靠向量搜索无法满足生产级RAG需求,必须结合BM25与RRF实现混合检索以提升精确度。
Pinterest Engineers Eliminate CPU Zombies to Resolve Production Bottlenecks
InfoQ · 8.5 分
Pinterest 工程团队通过消除 CPU 僵尸进程,解决了生产环境中的性能瓶颈。
已收录 13 条与 InfoQ 相关的内容,按评分排序。
自适应对冲请求可将p99延迟降低74%,其核心是用实时学习的延迟分布动态触发对冲,而非静态阈值或重试;DDSketch实现O(1)内存量化估算,配合令牌桶限流防止负载雪崩。
入选理由:在100个下游服务、各1%慢请求率的扇出架构中,63%的顶层请求会被至少一个慢请求拖累,导致单服务健康指标失真。
仅靠向量搜索无法满足生产级RAG需求,必须结合BM25与RRF实现混合检索以提升精确度。
入选理由:向量搜索擅长语义相似但无法精确匹配版本号、错误码等实体。
Pinterest 工程团队通过消除 CPU 僵尸进程,解决了生产环境中的性能瓶颈。
入选理由:CPU zombies 是低效线程导致的资源浪费问题。
Gemma 4 引入多令牌预测技术,使令牌生成速度提升高达 3 倍,显著改善大模型推理效率。
入选理由:Gemma 4 采用多令牌预测技术,将令牌生成速度提升至原来的 3 倍。
TanStack披露了一次复杂的npm供应链攻击事件,42个软件包被入侵,攻击者通过劫持维护者账户和利用npm发布流程进行恶意代码注入,这是2026年针对JavaScript生态系统的重大安全事件。
入选理由:攻击者入侵了42个npm软件包,通过劫持维护者账户注入恶意代码
Ubuntu 正在转向本地 AI 解决方案,而非依赖云优先的 OS 集成。
入选理由:Ubuntu 将重点放在本地 AI 而非云端集成。
Meta 未公开具体技术细节,仅泛泛提及“重建数据摄取系统以支持 PB 级可靠性”,全文实为 InfoQ 网站导航页与广告堆砌,无实质性内容。
入选理由:文章正文缺失,实际为 InfoQ 网站页脚/导航/注册表单等模板内容,非技术报道。
InfoQ 20周年纪念文章回顾了其20年来的技术趋势预测,但缺乏具体技术深度和实用价值。
入选理由:InfoQ 20周年纪念文章回顾了其20年来的技术趋势预测。
这是一篇关于Cloudflare完成其代理基础设施堆栈的新闻文章,但实际内容主要是InfoQ网站的页面模板,缺乏具体的技术细节和实质性信息。
入选理由:文章标题声称Cloudflare完成了代理基础设施堆栈
这是一篇关于QCon AI Boston 2026会议六个关注AI生产化的演讲预告文章,但实际内容仅包含InfoQ网站的框架代码和导航元素,缺乏具体的演讲内容、技术细节或实用信息。
入选理由:文章仅为会议演讲预告,未提供具体技术内容
InfoQ推出面向高级软件从业者的人工智能工程培训课程和认证项目,但文章仅是新闻公告,缺乏具体的技术细节、实施方法或实际价值评估。
入选理由:InfoQ推出AI工程认证项目
文章仅提供了InfoQ网站的页面框架和cookie设置选项,没有实际的技术内容关于平台工程或Golden Bricks的具体实现细节,信息密度极低。
入选理由:文章内容为空白,无具体技术实现细节
提供的文章正文仅包含InfoQ网站导航与推广内容,缺失关于Uber账本批处理系统的核心技术细节,无法提取有效架构经验或工程实践信息。
入选理由:原文正文未包含Uber账本系统技术内容,仅有网站UI元素,无法提取30+ TPS实现机制。