产品
别名：Apache Spark
Apache Spark是一个开源的集群计算系统，用于大规模数据处理。
已跟踪 5 条高相关材料
最近变化
2026-06-03 · 设置`spark.kubernetes.local.dirs.tmpfs=true`将所有shuffle spill数据存储在节点内存中，可能导致内存溢出。
为什么值得关注
Spark 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Top 10 Python Libraries for Data Engineering in 2026
KDnuggets · 8.7 分
2026年数据工程领域最值得关注的10个Python库，涵盖编排、摄入、质量与存储四大核心场景，其中Prefect、SQLMesh、dlt和Bytewax等新兴工具正重塑数据管道构建方式，显著降低运维复杂度并提升可维护性。
Article: Two Misconfigurations That Caused Spark OOM Failures on Kubernetes
InfoQ · 8.5 分
本文讨论了在Kubernetes上运行Spark时，由于两个基础设施设置不当导致的内存溢出问题。这两个设置分别是：将`spark.kubernetes.local.dirs.tmpfs=true`设置为RAM-backed local scratch directories，以...
Connecting AI agents with unstructured data using Google Cloud Storage MCP Servers
Google Cloud Blog · 8.5 分
文章深入探讨了如何利用 Google Cloud Storage (GCS) MCP 服务器将 AI 代理与非结构化数据连接，提供了三个客户案例，并详细介绍了 GCS 提供的两种 MCP 服务器（远程和本地）如何简化代理部署，提升安全性。
已收录 5 条与 Spark 相关的内容，按评分排序。
2026年数据工程领域最值得关注的10个Python库，涵盖编排、摄入、质量与存储四大核心场景，其中Prefect、SQLMesh、dlt和Bytewax等新兴工具正重塑数据管道构建方式，显著降低运维复杂度并提升可维护性。
入选理由：Prefect允许用纯Python装饰函数构建可观测流水线，无需额外数据库即可实现实时监控与自动重试。
本文讨论了在Kubernetes上运行Spark时，由于两个基础设施设置不当导致的内存溢出问题。这两个设置分别是：将`spark.kubernetes.local.dirs.tmpfs=true`设置为RAM-backed local scratch directories，以及使用硬`podAffinity`规则将所有executor强制放置在同一个节点上。这些设置导致shuffle spill占用节点内存而非磁盘，从而引发内存溢出问题。通过调整这些设置，可以解决此问题。
入选理由：设置`spark.kubernetes.local.dirs.tmpfs=true`将所有shuffle spill数据存储在节点内存中，可能导致内存溢出。
文章探讨了如何利用 Google Cloud Storage (GCS) MCP 服务器将 AI 代理与非结构化数据连接，提供了三个客户案例，并介绍了 GCS 提供的两种 MCP 服务器如何简化代理部署。
入选理由：Palo Alto Networks 的 Strata Co-Pilot 使用 GCS MCP 服务器作为其‘历史记忆’，结合 Gemini Live API 提供屏幕感知的网络配置辅助。
Arena.ai 使用统一标签系统处理每周数百万次投票，通过 Databricks 和 Spark 构建高效数据管道。
入选理由：Arena.ai 每周处理数百万次用户投票，依赖统一标签系统进行分类。
本文介绍了NVIDIA Developer社区在纽约的Spark黑客松获奖项目，展示了开发者如何利用NVIDIA技术构建多智能体系统。
入选理由：NVIDIA Developer社区在纽约的Spark黑客松中，有多个团队展示了基于NVIDIA技术的多智能体系统开发成果。
