T
traeai
登录
返回首页
Google Research Blog

防洪韧性新篇章:Google开源AI水文预测框架

9.2Score
防洪韧性新篇章:Google开源AI水文预测框架

TL;DR · AI 摘要

Google开源了驱动Flood Hub的AI水文预测框架,允许机构使用LSTM架构与Caravan数据集训练本地化洪水模型。新版模型在实测流域将可靠预测窗口延长6天,支持PyTorch生态微调,赋能气象部门在保留数据主权前提下构建高精度预警系统。

核心要点

  • 开源框架基于PyTorch和LSTM架构,提供完整训练管线与交互式教程Notebook。
  • 新版模型较2024基准版在实测流域延长6天、无测站流域延长1天可靠预测期。
  • 支持接入本地数据微调,机构可保留数据主权并集成自有气象与地理特征。

结构提纲

按章节快速跳转。

  1. Google开源水文框架旨在让国家气象水文机构在保留数据主权前提下集成AI洪水预测能力。

  2. 该框架是基于PyTorch的Python包,采用LSTM架构处理气候、土壤、地形及气象预报等多源输入数据。

  3. 内置Caravan开源数据集训练管线,支持用户添加本地流域数据进行模型微调与验证。

  4. 新版模型相比2024基准版本,在实测流域可靠预测期延长6天,在无测站流域延长1天。

  5. 提供交互式Python教程Notebook与视频指南,帮助预报员快速部署并整合本地知识到AI系统中。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Google AI水文开源框架
    • 核心技术栈
      • PyTorch + LSTM架构
      • Caravan开源数据集
    • 性能突破
      • 实测流域+6天预测期
      • 无测站流域+1天预测期
    • 落地赋能
      • 本地数据微调
      • 数据主权保留

金句 / Highlights

值得收藏与分享的关键句。

  • 新版模型在实测流域将可靠预测窗口延长6天,在无测站流域延长1天,显著优于2024基准版本。

    Model improvements

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 框架允许国家气象水文机构保留完全数据控制权,同时利用本地专家知识微调AI模型。

    Paragraph 4

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 基于PyTorch实现LSTM架构,融合气候、土壤、地形及气象预报等多源地理特征进行全球河流流量预测。

    How it works

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 已与捷克水文气象局等合作伙伴完成实战测试,验证了从研究到业务化预警系统的转化可行性。

    Paragraph 4

    ⬇︎ 下载 PNG𝕏 分享到 X
#AI水文建模#LSTM#开源框架#洪水预测#PyTorch
打开原文

标题:洪水韧性的新篇章:开源 Google 水文框架

URL 来源:https://research.google/blog/the-next-chapter-in-flood-resilence-open-sourcing-googles-hydrology-framework/

Markdown 内容: 我们已将水文模型开源,使各国国家气象和水文部门能够将先进的 AI 洪水预报技术整合到其自身的工作流程中。

洪水是全球最具破坏性的自然灾害之一,往往突如其来,并造成长期损害。多年来,Google Research 构建了最先进的 AI 模型,以实现更精准的洪水预报,确保一线应急响应人员能够及时获取该技术并采取行动。为进一步保护脆弱社区,我们现在在 GitHub 上开源了我们的水文建模框架,供他人使用和在此基础上进行开发。

该开源建模框架允许研究人员和预报员使用与 Google Flood Hub 河流洪水预报系统相同的架构及类似的训练数据来训练 AI 洪水预报模型。开发此框架旨在让水文学科学家能够在 Google Research 现有成果的基础上,添加并测试新的模型、数据和方法。它还使业务预报员(即负责为特定区域提供可执行洪水预警的专业人员)能够将本地数据和知识融入到最先进的 AI 洪水预报系统中。

我们认为,当一项科学突破能够赋能他人复现和扩展研究成果时,才能充分发挥其潜力,确保创新成为推动全球进步的催化剂。正因如此,我们在内部开发了该框架,并与捷克水文气象局 (CHMI) 等合作伙伴共同进行了测试。发布我们的模型架构和训练流程标志着全球洪水备灾工作的根本性转变,它使国家气象和水文部门 (NMHSs)、其他气象机构及相关部门能够在完全掌控自身数据的同时,赋能本地专家利用专业数据集对模型进行优化。

工作原理

我们的水文模型是一个 Python 包,利用开源的 PyTorch 机器学习建模包实现了驱动 Google Flood Hub 的河流预报模型。这些模型以气候、土壤、地形和土地覆盖等地理特征,以及降雨、温度和其他天气状况的气象预报作为输入数据,预测全球河流的日流量。

该水文建模包包含基于长短期记忆 (LSTM) 网络的模型架构,以及一个训练流程,允许使用来自开源 Caravan 数据集的历史河流数据对这些模型进行训练。研究人员和洪水预报机构可以将自己的数据添加到此开源数据存储库中,针对本地流域训练或微调模型。

如需开始实施,请查阅此 Python 交互式教程 Notebook以及相关的 YouTube 视频教程,了解如何浏览模型代码

模型改进

此代码仓库包含我们水文模型的两个不同版本:在2024 年发表的基准研究中测试的原始版本,以及目前为 Flood Hub 实时全球洪水预报提供支持的升级模型。新模型在我们初步研究成功的基础上,采用了全新的模型架构。如下图所示,该框架使我们能够将多样化的多源气象输入处理为统一的洪水预测系统。我们最近的基准研究表明,与上一版本相比,新模型在有测站流域的可靠预测范围延长了六天,在无测站流域延长了一天。

从理论走向业务实践

在《2025 年多灾种早期预警系统全球状况报告》中,世界气象组织指出,本地数据以及原住民和地方知识 (ILK) 都是有效灾害预警的关键组成部分,并提到“_将原住民和地方知识系统性地纳入风险知识生产仍是例外而非常态。_”我们的开源洪水预报工作流程回应了该报告的发现,允许区域预报员直接上手操控 AI 驱动的预报模型。这些框架的训练相对简单且成本低廉,既保证了准确性,又避免了传统水文预报模型的复杂性,同时允许用户纳入自己的专业数据进行训练和预测。

易于采用的开源工具对于弥合技术创新与洪水灾害系统实际效能之间的差距至关重要,尤其是在加速早期预警系统能力建设方面。

此次发布的实际应用潜力在我们与 CHMI 的合作中得到了最佳体现。双方的合作成功验证了我们的 AI 模型能够提供与传统本地校准概念模型质量相当的预测结果。CHMI 还开发了一个适配器,将该水文开源框架集成到 Delft-FEWS 平台中。Delft-FEWS 是一款广泛使用的业务化洪水预报工具,被国家和地方洪水预报机构、非政府组织及私营企业用于驱动预测模型,由 Deltares 研究所负责运营和维护。这一集成使得 CHMI 及全球其他水文服务机构能够在其标准工作流程中使用该模型,也为全球各机构如何将机器学习纳入水资源管理工作流程提供了范例。

除了 CHMI 等大型机构外,此次开源模型的发布还提供了一种可扩展且易于获取的工具,使先进预报技术的普及成为可能。这为资源受限的地区和本地团队打开了大门,使其无需依赖昂贵的传统预报基础设施,也能利用高质量的预测洞察。

国际气象界已充分认识到这种开放科学方法的价值。世界气象组织水文建模与预报处处长 Hwirin Kim 博士表示:“我欢迎开源水文建模工具的扩展,这些工具对于支持社会管理水资源和应对环境挑战至关重要。世界气象组织积极支持由成员国驱动、具备互操作性的开源模型和工具,这些工具有助于拯救生命,并推进我们的全球使命,即确保各地社区都能及时收到灾害预警,从而保护生命财产安全。”

气候行动的统一框架

该模型架构、完整文档及培训材料现已在 GitHub 上正式发布,采用 Apache 2.0 许可证,使研究人员和业务预报专业人员均可完全访问该框架。

通过将我们的水文模型提供给全球水文界使用,我们能够共同构建一个更具洪灾韧性的世界。有关 Google 更广泛的洪水预报计划和资源的更多详情,请访问 Google Research 网站。我们诚邀全球水文界在此基础上进一步开发和应用这些开放工具。

致谢

_众多人员参与了此项工作的开发。我们特别感谢 CHMI 的 Jakub Krejci 和 Jan Daňhelka 提供的合作与反馈,同时也感谢 Google Research 和社会影响力合作伙伴团队的以下成员:Amit Markel、Avinatan Hassidim、Deborah Cohen、Emily Reinstein、Gila Loike、Grey Nearing、Nina Bekele、Omri Shefi、Reuven Sayag、Rony Amira、Shmulik Fronman、Stephanie Rees 和 Yossi Matias。_

AI 可能会生成不准确的信息,请核实重要内容