Databricks

Migrate Effortlessly to the Databricks Lakehouse with Genie Migrate, now Generally Available

8.5内容质量

TL;DR · AI 摘要

Databricks推出Genie Migrate,支持7种数据仓库迁移,自动化处理80%代码,迁移时间缩短25%。

核心要点

  • Genie Migrate支持Microsoft SQL Server、Oracle等7种数据仓库的SQL转换
  • 自动化转换覆盖80%源文件,迁移时间缩短25%
  • 提供可视化迁移项目管理,支持单文件/批量审批

结构提纲

按章节快速跳转。

  1. 宣布Genie Migrate for Lakehouse正式发布,支持7种数据仓库迁移。

  2. 提供迁移项目管理、代码血缘分析、一键转换和可视化对比四大核心功能。

  3. 自动化转换覆盖80%源文件,迁移时间较传统方式缩短25%。

  4. 基于Genie Code构建的专用迁移代理,实现端到端自动化迁移。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Genie Migrate
    • 核心功能
      • 迁移项目管理
      • 代码血缘分析
      • 一键转换
      • 可视化对比
    • 技术指标
      • 80%转换覆盖率
      • 25%时间缩短

金句 / Highlights

值得收藏与分享的关键句。

#Databricks#数据迁移#AI工具#Lakehouse
打开原文

通过 Genie Migrate 轻松迁移到 Databricks Lakehouse,现已正式发布 | Databricks 博客

跳至主要内容

平台

2026 年 11 月 12 日

通过 Genie Migrate 轻松迁移到 Databricks Lakehouse,现已正式发布

使用 Genie Migrate for Lakehouse 加速数据仓库迁移,将专有仓库代码转换为 Databricks 上的开放 SQL。

作者:Jonathan Brito 和 Tommy Yu

摘要

  • Genie Migrate for Lakehouse 现已正式发布。将 Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery 的专有 SQL 转换为 Databricks 上的开放 ANSI SQL。
  • Genie Migrate 显著减少迁移所需时间,正确转换超过 80% 的源文件。
  • 在您的 Databricks 工作区中直接开始:上传代码,后台自动转换,并在单个迁移项目中跟踪每个文件及其状态。

企业正竞相构建 AI 代理和应用。所有这些用例都依赖于对数据的便捷访问,但对许多企业而言,AI 所需的数据却锁在遗留数据仓库中。传统迁移成本高昂且耗时,因此许多公司选择搁置,错失充分发挥 AI 潜力的机会。

Genie Migrate 正在改变这一现状。Genie Migrate for Lakehouse 是基于 Genie Code 构建的专用编码代理,可自动化从遗留数据仓库到 Lakehouse 的端到端迁移生命周期。我们很激动地宣布,Genie Migrate 现在支持将来自 7 个数据仓库的 SQL 代码转换为开放 ANSI SQL,所有功能现已全面上线:Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery。

一站式完成全部迁移

Genie Migrate for Lakehouse 负责迁移中重复性工作,例如评估优先迁移哪些文件、转换 SQL 脚本以及确定转换失败的原因,使您的工程师能够专注于审核和批准结果。四个功能从首次上传到最终批准,让整个过程保持简单:

  • 全部迁移一站式管理:Genie Migrate 通过迁移项目组织工作,这是一个工作区,将每个文件、其状态和转换后的输出集中管理,使整个团队可在同一位置跟踪进度。
  • 查看代码关联性:在迁移项目中查看血缘关系,了解哪些表和文件相互依赖,使团队在转换前明确需要一起迁移的内容。
  • 一键转换:点击“转换”,Genie Migrate 在后台并行转换文件。
  • 一键式查看审核:在 SQL 编辑器中并排比较原始代码和转换后的代码。用自然语言向 Genie Code 提问,调整需要判断的内容,然后逐个或批量批准文件。

随着团队将 AI 引入工作,Databricks 的迁移速度已显著提升。过去 6 个月中,Databricks 从客户接入到生产环境的迁移中位时间下降了 25%。借助 Genie Migrate,客户可以更快地淘汰昂贵的遗留平台,停止支付相关费用。

精准高效的迁移到 Databricks Lakehouse

在所有七个来源的基准测试中,Genie Migrate 正确转换了超过 90% 的文件。推动高准确性的三个关键因素:

  • 对每种源方言的内置知识:Genie Migrate 内置了对每种方言专有函数和过程代码的深度理解。它利用这些知识将代码转换为 Databricks 对应实现。
  • 检查-修正循环机制:Genie Migrate 会自动检查其输出的语义正确性和语法规范。当检查失败时,系统会利用错误信息诊断问题根源,修正代码后再次进行检查。
  • 团队自定义标准支持:通过自定义技能功能,您可以灵活定制 Genie Migrate 的转换输出。如果转换结果不符合您的偏好,或反复出现相同问题,只需添加自定义技能,Genie Migrate 会将其应用于所有转换文件。

最终产出的开放 ANSI SQL 代码可在 Databricks 上运行,既符合团队规范又完整保留原始逻辑,使您能更快从代码转换进入验证阶段。

MIXI 如何加速其 BigQuery 迁移

Genie Migrate 在 Beta 阶段已帮助客户加速向湖仓架构迁移。MIXI 是一家日本数字娱乐、体育和生活方式公司,其旗下 MONSTER STRIKE 团队运营着日本最大的移动游戏之一。该团队正在将游戏数据集市流水线从 BigQuery 迁移到 Databricks,目前每天运行约 120 个 BigQuery 数据集市,涵盖用户属性、物品目录、登录记录、游戏行为和购买数据。迁移过程中团队需要保持项目规范,如表命名规则、每日任务的日期筛选方式以及数据类型转换标准。

为实现湖仓架构迁移,MIXI 在整个数据资产中部署了 Genie Migrate。直观的使用体验使团队能快速启动并规模化处理数据集市转换。通过自定义技能功能,团队可轻松应用项目特定标准,显著加速了从 GoogleSQL 的转换进程。智能代理处理了大量重复性工作,包括源代码分析、规则应用、代码转换、结果校验以及问题重试,使整个流程简洁高效,大幅减少人工操作。

"Genie Migrate 为我们提供了从 BigQuery 迁移到 Databricks 的快速有效路径。我们测试的文件中有 85% 无需人工编辑即可成功运行,使我们的时间从劳动密集型的翻译工作转向结果审查和优化。通过将 AI 转换与项目特定标准结合,我们实现了快速、一致且大规模的迁移。" - MIXI 公司 MONSTER STRIKE 运营部门数据工程师 Taiki Watanabe

Genie Migrate 的易用性与转换准确性相得益彰。团队测试的转换文件中约 85% 无错误且无需人工修改,其余文件仅需简单的单行修正。Genie Migrate 能在所有文件中一致应用团队指令,生成可审查的准确代码。这让工程师能够专注于结果验证,使两人团队能充满信心地高效推进数据集市迁移。

立即体验 Genie Migrate

今日起,Genie Migrate 湖仓架构版已正式向所有七种数据仓库源开放。ETL 源的支持即将上线。最快了解 Genie Migrate 能力的方式是使用自己的代码进行测试:在 Databricks 工作区创建迁移项目,上传几个 SQL 文件,即可并排对比转换后的代码。

准备就绪后,可通过联系 Databricks 账户团队或查阅 Genie Migrate for Lakehouse 文档了解支持的数据源、先决条件、限制以及端到端工作流程来规划完整迁移。

常见问题

Genie Migrate for Lakehouse 是什么?

Genie Migrate for Lakehouse 是 Databricks 基于 Genie Code 开发的 AI 编码代理,用于将数据仓库自动迁移至 Databricks Lakehouse。该工具在您的 Databricks 工作区内部运行,可映射文件与表之间的依赖关系,以并行方式将专有 SQL 转换为开放 ANSI SQL,检查并修正自身输出结果,同时允许工程师逐个比较和批准所有转换后的文件。Genie Migrate for Lakehouse 现已全面上线。

Genie Migrate 支持哪些数据仓库迁移到 Databricks?

Genie Migrate for Lakehouse 可将以下七种数据仓库的 SQL 转换为 Databricks 上的开放 ANSI SQL:Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery。所有七种数据源均已全面支持。ETL 数据源的支持即将推出。

Genie Migrate 的 SQL 转换准确率如何?

根据基准测试,Genie Migrate 对每种支持的七种数据源的文件转换正确率均超过 90%。它会检查自身输出的语法和语义正确性,当检查失败时会自动修改代码,并将团队自定义技能应用于所有转换文件。在 MIXI 的测试中,约 85% 的 BigQuery 文件无需人工编辑即可运行,其余文件仅需单行修正。

迁移数据仓库到 Databricks 需要多长时间?

Databricks 迁移的中位数时间可缩短 25%,因为团队将 AI 引入迁移工作。Genie Migrate 通过在后台并行转换文件来缩短代码转换阶段,使工程师能够将时间用于审查和批准结果,而非手动重写 SQL。

如何使用 Genie Migrate 将遗留数据仓库迁移到 Databricks?

Genie Migrate 在您的 Databricks 工作区内部通过以下五个步骤执行数据仓库迁移:

  • 1. 创建迁移项目。
  • 2. 上传源 SQL 文件。
  • 3. 查看血缘关系以确定需要一起迁移的表和文件。
  • 4. 点击“转换”。Genie Migrate 在后台并行转换文件。
  • 5. 在 SQL 编辑器中并排比较原始代码和转换后的代码,使用 Genie Code 或自定义技能调整任何内容,并逐个或批量批准文件。

相关标签:

数据仓库

订阅最新文章

订阅我们的博客,将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"