Simon Willison's Weblog

Running the full server-side Datasette Python app in the browser with service workers and Pyodide

8.5内容质量
Running the full server-side Datasette Python app in the browser with service workers and Pyodide

TL;DR · AI 摘要

Datasette Lite通过Pyodide和Service Workers实现在浏览器中运行完整的Python应用,支持灵活配置和插件扩展。

核心要点

  • 使用Pyodide和Service Workers可在浏览器中运行Python应用,无需服务器。
  • 通过URL参数可指定SQLite版本、插件和数据库来源,实现动态配置。
  • 支持加载100+ SQLite版本和PyPI插件,适用于演示和调试场景。

结构提纲

按章节快速跳转。

  1. 介绍Datasette Lite项目及其技术实现目标。

  2. 通过Pyodide和Service Workers实现Python应用的浏览器端运行。

  3. 支持动态加载SQLite数据库、插件和版本控制。

  4. 展示通过URL参数配置应用的完整流程和效果。

  5. 详细说明install、url、metadata等参数的使用方法。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Datasette Lite技术实现
    • 核心技术
      • Pyodide
      • Service Workers
    • 功能特性
      • 动态加载SQLite
      • 插件扩展
      • 版本控制
    • 使用场景
      • 演示功能
      • 调试复现

金句 / Highlights

值得收藏与分享的关键句。

#Pyodide#Service Workers#Datasette#WebAssembly
打开原文

在浏览器中使用 Service Workers 和 Pyodide 运行完整的服务器端 Datasette Python 应用

Simon Willison 的博客

Newsletter

#smallhead

由以下公司赞助:

Dynatrace — 您的编码代理可以阅读您的代码,但无法看到它在生产环境中的运行情况。

[阅读博客](#)

了解 Dynatrace MCP 如何弥合这一差距。

在浏览器中使用 Service Workers 和 Pyodide 运行完整的服务器端 Datasette Python 应用

2026年11月17日

Datasette Lite 是我将 Datasette Python 应用程序移植到浏览器的项目,使用 WebAssembly 和 Pyodide 实现。我发布了使用 Service Workers 对 Datasette Lite 的全面重写,现在它几乎与真正的服务器端应用程序无法区分。

现在您可以使用精心构建的 URL(例如 lite.datasette.io)实现以下功能:

  • 通过客户端 Datasette 浏览任何 SQLite 数据库、JSON 文件、CSV 文件或 SQL 脚本
  • 选择一个已发布的 Datasette 版本从 PyPI 加载
  • 从 Datasette GitHub 仓库加载特定的提交记录、标签或分支名称
  • 从超过 100 个 SQLite 版本中选择与 Datasette 一起使用的版本
  • 从 PyPI 或 wheel 文件的 URL 安装额外的 Datasette 插件,包括 JavaScript 可视化工具

能够加载特定的 Datasette 引用、插件和 SQLite 版本,使这个工具成为链接到正在进行中的功能演示或错误复现的绝佳选择,无需启动完整的 Web 服务器来提供这些演示。

例如,考虑以下 URL:

https://lite.datasette.io/?install=datasette-maplibre&url=https://gist.githubusercontent.com/simonw/39fa5d399465766039549912e2b3d291/raw/f6dfba99a75cbb8b5d9386223220eb52272767ee/demo.db&metadata=https://gist.githubusercontent.com/simonw/39fa5d399465766039549912e2b3d291/raw/f6dfba99a75cbb8b5d9386223220eb52272767ee/metadata.yml#/demo/capitals_and_countries%23map=0/4.2/180&color=continent

点击该链接后,经过简短的加载屏幕,您将看到如下页面:

这是 Datasette 运行新的 datasette-maplibre 插件,加载包含国家 GeoJSON 形状的数据库,并在表格中显示综合地图和单个边界地图。

让我们分解这个 URL 来了解其工作原理:

code
https://lite.datasette.io/
  ?install=datasette-maplibre
  &url=https://.../demo.db
  &metadata=https://.../metadata.yml
  #/demo/capitals_and_countries%23map=0/4.2/180&color=continent

?install=datasette-maplibre 从 PyPI 安装该附加插件。您可以多次使用 &install=... 来加载更多插件。

&url=https://.../demo.db 从提供的 URL 加载该 SQLite 数据库。这些 URL 需要开放 CORS 头 —— 我使用 Gists 主机文件,因为它们为网络托管文件提供了获取开放 CORS 头的简便方式。

&metadata=https://.../metadata.yml 加载这个 metadata.yml 文件。元数据文件为各种表格和 Datasette 首页添加了 HTML 描述。[访问该首页](#) 可以了解该插件的其他功能,所有功能都在元数据文件中定义。

#/demo/capitals_and_countries%23map=0/4.2/180&color=continent 是一个片段哈希,它会在 Datasette 中转换为一个位置——这里它正在加载 /demo/capitals_and_countries SQL 视图,然后追加另一个片段哈希(%23 是 URL 编码的 #),该哈希指示地图插件缩放到特定位置,并根据数据中的 continent 列设置地图上形状的颜色。

这个 URL 做了很多事情!我去年在《URL-addressable Pyodide Python environments》一文中详细介绍了这种构建可 URL 定位软件的技巧。

所有支持的 URL 参数列表在 Datasette Lite 的 README 中有完整描述。

我已经开始在 Datasette 开发过程中使用 Datasette Lite。这是最近一个描述分页错误的 issue——我在其中发表评论,演示了旧版的错误行为和通过 Datasette Lite 链接实现的新修复方案:

错误演示:https://lite.datasette.io/?ref=1.0a42&sql=https://gist.github.com/simonw/75ececf61d50e6e8d50f0c150150ee81#/data/scores?_size=2&_sort=score —点击下一页后第二页为空。这是修复后的相同页面(运行在 1.0a43 版本):https://lite.datasette.io/?ref=1.0a43&sql=https://gist.github.com/simonw/75ececf61d50e6e8d50f0c150150ee81#/data/scores?_size=2&_sort=score

#### 通过服务工作者实现的原理

Datasette Lite 并不是一个新项目。我早在 2022 年就推出了第一个版本,最初只是个玩笑(在浏览器中运行服务器端应用挺有趣的),但很快它就开始证明自己的价值。

初始版本的问题在于它是一个 hack。它通过在 Pyodide 工作线程中运行 Datasette,模拟请求栈,然后使用 innerHTML 将生成的 HTML 注入到顶层页面。

这在基础 Datasette 功能上是可行的,但会导致所有依赖 JavaScript 的功能失效,因为 innerHTML 中的 script 标签不会执行,而且它使用的工作线程技巧无法加载额外的 JavaScript 或 CSS 文件。

新版本采用了完全不同的基于 Service Workers 的方案。这些功能允许 JavaScript 拦截新页面和资源的 HTTP 请求,并通过客户端代码进行服务。

Datasette Lite 为整个 lite.datasette.io 域名注册了一个服务工作者。父页面随后创建一个 iframe,向类似以下 URL 发送 Datasette 页面请求:

code
/app/aa94e6851595/ # 首页(HTML)
/app/aa94e6851595/data/places # 表页面(HTML)
/app/aa94e6851595/-/static/navigation-search.js #(JavaScript)
/app/aa94e6851595/-/static/app.css #(CSS)

这些都是标准的 Datasette URL,但增加了 /app/aa94e6851595/ 前缀。这是为什么?

/app/<session>/ 前缀是因为多标签页的需求。

考虑上面的 URL,它加载了带有 datasette-maplibre 插件的演示实例。该 URL 定义了一个完整的自定义 Datasette 实例。你可能在某个标签页中运行这个实例,而我在其他演示链接可能在另一个标签页中运行。

lite.datasette.io 的服务工作者在所有这些标签页之间共享。如果它只路由到一个 Datasette 实例,那么所有标签页都会共享该底层实例,无论它们的 URL 尝试配置什么插件或其他设置。

相反,父页面会生成一个随机的会话 ID,并将其用作所有后续隐藏资源和页面加载的前缀。服务工作线程随后可以使用该会话 ID 将这些请求重新路由回父页面,进而传递到运行专用 Datasette 实例的 Web Worker 中(该实例专属于当前会话)。

(我们仍然需要 Web Worker,因为服务工作线程中的 Pyodide 无法在大约 30 秒后(具体时间取决于浏览器)维持状态。这里涉及许多复杂的因素!)

我让 Claude Fable 5.2 生成了多个 SVG 图表来帮助解释这个机制。这是我最喜欢的一个,现已嵌入到 Datasette Lite 的 README 中:

这个系统最早于 5 月作为 AI 研究尖峰项目诞生,当时使用的是 Claude Opus 4.8。直到 11 月(以及 Claude Fable 5.2)我才能熟练掌握其工作原理,从而有信心将其部署到生产环境!

#### 附加功能:选择你的 SQLite 版本

昨晚我添加了这个功能,作为调查 SQLite 潜在缺陷的衍生成果。

Datasette 旨在兼容自 2018 年 9 月发布的 SQLite 3.25 以来的所有版本。此后又发布了 87 个新版本。

能够针对特定 SQLite 版本启动 Datasette 对于演示新特性以及调试奇怪的问题非常有用。

过去我曾使用各种技巧在 Mac 上的 Python 环境中运行不同版本的 SQLite,但这个过程并不简单。

WebAssembly 完美解决了这个问题。我可以在浏览器中加载一个自定义的 SQLite 构建版本,在其中进行测试,关闭标签页后即可丢弃。

datasette/pysqlite3-wasm-wheels 是我新创建的仓库,其中包含为 163 个不同 SQLite 版本编译的 WebAssembly 格式 Python 轮子文件。每个版本对应一个类似以下名称的文件:

pysqlite3-0.6.2-3.54.1-cp314-cp314-pyemscripten_2026_0_wasm32.whl

这是针对最新版本 SQLite 3.54.1 的文件。

Datasette Lite 现在支持一个特殊的 ?sqlite= URL 参数,接受类似 3.54.1 的版本号,解析到对应的 wheel 文件路径后,下载该 wheel 并安装到 Pyodide 环境中,同时配置 Datasette 使用该版本。

在构建好 wheel 文件后,我决定让 Claude Fable 5.2 为我构建了 这个附加工具 用于跨任意选定的 SQLite 版本比较 SQL 查询。以下是一个示例,展示 select json_object('a', (select json_array(1))) 在 SQLite 3.54.0 和 3.54.1 中的差异:

#### 这对其他 Python 应用也应同样有效

Datasette Lite 的工作方式并不独特于 Datasette。几乎所有 Python 应用都应该能够采用相同的方法——通过 WebAssembly 和 Pyodide 在浏览器中完全运行,作为一种低成本方式提供预览环境、演示功能以及重现缺陷。

C 和 Rust 扩展曾经是这类方案的障碍,但现在任何优秀的编码代理都可以将它们编译为 Pyodide 兼容的 WebAssembly。根据 2026 年 4 月发布的 PEP 783,你甚至可以将它们发布到 PyPI。

一个限制是数据库。SQLite 完全没有问题,但尽管可以在 WebAssembly 中运行 PostgreSQL 或 MySQL,但这条路仍然鲜有人走。

我期待看到这类 WebAssembly 预览环境在 Python 生态系统中成为一种常见模式。

为 Hacker News:在浏览器中使用服务工作者运行完整的服务器端 Datasette Python 应用

发布于下午4:48 · 在 Mastodon、Bluesky Twitter 或订阅我的电子报上关注我

更近期的文章

  • 使用 Claude 定位神秘蜂鸣声的来源 - 2026年11月9日
  • 用 <details><summary> 隐藏你的糟糕 PR 描述 - 2026年11月9日
  • 我的笔记本电脑上 Qwen 3.8 27B 也能解释模型权重 - 2026年11月3日
  • 美国人口普查局与“超级智能” - 2026年11月2日

#primary

这是 Simon Willison 于 2026年11月17日下午4:48 发布的文章:使用服务工作者和 Pyodide 在浏览器中运行完整的服务器端 Datasette Python 应用

属于 Datasette Lite 系列

  • Datasette Lite:在浏览器中运行的服务器端 Python Web 应用 - 2022年5月4日 下午3:16
  • 使用 Datasette Lite 在浏览器中合并 CSV 文件 - 2022年6月20日 晚上9:20
  • Datasette Lite 的插件支持 - 2022年8月17日 下午6:20
  • 使用 Datasette 分析 ScotRail 音频公告:从原型到生产 - 2022年8月21日 凌晨2:04
  • 周报:Datasette Lite、s3-credentials、shot-scraper、datasette-edit-templates 等 - 2022年9月16日 凌晨2:55
  • 可通过 URL 访问的 Pyodide Python 环境 - 2025年2月13日 凌晨5:13
  • 使用服务工作者和 Pyodide 在浏览器中运行完整的服务器端 Datasette Python 应用 - 2026年11月17日 下午4:48

javascript

774

projects

566

python

1,294

urls

83

datasette

1,567

webassembly

137

service-workers

6

pyodide

53

datasette-lite

27

上一篇:使用 Claude 定位神秘蜂鸣声的来源

月度简报

以每月10美元赞助我,获取本月最重要的 LLM 发展精选邮件摘要。

支付我以减少邮件!

赞助与订阅

#secondary

#wrapper

  • 披露信息
  • 附录
  • ©
  • 2002
  • 2003
  • 2004
  • 2005
  • 2006
  • 2007
  • 2008
  • 2009
  • 2010
  • 2011
  • 2012
  • 2013
  • 2014
  • 2015
  • 2016
  • 2017
  • 2018
  • 2019
  • 2020
  • 2021
  • 2022
  • 2023
  • 2024
  • 2025
  • 2026