Good old days at OpenAI in 2016: an agent stares at screen pixels, moves a mouse, and books a flight...
TL;DR · AI 摘要
OpenAI在2016年的‘World of Bits’项目尝试训练AI代理通过视觉和鼠标操作完成任务，但因方法局限未能成功，而Astra项目继承了这一理念并取得进展。
核心要点
- 2016年OpenAI尝试用强化学习训练代理操作屏幕，但因依赖人工设计奖励函数导致失败。
- Astra项目采用‘Specialized Generalist’方法，先广泛学习再专项优化，取得突破。
- GPT-6验证了从通用到专项的训练策略有效性，实现可靠任务执行。
结构提纲
按章节快速跳转。
- §引言
回顾OpenAI 2016年‘World of Bits’项目的初衷与挑战。
- ·技术尝试
描述代理通过屏幕像素和鼠标操作完成任务的原始方案。
- ›失败原因
分析依赖人工奖励函数和计算资源不足导致的局限性。
提出‘Specialized Generalist’策略：先广泛学习再专项优化。
说明Astra如何继承并改进‘World of Bits’的核心理念。
总结经验对GPT-6成功实现任务执行的借鉴意义。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- OpenAI项目与AI代理训练
- World of Bits项目
- 视觉交互尝试
- 人工奖励函数局限
- 方法论演变
- 从零开始RL的失败
- Specialized Generalist策略
- Astra与GPT-6
- 继承与改进
- 任务执行成功案例
金句 / Highlights
值得收藏与分享的关键句。
RL from scratch against hand-drawn, per-task 'artisan' reward functions on a bunch of Pascal Titan X GPUs was completely doomed.
The right way turns out to be boiling the ocean first (hillclimb on every general task), and then specialize back down.
Congrats, GPT-6! That United flight finally gets booked, reliably this time.
Jim Fan 在 X 上的推文： "2016 年 OpenAI 的美好时光：一个智能体盯着屏幕像素，移动鼠标，并在联合航空（United）上预订航班。我们称之为「World of Bits」，属于 OpenAI Universe 的一部分。10 年后，Astra 在同一个宇宙中重生。甚至命名都符合天文学的正确性 😆 Universe 可能是当时最雄心勃勃的 AI 基础设施项目，但我们始终未能找到解决方法。一个对「提交」按钮毫无先验知识的策略必须通过试错重新发现整个互联网的视觉语言。回顾过去，当时在一堆 Pascal Titan X GPU 上，从零开始通过手绘的、针对每个任务的「工匠」奖励函数进行强化学习（RL）完全注定失败。要解决计算机使用代理问题，正确的方法是先解决所有可能的通用任务（对每个通用任务进行爬坡优化），然后再专注于屏幕像素和键盘输入。简单来说，就是「专业化的通才」。经验教训：比所有人领先一步，你是先驱者；领先三步，你是先知；领先五步，你是殉道者。恭喜 GPT-6！这次联合航空的航班终于成功预订了，而且这次是可靠的。2016 年的我作为实习生，此刻正露出灿烂的笑容。"
Jim Fan
@DrJimFan
2016 年 OpenAI 的美好时光：一个智能体盯着屏幕像素，移动鼠标，并在联合航空（United）上预订航班。我们称之为「World of Bits」，属于 OpenAI Universe 的一部分。10 年后，Astra 在同一个宇宙中重生。甚至命名都符合天文学的正确性 😆 Universe 可能是当时最雄心勃勃的 AI 基础设施项目，但我们始终未能找到解决方法。一个对「提交」按钮毫无先验知识的策略必须通过试错重新发现整个互联网的视觉语言。回顾过去，当时在一堆 Pascal Titan X GPU 上，从零开始通过手绘的、针对每个任务的「工匠」奖励函数进行强化学习（RL）完全注定失败。要解决计算机使用代理问题，正确的方法是先解决所有可能的通用任务（对每个通用任务进行爬坡优化），然后再专注于屏幕像素和键盘输入。简单来说，就是「专业化的通才」。经验教训：比所有人领先一步，你是先驱者；领先三步，你是先知；领先五步，你是殉道者。恭喜 GPT-6！这次联合航空的航班终于成功预订了，而且这次是可靠的。2016 年的我作为实习生，此刻正露出灿烂的笑容。
$
00:00
/$
2026 年 9 月 4 日 上午 2:14
65.1K
浏览量
79
69
811
167