发布Recursive:构建递归自改进超级智能
TL;DR · AI 摘要
Richard Socher宣布创立Recursive,致力于通过递归自改进机制实现超级智能,自动化科学发现,推动AI与生物医学突破。
核心要点
- Recursive由Richard Socher与Tim Rocktaeschel等七位联合创始人共同创立,团队包含Peter Norvig等顶级AI专家。
- 递归自改进智能通过输出新代码作为下一轮输入,实现对训练、推理、架构等全系统的自我更新。
- 目标是打造‘终极顿悟机’,自动执行科学方法,优先应用于AI、生物等领域,推动疾病治愈与人类寿命延长。
结构提纲
按章节快速跳转。
Richard Socher宣布成立Recursive,联合七位资深AI研究者及工程师,获得GV、Greycroft、NVIDIA等投资支持。
现有大模型虽在多任务上表现通用,但在学习效率、持续学习、世界建模和创造力方面仍远未达到超人类水平。
系统通过自身输出的新代码驱动下一轮迭代,实现对训练、测试、架构和基础设施的全自动优化。
递归自我改进被视为通向超级智能的最快路径,使AI具备自我认知短板并自主修复的能力。
目标是构建可无限发明创新的自动化科学系统,率先用于AI研究,扩展至物理、化学和前临床生物学。
强调超级智能必须同时具备强大能力与安全性,并通过构建来深化对智能、科学与文明本质的理解。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Recursive:递归自改进超级智能
- 核心理念
- 递归自我改进
- 自动化科学发现
- 持续学习与进化
- 技术路径
- 代码自更新机制
- 全栈自我优化
- 开放-ended 发明生成
- 应用愿景
- AI 自研
- 前临床生物学
- 疾病治愈与长寿
金句 / Highlights
值得收藏与分享的关键句。
我们想要改变这一切,我们相信通往超级智能的最快路径是让它自己完成这个过程。
这是递归的:智能系统的代码输出成为下一次迭代的输入,系统全面修改自身的训练、推理、架构等。
这样的机器应能真正自动化科学方法,从设想、实施到验证完全自动执行。
AI将成为生物学的‘微积分’,提供理解复杂系统的新语言和思维方式。
对于一个智能体要被称为‘超级’,它不仅更强,还必须是安全的。
我坚信,建造一个能生成发明的超级智能,将帮助我们更深刻地理解智能、科学乃至人类文明本身。
文章
发布 Recursive
今天,我非常激动地宣布我们新公司 Recursive 的正式 launch。这是一家致力于构建递归式自我改进的超级智能、以自动化知识发现为核心使命的新创企业。
我很荣幸能与一支非凡的联合创始人团队共同踏上这段旅程:七位联合创始人包括 Tim Rocktaeschel()、Tim Shi()、Josh Tobin()、 、、Yuandong Tian(),以及 Alexey Dosovitskiy;同时还有像 Peter Norvig 和 Chris Cummins 这样极为出色的科研与工程人才加入其中。他们每一位都曾通过开创性的研究,或开发并规模化具有重大影响的产品,推动了人工智能的发展。我们衷心感谢众多杰出的投资人支持,特别是领投方 GV 和 Greycroft,以及 NVIDIA 与 AMD。
许多人对“递归式自我改进智能”存在误解。因此让我们先明确它的定义,并解释为何我们认为这是通往超级智能的最快路径。
首先从最关键的部分说起:超级智能(superintelligence)。根据不同的定义,我们已经非常接近通用人工智能(AGI)。当前可用的模型已具备很强的通用性,能够跨多个不同领域工作。借助代码,它们可以进行良好的推理。但在大多数意义上,它们尚不具备“超级”能力。的确,在某些方面它们已超越人类——例如使用工具进行数学运算、在多种语言之间翻译、即兴创作特定押韵格式的诗歌,或快速模仿任何已知艺术家风格作画等。
然而,它们距离“超越全人类智慧总和”的水平还很遥远。它们无法像人类那样高效地学习(即仅凭极少量样本就能掌握);也无法在部署后持续学习;缺乏对数字世界或物理世界的深层建模能力;其记忆机制要么完美但无用,要么仅限于短期任务;仍会犯下最聪明的人类绝不会犯的错误;创造力不足,只能按照我们设定的目标或目标函数行动;对自己存在的缺陷毫无自我意识;尚未真正推动科学前沿的进步。
我们希望改变这一切。而我们相信,实现超级智能的最快路径,就是让智能系统自己完成这一过程:即让它意识到自身的局限,并自主更新整个训练与测试流程,最终实现无限期的学习、构想与持续改进。
这就是“递归”的含义:该智能系统输出的代码,将成为下一轮迭代系统的输入,并用新代码更新自身。它也是“自我改进”的,意味着整个系统将自主修改其代码、训练方式、推理机制、评估体系、架构设计、基础设施等各个方面。
我们相信,其结果将是终极的“尤里卡机器”[1]。换句话说,一旦这种机器完成了充分的自我提升,它将能够以开放的方式几乎发明出一切事物。这样的机器将使我们真正实现科学方法论的自动化——正是这种方法论为人类带来了巨大的进步。它将全自动地提出想法、实现方案并验证结果。我们将首先从 AI 自身的研究开始,但最终希望将其应用范围扩展到物理学、化学,尤其是临床前生物学。AI 对生物学的意义,将如同微积分为物理学带来的变革一样——成为一种全新的语言和思维方式,帮助我们理解并更好地设计复杂系统。一个足够先进的超级智能将能够治愈几乎所有疾病,帮助人类更健康、更长寿地生活。
当然,我们也希望自动化发明创造的过程,使其对人类产生最大程度的积极影响。因此,我们在推进这一切的同时始终将安全性放在首位。在我看来,一种智能若要称得上“超级”,就必须既更强大又更安全。
秉承“我不能创造的,我就无法理解”这一理念,我相信,构建一个能生成发明的超级智能,将有助于我们更深入地理解智能、科学的本质,进而更好地认识我们自身与文明。它将帮助我们解决人类面临的最棘手问题,并有望最终提出一些我们此前从未想到过的全新而有趣的问题。也许它不会盲目追随目标函数,而是像科学研究本身并不总是从想法直达解决方案那样,创造出属于自己的主观目标函数。
我们这支卓越的联合创始人团队一致认为,这种方法是通向超级智能的最快路径。尽管我们来自截然不同的背景。就我个人而言,我一直热衷于构建多任务、联合训练、大规模、统一化的 AI 模型。从单个词向量如 GloVe,到上下文句子嵌入如 CoVe(启发了 Elmo 和后来的 BERT),再到“问我任何问题”和 DecaNLP 论文。在后者中,我们提出了一个设想:可以用一个大型(当时而言)神经网络进行训练,然后通过提示来处理各种问题或任务。我当时希望这项研究能推动领域朝更累积性的方向发展,使模型能够持续学习,避免每次启动新 AI 项目时都重新学习已有知识。如今,我们都正在人类所能获取的全部知识上训练非常庞大的模型。
在这些早期系统中,我们用学习得到的特征和统一模型取代了人工设计的语言特征和手动构建的架构。现在,全世界都已经接受了“一个可被多方向提示的模型”这一范式,但我们也开始观察到扩展定律(scaling laws)出现了一些放缓的迹象。
当然,我一直在深入思考什么能为人工智能带来下一个巨大的S型曲线式提升。现在我认为答案已经很清晰了:我们必须再次用一个学习得到的过程来取代人工流程。但这一次,我们要上升一个元层级,将这一转变应用于人工智能研究本身的过程——我们将用一个能够自我改进的超级智能,来取代人工进行AI构想、实现和验证的整个流程。
这听起来或许过于宏大,而且显然这将是一个长期项目。但我无比兴奋:首先构建出超级智能,然后自动化科学发现过程,帮助人类繁荣发展,并最终协助我们将更多智能播撒至宇宙各处。
如果你想参与我们,帮助AI实现自我构建,请随时联系我。
[1] 对许多英语使用者来说,大喊“Eureka!”会让人联想到阿基米德在浴缸中获得著名灵感的故事。最近我才知道,在加州长大的人更倾向于将这个短语与发现黄金时的兴奋联系在一起。我在“尤里卡机器”(Eureka Machine)这个名字中指的是前一种含义,不过如果它的发明真能对人类产生巨大价值,后一种含义或许也会随之而来。