为什么视频代理模型是下一个风口 —— Ethan He, xAI Grok Imagine

为什么视频代理模型是下一个风口——Ethan He，xAI Grok Imagine

来源网址: https://www.latent.space/p/video-agents

发布时间: 2026-06-01T15:41:48+00:00

我们本周宣布了AIEWF的演讲者！快来参加AI工程调查吧！

今天的嘉宾Ethan首先以NVIDIA Cosmos世界模型的主要负责人身份加入我们的LS Paper Club，随后加入了xAI，并在三个月内构建了Grok Imagine：

他带着一些极具争议的观点重返Latent Space：视频模型的主要智能来源于LLMs（大语言模型），而非通过视频数据训练获得，并且真正交互式、实时性、长时域的世界模型的下一个前沿领域在于开发LLMs（或许还包括交互模型）……

换句话说：短期内，下一个超越Sora的不会是一个更好的视频模型，而是一个视频代理。

[生成式媒体](https://www.youtube.com/watch?v=t4359sKBu4w&list=PLcfpQ4tk2k0VjKRy3q6ZxeOtkbZlmFDLg)的发展轨迹可能更接近于AI编程的演变。从最初关注单次输出性能和成本，到后来转向多轮推理和规划模型，这些模型能够进行规划、编辑、测试、调试并提交PR（Pull Request）。

当编程模型变得足够优秀时，提升性能的唯一显著下一步就是处理这些模型之间的编排工作。

如今，随着视频模型在真实感、一致性以及对提示词的遵循度上显著提升，并且变得更加高效经济，视频生成的下一个进化方向也可能是在整个创意任务中实现规划、生成、编辑、批判和迭代的系统。

在这期节目中，Ethan与swyx和Vibhu一起深入探讨了构建前沿图像和视频系统所需的要素：数据、VAEs（变分自编码器）、扩散Transformer、音视频对齐、推理速度优化，以及存储和传输大规模视频数据集的隐藏成本。从构建NVIDIA的Cosmos世界模型到加入xAI并在其构建Grok Imagine的过程中扮演核心角色，Ethan始终处于视频生成、多模态模型和实时世界模型领域最核心的工作之中。

视频5

我们深入探讨了Grok Imagine，一个小型的xAI团队如何在三个月内推出了其首个多模态视频模型，为什么迭代速度在模型开发中比几乎所有其他因素都更重要，以及为什么许多最大的改进来自于修复数据和训练管道中的小错误。

视频代理几乎可以肯定将成为未来一年的趋势。最后，我们展望了视频代理之外的可能性：

[Flipbook](https://www.flipbook.page/n/43e8c7b08ab14571810fee265c331cb3)在今年发布时引起了小小的轰动，但大多数人只是把它当作一个有趣的演示。Ethan却非常认真对待它——随着推理速度和成本每年都在下降，定制视频即时编译用户界面的未来比你想象的更近。我们讨论了为什么视频生成模型可能会成为AI的前端，为什么生成式UI可能会取代传统的HTML/CSS，为什么世界模型需要具备实时性、交互性和长时域特性，以及为什么视频生成的未来可能更多地依赖于语言模型和代理，而不仅仅是扩散模型。

我们讨论了以下内容：

• 为什么快速迭代比会议更重要
• 为什么小的训练错误可以带来巨大的模型质量提升
• 为什么编程模型可能会再次让计算能力成为瓶颈
• 图像和视频模型是如何通过合成字幕进行训练的
• VAEs和潜在空间在前沿视频模型中的作用
• 为什么图像模型是视频模型的基础
• 时间压缩与实时交互之间的权衡
• [Flipbook](https://www.flipbook.page/)、[Neural OS](https://neural-os.com/) 和生成式UI的未来
• 为什么未来的界面可能会从用户意图直接到像素
• 训练大型视频模型的隐藏成本：存储、带宽和GPU小时数
• 如何通过步骤蒸馏和一致性模型（如OpenAI的sCM）使视频推理快几个数量级
• Grok Imagine 0.9和大规模音视频生成
• 为什么音视频对齐比文本视频对齐更难
• Ethan对世界模型的定义
• 参考视频、视频扩展和长上下文视频生成
• 为什么xAI的研究传播低估了Grok Imagine
• xAI文化如何塑造了开发速度
• AI水印、SynthID和检测生成媒体
• 为什么提示重写对视频模型很重要
• Grok Imagine Agent和视频代理的崛起
• 为什么语言模型可能会解锁更好的视频生成
• 机器人技术、物理AI和具身世界模型
• 为什么Ethan离开了xAI并将注意力转向LLMs
• 自我管理的上下文、记忆和语言模型的下一个前沿领域

Ethan He

• LinkedIn: https://www.linkedin.com/in/ethanhe42
• X: https://x.com/EthanHe_42

00:00:00 引言 00:01:25 从NVIDIA Cosmos到xAI 00:03:24 从零开始构建Grok Imagine 00:10:07 图像和视频模型的训练方式 00:18:53 视频压缩、VAEs和实时权衡 00:22:10 生成式UI、Flipbook和Neural OS 00:32:10 训练大型视频模型的成本 00:37:04 蒸馏、GANs和快速视频推理 00:41:21 音视频生成和Grok Imagine 0.9

Swyx [00:00:00]: 我们在这里与Ethan He一起，他最近来自xAI。欢迎。

Ethan [00:00:10]: 谢谢。很高兴来到这里。

Swyx [00:00:11]: 我们还在这里有Vibhu。您最初是从哪里加入我们的？您是因为在 NVIDIA 工作，开发了 Kosmos 论文，并且发表了论文，所以我们很喜欢。您也进行了展示，所以感谢您这样做。

Ethan [00:00:23]: 其实我在 Latent Space 也展示了两次 MoEs。

Swyx [00:00:29]: 您是如何知道我们的？是我们联系了您吗？那是怎么运作的？

Ethan [00:00:33]: 不，实际上，我是通过社区。我意识到，哦，有一个关于 AI 的在线社区，人们每周通过论文互相学习。

Ethan [00:00:49]: 我学到了很多。

Swyx [00:00:49]: 我觉得已经三年了。我们甚至在圣诞节和新年都没有停止。很多时候我想停下来，但它一直在继续。

Vibhu [00:00:58]: 不，那很好。我记得您发布了您在工作中的论文，我说“哦，非常酷。我们有 Paperclip。那就来演讲吧。”

Vibhu [00:01:04]: 不过我可能之后联系了您。

Swyx [00:01:05]: 因为你……因为这是一个业余俱乐部，对吧？

Swyx [00:01:08]: 所以这非常不寻常，但有时会有一些作者来解释论文。今天我们就做了，昨天发布的池边论文，据说非常好。

Vibhu [00:01:18]: 昨天发布的。

Vibhu [00:01:19]: 很有趣，对吧？完全开源。他们谈论一切，系统。所以我们会建议大家阅读它。

Swyx [00:01:25]: 让我们了解一下您从 NVIDIA 转到 xAI 的情况，因为我实际上甚至不知道您是什么时候加入的。就请您讲述一下这段经历。

Ethan [00:01:34]: 在 NVIDIA 之前，我在 Kosmos 世界模型组工作。Kosmos 是一个什么模型？它是 NVIDIA 开发的一个巨大的视频基础模型，旨在……它旨在服务于所有机器人学家构建的Foundation之上。一旦我建立了第一个Kosmos，我就意识到这个东西也有类似于语言模型的缩放法则，我们需要进一步扩展视频模型。这就是为什么我意识到我需要更多计算资源。这就是我

Swyx [00:02:13]: 比NVIDIA还要多。

Vibhu [00:02:14]: GPU 富裕来了自己。

Vibhu [00:02:19]: 时间线是什么时候？Kosmo 很早，对吧？它是开放世界模型，开放论文，一切都是开放的。

Ethan [00:02:25]: 那是在二零二四年年底。

Vibhu [00:02:28]: 年底二零二四年。

Ethan [00:02:30]: 然后在二〇二五年年中，我加入了 xAI。当时——我大约在 xAI 成立时加入了 xAI，那时 xAI 正在开发视频模型和多模型。那里没有基础设施、数据或模型，只有几名工程师。我们在三个月内构建了第一个模型 Grok Imagine 0.9。

Ethan [00:02:55]: 从那以后，我一直专注于视频模型，并从训练转向视频模型的后期处理。例如，像参考视频一样，就像 Cameo 功能，以及视频扩展。在我离开之前，我带领一个小团队专注于实时长时序视频生成。

Swyx [00:03:24]: 当您在一个全新的团队中时，能否给我们一个大概的路线图？Grok 之前只有文本，或者他们与 BFL 合作了他们的图像生成。您能告诉我……这些构建 blocks 是什么？对吧？您有什么建议给那些想了解的人？您需要考虑的事情清单，当您组建一个新的团队。

Vibhu [00:03:43]: 事实上，不仅仅是数据，您还可以采购。你们确实花了这么快的时间，但是

Swyx [00:03:51]: 三个月确实出人意料地快。

Vibhu [00:03:52]: 从一切都开始。

Swyx [00:03:52]: 实际上非常令人惊讶。

翻译要求：

• 保持 Markdown 格式不变（标题、列表、代码块、链接等）。
• 技术术语保持准确一致，常见术语保留英文（如 API、SDK、Docker 等）。
• 翻译要自然流畅，不要逐字翻译。
• 代码块内容不翻译。
• 图片链接和 URL 保持原样。

注意：原文被分为 19 段，当前是第 3 段。请保持翻译风格一致，不要在译文中提及分段信息。

翻译：

Ethan [00:10:28]: 我不能具体评论 xAI 是如何做的，但这是一种相当标准的流程。我可以从宇宙模型中举几个例子。所以，构建视频模型实际上需要先构建一个图像模型。而构建这两个模型，你需要的数据百分之百是语言和图像或语言到视频的合成配对。因为，在互联网上，实际上视频并不自然地与文本关联。你可以这样说，比如在 YouTube 上，你有标题，有描述和评论

Swyx [00:11:11]: 标题

Ethan [00:11:11]: 视频的，但通常它们与视频本身没有相关性。比如说视频是一些山景之类的自然场景，标题可能是“我今天好开心”。

Ethan [00:11:26]: 所以它们完全没有任何关联。第一步是，你必须生成语言与视频的合成配对。因此，您从互联网上收集视频，并使用 VLM 对其进行注释。所以这部分，这里有一个问题，比如你是如何开始使用 VLM 的？如果没有

Swyx [00:11:55]: 你，所以你融合了模型，对吗？就像

Ethan [00:11:57]: 假设根本不存在这样的 VLM，比如你怎么一开始生成文本呢，对吧？这是不可能的。

Swyx [00:12:04]: 我明白了。

Ethan [00:12:05]: 最初，您可以要求人类尽可能详细地描述视频。例如，您要求他们描述视频中的所有对象、所有角色以及所有交互和对话。这就是宇宙协议标记中给予标记者的指令。我们要求标记者做什么，就是您必须尽可能详细地描述视频，这样盲人听到一段文字后就能从脑海中重构出视频是什么样子的。

Swyx [00:12:43]: 视频还是图片，你说的是图片。

Vibhu [00:12:47]: 当我们从 CLIP 和 DALL-E 进行转换时，这很常见，对吧？

Vibhu [00:12:51]: 同样应用于视频，但相反

Ethan [00:12:57]: 同样应用

Ethan [00:12:57]: 要么使用多模式模型传递视频图像并编写丰富描述，要么

Swyx [00:13:04]: 我觉得这里面有一种传统的监督或非常高度人工 curate 的视角。我认为存在解锁的机会，无需监督，对吧？就像你有足够的东西来启动，你可以只是扔共同语料库，或者什么都可以。像跨图像和文本，对吧？就像你只是学习它们之间的配对。对我来说，这就是突破 CLIP 和 LLM 时代的 VLM。

Ethan [00:13:36]: 你觉得这两种数据都需要，这很有趣。

Ethan [00:13:41]: 例如对于

Swyx [00:13:41]: 你需要它来引导它。是啊

Ethan [00:13:43]: 对于生成模型训练，通常也会使用一小部分未标记数据。因此，该模型被指示在没有任何文本指令的情况下生成视频。这也有助于模型泛化。在生成合成配对之后，即，还有一个常见的步骤是对图像或视频进行压缩或分词。所以因为如果你可以理论上训练纯像素上的图像或视频模型，但问题是，它是，它是大量的标记。比如说一张图像是一千乘一千，那就有一百万个标记，一百万个像素。这是不可能训练转换器的。所以你需要训练一个分词器，它可以将图像转换为潜在空间，然后从潜在空间返回到图像。

Swyx [00:14:45]: 这就是我们的播客命名的原因。

Swyx [00:14:48]: 但是，基本上，你在谈论词汇科学。

Ethan [00:14:50]: 词汇。

Swyx [00:14:51]: 然后，什么是...什么是 imp...比如一百万是不可能的？

Ethan [00:14:54]: 在生成模型中，词汇表是连续的。这是一个连续的空间。我们可以认为您将图像映射到向量。这是一个固定长度的向量。大概是十六或四十八，大概是那样。然后您将该向量重新映射回图像空间。映射是...映射是基于补丁的。所以您说您有

Ethan [00:15:22]: 十六乘十六的补丁，您将此像素块映射到这个潜在空间。

Swyx [00:15:29]: 我们已经讨论过这个

Vibhu [00:15:30]: 这就像视觉Transformer

Swyx [00:15:32]: VAE，

Ethan [00:15:33]: VAE。

Vibhu [00:15:34]: VAE 是变分自编码器，但我觉得补丁的概念来自 ViT，对吧？

Swyx [00:15:43]: 变分自编码器是一种压缩方法，但据我所知，ViT 论文的题目是“只需要十六乘十六”，诸如此类。然后人们也做了很多比较，将这种补丁概念与卷积神经网络联系起来。

Swyx [00:16:05]: 你实际上是在用新的范式重建旧的范式。

请将以上 Markdown 文章翻译为中文。直接返回翻译后的 Markdown，不要添加任何额外说明。

Ethan [00:16:14]: 在这个 VAE 之后，你就得到了潜空间标记符和语言标记符。现在，训练扩散转换器，通常生成模型使用扩散转换器。这实际上非常标准。它与训练语言转换器模型非常相似。区别不大。只是视觉标记符输入，视觉标记符输出。唯一的区别是有去噪过程。所以你训练模型来消除一些噪声。因此，您向视觉标记符添加随机噪声，然后训练模型去除这些噪声以生成干净标记符。在推理期间，模型可以从 100% 噪声开始，迭代地去除噪声。

Ethan [00:17:12]: 还有，为了加快速度，在扩散的技术树上，还有 CFG，以及潜在扩散，等等。我知道，显然，Stability 和其他公司都率先提出了许多这种架构。我不确定你想深入探讨多少，或者视频部分由谁负责。

Ethan [00:17:37]: 训练完这样的模型后，这样的图像模型之所以成为视频模型的基础，是因为训练图像模型的成本更低，而且它们之间的语言到图像连接更密集。也就是说，您训练了十亿张图像，而存在从文本到图像的映射。然而，训练十亿个文本到十亿个视频的成本要高得多，因为视频自然比图像包含更多标记符。由于扩散模型对语言的理解纯粹来自这种映射，如果您只训练了数千万个视频或类似内容，那么——您的模型可能没有充分理解人类意图。这就是为什么您实际上需要——首先训练这个图像扩散模型，然后从那里构建视频模型。

Swyx [00:18:53]: 我确实想问一个问题，因为我——我想我是第一个我曾经谈论过的视频模型的人，我想。我们已经和 Luma 以及其他人谈过。在视频压缩方面有很多技巧，即帧与帧之间差异不大，因此实际上不需要重新生成或保存整个框架，对吗？但我想这类似于 MP4 压缩或其他类似的东西。

Swyx [00:19:16]: 是不是让人想用它？据我所知，大家似乎都只是将其视为“我们将生成每一帧”。这是大致的状态？

Ethan [00:19:27]: 有很多种方法。假设您只想直接使用 MP4 压缩并将其用作转换器训练的标记符，对吧？人们确实尝试过，但主要问题是 MP4 标记符的潜空间并不适合模型理解。它很难训练。存在

Ethan [00:20:01]: 这就是为什么要创建 VAE，它们创建了更连续的潜空间，这样模型就可以更容易地理解和学习该潜空间。即使在 VAE 之间，潜空间也存在不同的难度。您可以想象最简单、最原始的 VAE就像您有一张图片，只是将所有像素打乱成一个向量。您不需要训练任何 VAE，对吧？但是这个潜空间对于模型来说极其难以训练。这就是为什么关于如何压缩标记符有一些争论。您可以按帧压缩。也可以压缩时间维度。

Ethan [00:20:52]: 区别在于，如果您压缩时间维度，可以获得更高的压缩率。因为帧之间存在时间冗余，因为这一帧和前一帧很可能大部分相同，只有很小的差异。例如，在 12.1 VAE 中，他们有八乘八乘四的压缩率。四个时间标记符被压缩成一个标记符。这可以节省大量——节省大量的上下文长度。如果您按帧进行压缩，您可能只需要八乘八乘一。您的上下文长度会大四倍。话说回来，帧——按帧进行压缩的一个好处可能是实时性和互动性。因为如果您按照模型的输出格式进行训练，每帧一次，模型可以对任何用户请求立即做出响应。如果

Swyx [00:23:14]: 所以本质上，我们在播放视频，但会在我们的下一次交互时暂停，然后根据我们的交互继续播放下一个内容。

Swyx [00:23:23]: 这有点酷。

Vibhu [00:23:25]: 你可以决定自己的故事。所以这是，如何建造金字塔？杠杆技术似乎很有趣，对吧？展示了如何获取内容

Swyx [00:23:35]: 演示的推文动画更多。

Vibhu [00:23:38]: 我认为它只是跳过，

Swyx [00:23:39]: 哦，它只是跳过了很多帧。

Ethan [00:23:40]: 它们还有视频模式

Vibhu [00:23:42]: 很多人都在使用它

Ethan [00:23:42]: 但它不可用。

Vibhu [00:23:46]: 有一个直播视频流。我们可以尝试一下，

Swyx [00:23:50]: 所以这只是你看到的极端未来的一个例子。我们当然今天还没有——

Swyx [00:23:56]: 在推理完全免费的情况下，这比生成代码和文本更好吗？

Ethan [00:24:02]: 所以这是Viva最终状态，我认为是这样。想象一下，互联网不存在，然后你在谷歌上输入google.com。那么，模型应该向您显示什么？模型可以想象一些东西，这就是模型想象的内容。这些网页完全不存在。所以我认为随着推理成本下降，我们将拥有针对一切的生成UI。如果您考虑编码模型，那么它们为Web页面编写代码，并呈现这些代码可能转换为二进制文件，然后二进制文件在屏幕上呈现像素。所以在机器学习中，每次有突破，显然它更直观。所以我们为什么不能让UI直接从用户意图到像素呢？所以生成UI将是用户意图到像素的直接方式。比如说，如果你想要电子邮件，假设每个人都拥有相同的界面，但你想稍微改变它。你想让电子邮件以TikTok的方式显示，这样你就可以左右滑动电子邮件。或者也许你想做些别的。我们可以有不同的东西。或者说我正在看Instagram 帖子，我不喜欢“赞”按钮。我总是点击它。生成UI解决了这个问题。所以它会成为接口的革命性替代品。在未来，我们可能会拥有更强大的

Ethan [00:25:50]: behind-the-scenes 编码模型和语言模型。

Swyx [00:26:02]: 前端扩散模型。

Swyx [00:26:04]: 也许是这样的。我觉得这很昂贵，但是，

Vibhu [00:26:08]: 我觉得有趣的是，你把写代码的语言模型称为确定性的，但好吧。

Swyx [00:26:14]: 你只写一次

Vibhu [00:26:15]: 相比较而言

Swyx [00:26:16]: 然后你执行。

Ethan [00:26:17]: 如果你认为成本，比如说，H100 每小时花费 1 美元，如果你每天使用八小时，三十天，所以，每个月你要付这个两百四十美元，实际上你不想付这笔钱。即使计算成本每年降低两倍，我认为未来很可能在几年内就会到来。

Vibhu [00:26:49]: 都是这样，对吧？计算成本下降，计算速度变快，模型变得更智能

Ethan [00:26:54]: 更高效

Vibhu [00:26:54]: 模型变小。

Swyx [00:26:55]: 我不知道你为什么说两次，因为我认为每十二到十八个月大约是 hundred 到一千 times，对于LMSys， ELO。

Vibhu [00:27:08]: 这是所有事情的净结果，对吧？这不仅仅是计算成本下降。所以这是一个非常有趣的未来。

Swyx [00:27:19]: 所以网络设计师必须大声喊出可访问性是个问题，对吧？比如你怎么处理屏幕阅读器或其他东西。但是是的，这比你能用代码生成的任何东西都有更高的带宽讲故事。

Ethan [00:27:34]: 我还想补充一点，人类自然具有最高带宽，当我们观察事物，观看视频时，我们也有最高的输出带宽，当我们说话时。所以在未来，也许我们会与AI模型交谈，而AI模型会通过生成UI进行回应。这将是与AI模型交互的最大输入和输出带宽，直到出现神经链接。

Vibhu [00:28:06]: 而且它也非常个性化，对吧？有些人很擅长视觉，有些人不太擅长视觉，对吧？但是生成UI也可以是文字。

Swyx [00:28:17]: 还有一个项目我们也想强调，那就是Neural OS。想法类似，但这里你是用视频模型来操作、模拟操作系统。

Swyx [00:28:27]: 你可以玩《毁灭战士》，可以在Firefox上浏览。我发现自己有点不那么令人印象深刻，当然了，因为这是我可以运行的操作系统。

Swyx [00:28:37]: 但是在这里，一切都是想象出来的。

Vibhu [00:28:40]: 我之前说过，我习惯用Command+W关闭Firefox标签页。它没有崩溃。这就是我说的原因

Swyx [00:28:45]: 太沉浸了。

Vibhu [00:28:46]: 对我来说太沉浸了。

Swyx [00:28:47]: 太沉浸了。

Vibhu [00:28:48]: 我想关闭标签页。

Vibhu [00:28:49]: 但我确实可以播放已生成的扩散。

请将以上 Markdown 文章翻译为中文。直接返回翻译后的 Markdown，不要添加任何额外说明。

Swyx [00:34:45]: 而且这只是存储成本。

Ethan [00:34:47]: 还有计算成本。

Swyx [00:34:48]: 对。

Ethan [00:34:48]: 培训成本。

Swyx [00:34:49]: 是的。

Ethan [00:34:50]: 所以我们说一下这个数字吧。如果你用 A100 训练，可能需要几百万美元才能训练一个视频模型。如果是 H100，可能会达到十亿美元。

Swyx [00:35:02]: 十亿美元？

Ethan [00:35:03]：是的，十亿美元。所以这真的是……

Swyx [00:35:05]：这是……这很疯狂。

Ethan [00:35:06]：这就是为什么只有少数几家大公司能够这样做。

Swyx [00:35:08]：而且他们还在开源一些东西，但最终还是需要大量的资金。

Ethan [00:35:14]：对，比如 Stability 已经筹集了数亿美元。他们最近又筹集了 3 亿美元，用于视频模型。

Swyx [00:35:21]：嗯，这听起来像是一个无底洞。

Ethan [00:35:23]：是的，而且不仅仅是资金。还需要人才、数据等等。

Swyx [00:35:30]：所以我们应该谈谈不同的方法。因为现在有这么多不同的方法，它们都有自己的优缺点。我们可以从基础模型开始，然后进入微调、提示工程等。

Ethan [00:35:41]：好的，那么让我们看看这些不同的方法。首先，基础模型。

Swyx [00:35:45]：所以基础模型就是你直接用大量数据进行训练，就像我们之前讨论过的那样。

Ethan [00:35:50]：没错，这是一种非常直接的方法。但是它需要大量的计算资源和数据。

Swyx [00:35:57]：然后是微调。微调是指你在已经 pre-trained 的模型上继续训练。这样可以节省计算资源。

Ethan [00:36:05]：嗯，微调是一种很好的方法，尤其是在数据量有限的情况下。但它也可能导致过拟合。

Swyx [00:36:12]：最后是提示工程。提示工程是指你在不改变模型参数的情况下，通过修改输入来影响输出。这是一种非常灵活的方法。

Ethan [00:36:22]：嗯，提示工程确实很灵活，但它也有限制。它不能改变模型的本质功能。

Swyx [00:36:29]：所以，每种方法都有其适用场景。选择哪种方法取决于你的具体需求和资源。

Ethan [00:36:36]：没错，我们需要根据实际情况来选择最合适的方法。

Swyx [00:36:40]：那么，你认为未来会朝着哪个方向发展？基础模型、微调还是提示工程？

Ethan [00:36:47]：我猜是所有这些方法都会共存，只是不同的 use case 可能会偏重于不同的方法。

Swyx [00:36:53]：也许我们会看到更多混合方法的出现。

Ethan [00:36:56]：也许我们会看到更多的自动机器学习应用于这个问题。

Swyx [00:37:02]：或者也许我们会看到新的架构出现，专门针对视频生成进行了优化。

Ethan [00:37:07]：不管怎样，这是一个快速发展的领域，所以保持关注是很重要的。

Swyx [00:37:13]：好的，我想我们今天已经涵盖了相当多的内容。感谢您加入我们，伊桑。

请将上文的 Markdown 文本翻译为中文。

Swyx [00:34:45]: 我这边有个小插曲，比如 GPU 租赁非常高效。有一边，嗯，你可以做 XAI 并构建自己的数据中心。我们为什么不自己构建存储和计算呢？就像

Ethan [00:34:57]: 当然

Swyx [00:34:57]: 与云成本相比

Ethan [00:34:59]: 你省了好多

Swyx [00:35:00]: 存储。没错。

Swyx [00:35:01]: 尤其是关于出口流量之类的。所以。

Ethan [00:35:04]: 这是个好主意，但这也带来了一些——有自己的挑战。

Swyx [00:35:09]: 当然，当然。

Ethan [00:35:10]: 比如说，建立 GPU 数据中心的人，可能没想到会需要这么多存储。而且，通常建立存储系统的人只是用 CPU。

Swyx [00:35:23]: 我刚才查了一下。AWS 只对出口收费，不对接入收费。五——五 PB 的价格是两十三万。

Ethan [00:35:32]: 比存储还贵。

Swyx [00:35:34]: 而且是按月收费的，上传进去就不能拿出来了。太棒了。这是一方面。

Ethan [00:35:41]: 所以简而言之，我手头的数学运算

Ethan [00:35:42]: 数据比你想的大得多。

Ethan [00:35:44]: 我手头的数学运算也忽略了存储。

Swyx [00:35:49]: 你也基本——你基本上也是 I/O 瓶颈更严重一些。

Ethan [00:35:55]: 因为数据加载，缓存一切，变得非常重要。

Ehton [00:36:00]: 在 Cosmos 中，我们做了很多优化来尽量减少 I/O 瓶颈。那么，关于训练本身，GPU 成本呢？如果你看看开源模型有多大，我觉得 LTX 有 19B 参数。这是一个密集型模型。人们也在探索 MoEs，所以可能是 20B 活性，几百 B 总数。所以这甚至——这甚至比中型语言模型还要大。如果你看数量标记——我们在 Cosmos 中披露了这个。实际上也有数万亿视觉标记。

Ethan [00:37:04]: 训练这些视频模型的成本，实际上与语言模型相当。更不用说基础设施与语言模型不同，训练这些模型可能效率更低。

Swyx [00:37:15]: 你能得到传统扩散加速的好处吗？所以对于图像，有 LCM、LoRA 用于微调。有很多东西已经被

Ethan [00:37:23]: 流形匹配。

Swyx [00:37:24]: 流形匹配。有很多东西已经被做了。推理方面有一些重叠，等等？

Ethan [00:37:28]: 推理端是一个完全不同的故事。

Ethan [00:37:28]: 我认为对于训练端，减少成本可能有点困难。而在推理端，最大的收益来自于这些模型的蒸馏。你可以——这被称为步骤蒸馏，与语言模型中的知识蒸馏略有不同。所以你——通常对于流形匹配模型，你需要像 100 步或类似的东西。即使是蒸馏模型甚至需要更多，比如 1000 Schritte, um ein gutes Bild oder Video zu generieren. 一个步骤蒸馏试图从模型本身学习生成更少的步骤。这就像现在我们使用完整的模型来生成 100 步，然后我们让一个只生成 10 步的模型学习来自完美的那个。

Ethan [00:38:25]: 为什么这有效

Swyx [00:38:27]: 强到弱似乎是这样。

Ethan [00:38:28]: 这是蒸馏

Ethan [00:38:29]: 这种

Ethan [00:38:29]: 有点像

Swyx [00:38:29]: 从强到弱。从建模的角度来看，强大的教师模型试图模拟互联网上的图像和视频分布，这个分布极其复杂。但用于蒸馏的步骤较少的模型只是一个尝试从教师那里学习的模型。教师是一个模型，大小是固定的，因此分布比整个互联网简单得多。这就是我认为步骤蒸馏可以起作用的直观原因。通常这些模型服务于生产环境，只运行几步。在 Cosmos 中，我相信我们有四步和八步。如果你做一些更简单的任务，比如图像到图像转换，甚至可以更少，比如 Cosmos Transfer 中的一步。

Swyx [00:39:22]: 我认为这正是许多一致性模型工作背后的直觉。我给你发了一张 SCM 的链接。我不知道你是否看过这个。对我来说，这是我见过的 OpenAI 最令人印象深刻的论文之一。

Swyx [00:39:34]: 这就是一致性模型的统一伟大概念。我不确定你对此有什么评论。

Ethan [00:39:41]: 有不同的方法，

Swyx [00:39:46]:: 哦，是的，这是这里。

Swyx [00:39:47]: 两步 versus 20 或 100 步，已经完成了。

Ethan [00:39:52]: 不同的方法，例如一致性模型，还有实际上我们应该忘记 GAN。所以 GAN 其实是

Swyx [00:40:05]: OG

Ethan [00:40:05]: 步骤蒸馏的 OG，因为一开始它只训练一步。所以实际上，很多——例如，有一个分布匹配蒸馏，使用 GAN 作为蒸馏的一部分。它——GAN 只告诉你：“生成一张图片”，然后

你是一位专业的技术文档翻译专家。你的任务是将技术文章在中文和英文之间进行高质量翻译。

Ethan [00:40:31]: 它有一个判别器来判断，这张图是真实的还是伪造的？所以模型只需要学习一个分布，而不是整个分布。因为在训练中，模型被要求从来自互联网的 ground truth 图像中重构图像，这非常困难。而在——使用GAN训练时，这是一个逐步的过程。它只是说“你生成图像。这张图像看起来与来自互联网的图像一样真实吗？”这是一个更简单的任务。而且，结合这些方法的许多思路，人们通常会这样做，比如一致性模型和分布匹配以及GAN，我们可以得到这些几步模型。

Swyx [00:41:21]: 然后我想添加的是音频和视频。

Ethan [00:41:26]: 所以，Grok Imagine 零点九，我相信它是，在大规模部署的第一个音频视频转换模型。所以

Swyx [00:41:39]: 那是你第一个模型吗？

Ethan [00:41:40]: 那是Grok Imagine的第一个模型。它是音频视频联合生成。我认为困难的部分是模态对齐，因为在此之前，我们有文本到视频对齐。我们有文本和视频之间的这种对应关系。大多数 VLM，它们理解图像和视频。视频非常罕见，它们几乎不理解音频。如果你看看 LLM 方面的音频生成，你可以完美地与它们交谈，但如果要求它们唱歌，通常效果不是很好。另外，它们也没有音乐。困难的部分是……嗯，音频有两个组成部分。它有离散成分，连续成分。离散成分就像语言。

Ethan [00:42:44]: 当我们说话时，它只是……

Swyx [00:42:47]: 这是个 ASR 问题，是的。

Ethan [00:42:49]: 我会说是带有某些特征的文本标记。

Ethan [00:42:54]: 但音乐……

Swyx [00:42:56]: 我觉得语音团队会不同意这个观点。

Swyx [00:42:57]: 如停顿，然后，

Vibhu [00:43:00]: 你可以感受到情绪。

Ethan [00:43:01]: 嗯，我说大部分情况下。

Ethan [00:43:03]: 音乐完全不同。它是完全连续的，你不能把它当作语言模型中的离散标记建模。这就是模型面临的主要挑战之一，更不用说我们必须一起对齐文本、视频和音频。

Ethan [00:43:26]: 所以

Vibhu [00:43:26]: 怎么做？

Ethan [00:43:28]: 一些显著的挑战包括……所以首先，正如我们之前讨论过的，尽管 VLM 可以理解大多数图像，但它们几乎都不理解音频。

Ethan [00:43:39]: 因此需要进行音频合成数据生成。您必须为该模型加上说明，并且需要大量合成数据和人工努力。令人惊讶的是，大多数 LLM 对音乐的节奏、音调和细节的识别能力都非常差。它们可以对歌曲给出一般性预测，但很难描述音乐的细节。就像我们提到的，在图像生成方面，您必须尽可能详细地描述图像，以便盲人能够根据您的描述重建它。所以这里就是

Vibhu [00:44:32]: 聋人

**Eth

请将以上对话翻译成中文。

Vibhu [00:47:19]: 所以你告诉 LLM：“去构建这个。”它需要我几天时间。但我觉得它在某种程度上是有根据的，与它们没有最好的……不是说它们有很好的理解，但我觉得这个例子就像你可以看出它的来源一样，对吧？你是在所有文本上训练的。

Swyx [00:47:35]: 它们，它们试图估计人类会说什么。

Vibhu [00:47:37]: 因为这就是，这就是数据所代表的。这不是它们

Ethan [00:47:41]: 这来自互联网语料库。人们估计需要多长时间。

Vibhu [00:47:45]: 而且不仅仅是直接训练样本，对吧？只是你对标记的世界理解，比如一本书需要多久，对吧？去读一本书。你需要一段时间，对吧？

Vibhu [00:47:56]: 就算什么都不做，只读一本书，也需要几天时间。所以，LLM，我读了，花了我几个小时。

Vibhu [00:48:01]: 我需要几个小时才能完成这项研究。但这只是个题外话。

Swyx [00:48:05]: 也对，是的。

Swyx [00:48:06]: 这是我到现在为止都没有表达过的想法，也就是全世界上模型也必须是递归的，也就是说，世界上模型的参与者也必须意识到他们有一个世界模型。这就是这条递归链往下延伸，对吧？还有，世界上模型可能是错误的，它们需要更新等等。是的，我们也在通讯上争论过，认为需要某种递归或对抗性世界模型。

Vibhu [00:48:34]: 只是问一下，你是如何定义世界模型的？

Swyx [00:48:38]: 哦，是的，让我们去那里。

Ethan [00:48:40]: 所以

Vibhu [00:48:40]: 所以只是为了上下文，我们讨论了视频生成，然后有一个——如果你说世界模型和两者的区别是什么，你有什么定义？你怎么看待这两个？

Ethan [00:48:53]: 嘛，免责声明，我不打算辩论什么是世界模型。是的，有很多定义，所以我只会谈我的定义。因为我来自多模态领域，主要是关于视频的。所以世界模型就是实时交互式长时序视频。所以有三部分。所以让我们一个接一个地谈谈。所以，所以互动，所以我们只是看 Facebook 和神经计算。所以这一部分的互动，所以您，世界模型可以允许您通过键盘、鼠标，也许还有语音与它们进行交互。所以这些都是——所有的模态都可以，您可以与该模型进行交互，而该模型应该合理地响应。第二部分是实时。所以一旦您，比如说您移动鼠标，如果您，比如说，世界模型生成游戏，它响应的速度有多快？所以如果您是专业玩家 CS:GO——哦，您必须在亚十毫秒内响应。他是个新手。哦，甚至更少。所以这是六十 FPS。让我们去。哦三百 FPS。哦五百 FPS。等等。好。嗯，我没有算数学，但是好的。嗯，好的。呃，嘿，好的。Yeah, uh- Yeah, I didn’t do the math, but yeah, okay. Okay. Yeah

Ethan [00:50:29]: 毫秒。大多数视频模型无法做到这一点。是的，但是，比如说，如果您有一个视频模型，比如说，是一个数字人类，响应时间可能会更宽松。也许对于实时语音交互来说，通常大约是两百毫秒。所以那要宽松得多。但是即使两百毫秒也很棘手，因为记住我们提到的

Ethan [00:51:01]: 您有来自 VAE 的这种来自时空压缩的问题。所以如果您不想压缩时间维度，您的序列长度就会爆炸。所以如果您想要模型的这种实时性，您必须解决上下文问题。第三点是长时序，因为我们——如果您不只是玩几秒钟的视频游戏，大多数视频模型只能播放几秒钟。我们将玩几分钟，甚至几小时。模型必须能够生成长序列的内容。

翻译要求：

• 保持 Markdown 格式不变（标题、列表、代码块、链接等）。
• 技术术语保持准确一致，常见术语保持英文（如 API、SDK、Docker 等）。
• 翻译要自然流畅，不要逐字翻译。
• 代码块内容不翻译。
• 图片链接和 URL 保持原样。

注意：原文被分为 19 段，当前是第 11 段。请保持翻译风格一致，不要在译文中提及分段信息。

请将以上 Markdown 文章翻译为中文。直接返回翻译后的 Markdown，不要添加任何额外说明。

Ethan [01:09:57]: Spicy question.**

Swyx [01:09:58]: Yeah, go ahead.**

Ethan [01:09:59]: Safety in video mode is a huge challenge. We need to ensure generated content is safe, ethical, and doesn't harm users.**

Swyx [01:10:08]: How do you approach this?**

Ethan [01:10:10]: We use a combination of automated filtering and human oversight. It's an ongoing process.**

Swyx [01:10:18]: That makes sense. What specific techniques are you using?**

Ethan [01:10:23]: We're developing new methods for real-time safety analysis during video generation. It's complex.**

Vibhu [01:10:30]: Can you give an example?**

Ethan [01:10:32]: For instance, we flag potentially harmful sequences before they're generated.**

Swyx [01:10:38]: Interesting. What kind of harm?**

Ethan [01:10:41]: Violence, hate speech, misinformation... the usual culprits.**

Vibhu [01:10:45]: Got it. Anything else?**

Ethan [01:10:48]: We also train models to recognize context-specific risks.**

Swyx [01:10:54]: That's important. What's the biggest challenge?**

Ethan [01:10:59]: Balancing safety with expressiveness. We want freedom, but not chaos.**

Vibhu [01:11:07]: Right. How do you measure success?**

Ethan [01:11:11]: Through rigorous testing and user feedback. It's an evolving field.**

Swyx [01:11:18]: What's next for video safety?**

Ethan [01:11:23]: We're exploring new verification techniques. It's exciting.**

Vibhu [01:11:30]: Thanks, Ethan.**

请将上一次的对话内容翻译为中文。

您输入的文本包含非对话内容，这可能会导致混乱。是否继续？（建议仅包含对话内容）

您是一位专业的技术文档翻译专家。您的任务是将技术文章在中文和英文之间进行高质量翻译。

翻译要求：

• 保持 Markdown 格式不变（标题、列表、代码块、链接等）。
• 技术术语保持准确一致，常见术语保持英文（如 API、SDK、Docker 等）。
• 翻译要自然流畅，不要逐字翻译。
• Code block 内容不翻译。
• 图片链接和 URL 保持原样。

注意：您正在处理的段落数为 15，当前内容格式为 Markdown，请确保返回的内容使用 Markdown 格式进行注释。

Vibhu [01:16:53]: 如果我没记错的话，这些是……现在不再是扩散模型了，对吧？它是自回归的？还是仍然

Ethan [01:17:02]: 不同的方法都有。比如 Gemini Omni。既然他们说它是 Omni，我认为它是一个单一的模型。也许它是一个语言模型加上扩散头部，或者类似的东西。让语言模型做思考，做代理工具调用，然后它可以用扩散头部来生成最终的图像。也有像 Cosmos 这样的方法，有单独的语言模型和扩散模型。还有纯粹的语言模型，比如将图像离散化，然后将其作为离散标记进行生成。所以有不同的方法。我倒是认为

Vibhu [01:17:44]: 我见过的一个论点是，为什么这些方法难以成功的原因之一是，对于我们在语言模型中目前学习推理的好处来说，基本上你迭代地生成思路。你基本上会先构思一下，然后再解决这个问题，对吧？如果有一个 Omni 模型和扩散头部，你就不能将结果反馈回来继续推理，对吧？你不能像文本、图像、文本、图像那样。如果你的 Gemini Omni 模型可以这样做，那就不需要扩散。

Ethan [01:18:15]: 我不确定

Vibhu [01:18:16]: 但是

Ethan [01:18:16]: 它们确实有这样的过程。这在 Omni 范围内是完全可能的。

Ethan [01:18:22]: 所以，如果你考虑传统的多模型语言模型，它们会有 VIT 编码器，可以编码图像。所以如果它们有扩散头部，就可以生成图像，然后将该图像输入到 VIT 编码器中，对其进行编码，然后进行迭代细化，如果有结果的情况。是的。

Swyx [01:18:44]: 我认为你需要联合训练 VIT 和扩散才能使其合理，否则你会混入一些杂讯。

Vibhu [01:18:55]: 我认为这取决于训练阶段。你可以让它冻结。但我也想明确一点。我们确实知道 NanoBanana 和 GPT 图像是自回归的，带有语言模型扩散头部。

Swyx [01:19:09]: 等待。我想也明确一下。就我对 Grok 图像的描述而言，它不是这样运作的。它确实是端到端的。

Swyx [01:19:15]: 我不能

Ethan [01:19:15]: 对此发表评论。

Swyx [01:19:16]: 但是，正如你所描述的，Grok 图像并非如此。但是，我认为不同之处在于，您一开始就说提示重写是智能的一部分。

Vibhu [01:19:24]: 而且，从某种意义上说，你应该尝试使用早期的扩散模型。如果您使用过 Stable Diffusion 或者什么的，如果您看到过这样的提示， ultra-high res、四K、这个样式，当我第一次尝试时，您不会像与语言模型一样与它们交谈，对吧？您的提示非常，逗号分隔

Swyx [01:19:43]: 本质上就是用在数据集中的标签说话，对吗？

Swyx [01:19:46]: 但基本上，我只是想指出，提示重写与 Omni 的语言模型加扩散头部不同。对吧，它们是不同的东西。

Ethan [01:19:56]: 它们是不同的。

Swyx [01:19:57]: 只是为了确立这一点。

Ethan [01:19:59]: 我认为，共同的部分是，图像部分。因此，许多改进来自于

Swyx [01:20:12]: 语言方面

Ethan [01:20:12]: 思考 工具调用。所以我还记得，在 Cosmos 中，我生成了一个快乐的绵羊，如果没有重写，它看起来就像 CGI，重写后看起来美丽极了。

Ethan [01:20:31]: 我认为

Swyx [01:20:32]: 没有任何联合训练。

Ethan [01:20:34]: 实际上，没有联合训练。重写后，它已经好得多。这是一个非常有趣的事情，视频代理主要使用语言模型，会将这些生成模型，无论是扩散模型还是其他，称为工具。因此，该模型可以迭代地完善结果，甚至通过一系列深思熟虑，生成更长的内容。实际上，这与人类创作艺术的过程非常相似。所以我们不会直接生成像素。我们实际上是在纸上画一些东西。我认为通过这个过程，这些模型不仅将扩散视为一种工具，还可以使用传统工具。它们也可以使用来自 Photoshop 的图像编辑工具，可以使用视频编辑器 FFmpeg 等，以组合这些和生成式 AI 技术作为一组工具，并且可以迭代地创建一个更好的、更适合制作级别的视频。

Swyx [01:22:11]: 所以很多后期制作工作实际上是因为视频模型本身并不好，而是因为编辑。

Swyx [01:22:21]: 而且，我们也同样参与了这一过程。您是否愿意使用视频编辑模型？

Ethan [01:22:27]: 其实，Grok Imagine Agent beta 就是朝着这个方向迈出的*第一步*。

Ethan [01:22:38]: 所以，过程会类似于

Vibhu [01:22:44]: 只是代理模式。

Ethan [01:22:46]: 您可以，您可以要求它

Swyx [01:22:48]: 并没有关于它的博客文章

Ethan [01:22:49]: 也许生成一分钟的视频，这是如果您向视频模型询问相同提示，则不可能做到的。但这个模型将调用不同的工具来完成这项工作。

翻译要求：

• 保持 Markdown 格式不变（标题、列表、代码块、链接等）。
• 技术术语保持准确一致，常见术语保留英文（如 API、SDK、Docker 等）。
• 翻译要自然流畅，不要逐字翻译。
• 图片链接和 URL 保持原样。

注意：原文被分为 19 段，当前是第 16 段。请保持翻译风格一致。

请将以上内容翻译成中文。

Vibhu[01:29:18]：你们对什么时候开始加速有时间预测吗？比如

Swyx[01:29:22]：他们已经开始了。

Swyx[01:29:23]：是吗

Swyx[01:29:24]：目前还不太好。

Vibhu[01:29:25]：我们是不是……不，它确实很好。我觉得最后一个更长一些。

Vibhu[01:29:29]：它没给我一分钟。

Ethan[01:29:30]：最后三十六。

Vibhu[01:29:30]：它给了我三十六秒。但我们现在感觉到了吗？未来会有转折点吗？你们有什么想要做出的预测？

Ethan[01:29:37]：到今年年底，这将是重大突破。所以转折点将是视频代理生成的视频质量达到生产级，可以发布，可以在广告中使用。一旦发生这种情况，我认为企业将有更多的预算用于视频模型，因为代理本身比视频模型更昂贵，因为它们执行迭代过程，生成许多变体。

Ethan[01:30:23]：但一旦这些模型达到这种可用性阈值，我认为增长会呈指数级增长。

Swyx[01:30:35]：我现在就会投资一家公司。

Swyx[01:30:40]：所以你是对的。我反思了一下刚才一小时左右的对话，你似乎是因为视频生成而对视频生成感兴趣。我发现很多世界模型的人，我们采访过很多人，比如Fei-Fei Li，还有Moondream，也就是Moonlake。

Vibhu[01:31:01]：湖。

Swyx[01:31:01]：我一直在说Moondream。该死的。Moonlake。他们实际上都说机器人技术是最终目标，比如希望实现交互式机器人技术，希望与物理世界互动。你不太关心这个。

Ethan[01:31:15]：我相信机器人技术肯定会成为其中的一部分。也许解决问题的过程自然而然会发生。我的预测是机器人技术可能不需要实际存在于现实世界中。

Swyx[01:31:36]：就可以

Ethan[01:31:37]：不需要在现实世界中。所以它可能会通过视频能力得到解决——这些大型语言模型非常擅长处理视频。还记得我们讨论过的实时交互式长时视频吗？一旦这些模型……我们之前只训练了屏幕录制和计算机屏幕。一旦这些模型能够非常有效地理解和使用未来的计算机状态，机器人可能会成为其中之一，一个强大的 AI 可以使用的工具。因此，强大的 AI 可能只是自然而然地控制物理体现。

Swyx[01:32:28]：我明白了。好的。我知道，我们知道快到时间了。你还有一个更劲爆的话题，就是为什么离开xAI。

Ethan[01:32:38]：对我来说，有些研究是你无法在一家公司做的。而且公司的优先事项和目标通常变化很快。一家公司通常可以改变得很快。这也是 xAI 的情况。现在我想做一些研究，特别是关于语言模型的研究，我在 xAI 无法做到。

Swyx[01:33:11]：哦，好的，所以你现在基本上是在离开。你从计算机视觉转向世界模型，再到视频生成，现在又专注于大语言模型。

Vibhu[01:33:22]：但过去一小时你说的话似乎表明一切都联系在一起，对吗？就像我不知道。你专注于大语言模型是什么意思？在过去一小时内，你描述了这一切是如何联系在一起的。有没有什么

Ethan[01:33:33]：我意识到，事实上，视频模型即使一开始来自扩散技术的进步，但大多数游戏，来自语言模型本身。

Swyx[01:33:50]：这对任何在生成媒体领域工作多年的人来说都是巨大的黑胶唱片。

Vibhu[01:33:56]：这是一个极端的观点，对吧？你仍然绝对需要两者，对吗？

Vibhu[01:34:01]：只是现在，最有影响力、最有前途的工作更多集中在语言模型方面。

Swyx[01:34:07]：对于接下来的一年，你在语言方面有什么类似的预测？

Swyx[01:34:16]：我认为一件事很有趣，我认为不久后可能会发生的是语言模型将具有感知能力和自主管理其上下文的能力。

请继续将以下内容翻译为中文。

Swyx [01:40:32]: 我想聊聊关于 VJPA 的事情，但那又是另一回事了。

Ethan [01:40:34]: 我知道。嗯，我们可以留到以后再说。

Ethan [01:40:38]: 当时我转到了那里。那时我转向了自监督学习。这与我以前的工作非常不同。

Ethan [01:40:48]: 然后是 NVIDIA Cosmos。我意识到扩展规模非常重要。在 NVIDIA，我主要专注于扩展。一方面，我们在 Cosmos 上将视频扩散模型扩展到数十亿参数。另一方面，我在研究 MoEs。Megatron MoEs 是第一个能够高效训练这些 MoE 的开源框架，可以达到数百亿甚至数万亿美元的参数，达到 40% 的 MFU。

Swyx [01:41:12]: 所以现在我们回到这个时间线，你从 NVIDIA 去了 Anthropic。这是为什么？

Ethan [01:40:51]: 转向 xAI 是想在更大的计算规模上继续工作，甚至更进一步。嗯，看着这个轨迹，我实际上做了很多不同的事情。所以我觉得在 ML 领域内，实际上比你想的更容易转换。很多人可能会有这样的思维定势：“哦，我做计算机视觉，我必须一直做计算机视觉，不能转到语言模型。”但就我的经验而言，在 NVIDIA 我同时从事 MoE 语言模型和视频模型的工作。实际上并非如此。训练大型模型的核心原理 largely 是相同的。而且现在我认为，对于视频模型来说，瓶颈实际上在于语言部分和代理部分，这就是为什么我想去更多地从事 LLMs 的工作。这有点挑战性，但我不认为这是个巨大的飞跃。

Swyx [01:42:18]: 给你点赞。我认为你有很强的愿景。是的，我认为我们主要讨论的内容都覆盖到了。你非常慷慨地分享了这么多时间，真的很好，现在不需要通过 xAI 来澄清所有事情了。而且我们也

Ethan [01:42:35]: 哦，

Swyx [01:42:35]: 也没让你惹麻烦。

Ethan [01:42:37]: 这比你在发布中看到的好多了，对吧？你不知道还有多少层。

Swyx [01:42:44]: xAI，请多做播客。

Swyx [01:42:47]: 不过，

Swyx [01:42:48]: 但是感谢你的分享。这很友善。而且我也想听你更多的声音。我认为你即将踏上你的下一阶段。你还没有宣布下一步做什么，但很明显，你在这一路上有更多的愿景和抱负，我认为你基本上是在梯度下降，朝着你最终形态前进。

Ethan [01:43:08]: 谢谢。是的，是的，我会很快分享关于我下一章的内容。

Ethan [01:43:14]: 谢谢你邀请我。

Swyx [01:43:16]: 谢谢你来。