HeyGen(@HeyGen_Official)

https://t.co/j0iGqc1bAr

8.5内容质量
https://t.co/j0iGqc1bAr

TL;DR · AI 摘要

HeyGen介绍了三种利用alpha通道进行背景移除的技术方法,提升视频合成灵活性。

核心要点

  • 生成透明视频时,设置output_format为webm即可自动应用背景移除
  • 背景移除API支持现有视频处理,可分离前景/蒙版/背景三层文件
  • HyperFrames提供本地化背景移除工具,支持ProRes 4444输出格式

结构提纲

按章节快速跳转。

  1. 传统视频处理将画面视为单一矩形,第19天开始利用alpha通道分离前景与背景。

  2. 将视频拆分为前景(透明层)、蒙版(alpha matte)和背景三层独立文件。

  3. 通过设置output_format参数,可使生成的avatar视频自带alpha通道。

  4. 使用background-removal命令行工具处理已有mp4文件。

  5. HyperFrames提供本地模型实现无云端传输的背景移除。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • alpha通道背景移除技术
    • 技术原理
      • 分离前景/蒙版/背景三层
    • 实现方式
      • 生成时透明
        • output_format: webm
      • 云端处理
        • background-removal CLI
      • 本地处理
        • HyperFrames模型
    • 输出格式
      • WebM/ProRes 4444/PNG

金句 / Highlights

值得收藏与分享的关键句。

#视频处理#alpha通道#背景移除#HeyGen
打开原文

第19天:利用alpha通道

系列视频制作进入第18天后,所有视频都采用统一的平面处理方式。一个片段就是像素组成的矩形,所有操作都围绕这个矩形展开。

第19天改变了这种模式。每个人物视频实际上包含两个视频:人物本身和人物背后的全部内容。背景移除技术将它们分离。当主体出现在独立的透明图层时,你不再是在编辑视频片段,而是在进行合成处理。字幕可以滑动到人物肩膀后方,场景可以完全消失,同一段拍摄内容可以适配任何你想要的背景。

  • * *

什么是背景移除

背景移除技术将完整视频拆分为多个图层。输入任意视频片段,它会返回三个文件:

  • 前景:主体(例如我们的虚拟人Jared),包括头发,置于透明背景上
  • 遮罩:灰度alpha蒙版
  • 背景:移除主体后的场景画面

前景是你使用频率最高的文件:一个真实的透明视频文件,可叠加在任何内容上。遮罩用于其他工具进行合成处理。背景画面则呈现了从未有人存在的场景。

Image 1
Image 1
  • * *

如何实现

一个功能,三条路径,每条路径对应工作流程的不同阶段。以下是各路径的输出示例:

**1. 从创建开始就透明**。如果你自己生成虚拟人视频,可以完全跳过移除步骤。在创建请求中设置一个参数,视频将从一开始就包含alpha通道:

text

{ "type": "avatar", "avatar_id": "<look-id>", "script": "...", "output_format": "webm" }

这个参数会自动启用背景移除功能,返回一个已烘焙alpha通道的WebM文件。完整文档:透明背景视频

以下是通过这种方式生成的Jared。这次没有工作坊场景,也没有需要移除的内容:他直接出现在自己的图层上,背景是你放置在他身后的任何内容。

**输出:**

**2. 对现有素材执行单条命令**。这是针对已有素材的路径:屏幕录制、旧素材、客户提供的视频。支持所有mp4格式,不限于虚拟人视频。

text

heygen background-removal create \ -d '{"video":{"type":"asset_id","asset_id":"<your-upload>"}, "layers":["foreground","mask","background"]}'

该命令异步执行且处理速度快,会返回三个图层的下载链接。以下是该命令的执行效果:Jared被从工作坊场景中分离,拆分为三个图层,并被放置在一个从未出现过的背景上。

**输出:**

**3. 在本地项目中直接处理**。HyperFrames将相同功能作为本地模型提供,无需云端传输:

text

npx hyperframes remove-background clip.mp4 -o subject.webm

该命令输出透明WebM、ProRes 4444或PNG格式文件,--background-output参数还可获取反向背景板。这正是字幕功能在后台使用的精确蒙版技术,它解锁了全新可能:在场景内部直接生成文字。只需在终端输入一条命令,文字就会直接打印在Jared身后的墙面上,而他的身体则从文字前经过。

**输出:**

  • * *

解锁功能

背景不再是画面中的既定事实,而成为一种选择。只需录制一次,无论是在厨房、办公室,还是任何光线良好的地方,之后再决定这段素材的最终呈现位置:置于产品背后、嵌入品牌色系中,甚至放在另一个星球上。你已拥有的所有人物访谈片段因此变得可重复使用,因为人物与场景的关联已被解除。

_⭐ 如果这个系列对你有帮助,请__星标 HyperFrames 仓库__._

_ API 文档:__透明背景视频_

_ 安装技能:npx skills add heygen-com/hyperframes_

第19天完成。还剩11天。