Hugging Face Blog

The Definitive Fine-Tuning Guide for 3D Generation Models

7.1内容质量

TL;DR · AI 摘要

The Definitive Fine-Tuning Guide for 3D Generation Models Back to Articles -1 0 Published November 12, 2026 Update on Gi...

核心要点

  • 主题聚焦:The Definitive Fine-Tuning Guide for 3D Generati
  • 来源:Hugging Face Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#云计算#安全#开源
打开原文

3D生成模型的终极微调指南

返回文章列表

[-1

]

[0

发布于2026年11月12日

GitHub更新

点赞

9

[

  • +3

Suvaditya Mukherjee

suvadityamuk

关注

merve

Pedro Cuenca

pcuenq

简而言之:在本文中,我们为TRELLIS.2(一个流行的3D模型)提供了微调脚本和容器,可在本地或Hugging Face Jobs上对您的3D资产进行微调。如果您对微调感兴趣,只需使用我们的脚本并传入少量参数(假设您已将数据集更新到Hugging Face Hub),或使用此仓库自行调整脚本。如果想深入了解,我们将解释脚本的工作原理。让我们开始吧!

介绍

3D生成在机器人技术、模拟、媒体和娱乐领域有广泛应用。在这些领域中,生成的对象难以遵循严格规则并标准化模型和数据表示。存在许多文件格式,如GLB和PLY。还有多种表示方法,如神经辐射场(NeRFs)和3D高斯点绘(3DGS)。每种方法都有其优缺点。

TRELLIS引入了一种通用的内部表示方法,称为统一潜在表示。其解码器会将这种表示转换为所需输出格式的3D模型。因此,您无需为每种表示格式使用不同的模型。

随后,同一团队发布了TRELLIS.2,该版本改进了模型对3D结构的表示。但这两个模型都没有提供方便的途径来将其适配到特定任务中。

我们希望改进的方面

像TRELLIS.2这样的通用模型在特定应用中可能在关键细节上出现错误。例如,用户可能需要家具模型的精确几何形状。如果没有针对该任务进行微调,预训练模型生成的几何形状可能不够准确。我们的实验使用了GSO数据集的一个子集,包含188个鞋类对象。在初步测试中,预训练模型通常生成看起来正确的鞋子,但鞋底不正确。我们测试LoRA是否能让鞋底更准确。

我们的目标是使用Google扫描对象(GSO)数据集,提升TRELLIS.2在特定物体类别上的性能。我们将解释在训练过程中需要微调的流水线组件以及保持不变的部分。该流水线将结构、详细几何形状和材质分开。因此,我们只会微调对任务至关重要的组件。

决定冻结哪些内容与决定微调哪些内容同样重要。

我们将使用什么?

#### LoRA

LoRA(低秩适配)通过训练小型适配器矩阵来微调模型,同时保持原始权重冻结。这减少了可训练参数数量以及梯度和优化器状态所需的内存。我们使用Hugging Face的PEFT库来添加和训练这些适配器。更多信息请阅读我们的LoRA指南。

#### Hugging Face Jobs

Hugging Face Jobs在云硬件上运行容器化工作负载。我们使用它进行预处理和训练。如果要使用自己的GPU,请参见下方的本地Docker命令。开始之前,请确保:

  • 您可以从此处获取HF_TOKEN
  • 您的Hugging Face账户必须有权访问DINOv3,因为DINOv3是一个受限制模型
  • 如果使用自己的数据集,请在开始前将网格上传到Hub。

TRELLIS.2的工作原理

在开始训练之前,让我们先了解 TRELLIS.2 如何生成 3D 物体以及我们将在哪些位置添加 LoRA 适配器。

TRELLIS.2 包含五个主要阶段:移除图像背景、对图像进行编码、预测粗略结构、生成详细几何体以及生成材质。然后,该流程将结果导出为带纹理的网格。

编码输入图像

首先,BiRefNet 会从输入图像中移除背景。然后 DINOv3-L 将图像编码为特征标记。生成模型使用这些标记来指导 3D 物体的生成。

稀疏结构生成(稀疏结构流)

稀疏结构流 DiT 预测物体的粗略形状。这是一个扩散变换器(DiT),生成一个大小为 16³ × 8 的小型潜在表示。随后,变分自编码器(VAE)解码器将此潜在表示转换为 64 × 64 × 64 的占用网格。网格中的每个体素表示该位置是否属于物体。体素是三维空间中的像素。我们在此模型中添加 LoRA 适配器,因为其输出会指导几何生成阶段。

O-Voxel 与结构化潜在表示

O-Voxel 是 TRELLIS.2 的 3D 格式。它是一种稀疏体素网格,仅保留物体表面的体素。每个体素保存局部几何信息(如网格顶点)和材质属性。由于该格式体积较小,CPU 可在数秒内将网格转换为 O-Voxel,GPU 也可在数秒内将 O-Voxel 转换回网格。

结构化稀疏潜在表示源自 TRELLIS,它使用稀疏张量保存 3D 数据,从而加快计算速度。该模型仅使用网格中约 10% 的体素,因此不会对空体素进行计算。因此,形状流 DiT 和纹理流 DiT 都是稀疏变换器,而稀疏结构流 DiT 是密集变换器。

几何生成(形状流)

形状流 DiT 使用占用网格和 DINOv3 特征标记生成潜在表示。另一个 VAE 解码器随后将此潜在表示转换为分辨率为 512 × 512 × 512 的 O-Voxel 几何体。

我们在此阶段为 DiT 添加 LoRA 适配器,因为它控制物体的形状。

材质生成 + 网格创建

在最后阶段,纹理流 DiT 使用形状潜在表示和 DINOv3 特征作为输入。它定义几何体表面的材质和纹理。随后,VAE 解码器将潜在表示转换为每个体素的基色、金属度、粗糙度和 alpha 值。我们不会在此阶段添加 LoRA 适配器。我们的数据集包含漫反射颜色图,但缺少该阶段训练所需的独立材质图。此外,我们的问题是鞋的形状,基础模型已经能生成良好的颜色和纹理。

最后,流程将几何体和材质属性合并为带纹理的网格,并将其导出为 GLB 文件。

规划

需要微调的组件

我们仅向稀疏结构流 DiT 和形状流 DiT 添加 LoRA 适配器。这些 DiT 控制物体的形状和几何结构。我们冻结纹理流 DiT 以保持其当前能力。

我们的数据集包含包含烘焙光照效果的漫反射颜色图。要训练纹理流 DiT,我们需要独立的材质图。我们数据集中的颜色图将表面颜色与光照混合,因此它们不是此训练的正确目标。

如果我们在这些图上训练纹理流 DiT,它可能会学习将光照作为表面属性表现出来。它还可能遗忘之前学到的内容,这被称为灾难性遗忘问题。

为什么使用 LoRA

我们的子集包含来自GSO中1,030个对象的188双鞋。对于如此小的数据集,LoRA比全量微调更优。全量微调成本更高,还可能覆盖模型已有的优秀能力(其学习到的先验知识)。我们的配置总共为两个目标DiT训练约930万个适配器参数。在稀疏结构流DiT的注意力和前馈(MLP)层中使用秩8适配器,在形状流DiT的注意力层中使用秩16适配器。秩决定了适配器矩阵的规模,更高秩意味着适配器能学习更多特征。

您将执行的操作

3D模型设置可能需要许多依赖项和安装步骤。我们提供两个Docker镜像(您可以在Jobs或自己的机器上运行),包含所需软件。一个镜像用于预处理,另一个用于微调。

要训练您的LoRA适配器并上传到Hub:

  • 为容器提供数据访问权限
  • 设置任务参数
  • 运行预处理容器
  • 运行微调容器

随后我们将解释微调脚本、其配置参数以及每个参数如何影响训练过程。

实验概览

我们将逐步演示实验的三个部分:

  • 准备数据:将GLB或OBJ网格转换为TRELLIS.2训练使用的潜在表示形式,并渲染输入图像
  • 训练适配器:为每个DiT运行一个任务,使用准备好的数据集和LoRA配置
  • 解释代码:检查容器如何加载数据、添加适配器并训练模型

我们保存预处理后的数据集,使所有训练运行都能复用它。

操作指南

在Hugging Face Jobs上运行

#### 预处理

预处理容器使用Blender为每个对象渲染16个视角。LoRA训练将使用这些视角作为条件图像。Blender通过xvfb-run工具在无显示环境下运行。容器还会通过预处理流水线处理每个对象。此处可查看鞋类数据集的示例中间输出。对于我们的188个对象,在a100-large任务上完整运行大约需要1小时。此配套仓库中也提供了预处理流水线的精简版。

code
export
HF_TOKEN=hf_xxx
# 将your-username替换为您的Hugging Face用户名
hf
jobs
run -d --flavor a100-large --
timeout
6h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep \
    --meshes your-username/my-meshes \
    --push-to your-username/my-meshes-trellis2 \
    --private --holdout 0.05 \
    --views 16 --workers 8

对于Hugging Face Jobs,我们传递以下参数:

标志 | 含义 --- | ---

code
-d
code
--flavor a100-large
code
--timeout 6h
code
--secrets HF_TOKEN
code
cr.hf.co/...:latest

该容器接受一些额外参数(无论是在 Hugging Face Jobs 上运行还是使用 Docker),你可以在 此处 查阅相关文档。预处理流程中采取的步骤将在后续章节中详细说明。

#### LoRA 微调

训练容器会加载准备好的数据集和配置预设或文件。它通过 Trackio 记录训练指标,使用 Trackio 仪表板监控运行状态。

我们使用 'ss' 和 'shape' 来表示训练 LoRA 的两种模式。'ss' 模式仅微调 Sparse-Structure Flow DiT,而 'shape' 模式会微调 Shape Flow DiT。实际上,它们只是通过引用不同的 config.json 文件来实现阶段划分。关于该过程的更多细节将在后续章节中说明。

code
export
HF_TOKEN=hf_xxx
# 将 your-username 替换为你的 Hugging Face 用户名
hf
jobs
run -d --flavor a100-large --
timeout
12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name ss_lora \
    --push-path ss_lora \
    --trackio-space your-username/trellis2-trackio

hf
jobs
run -d --flavor a100-large --
timeout
12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name shape_lora \
    --push-path shape_lora \
    --trackio-space your-username/trellis2-trackio \
    --
set
max_steps=3000 i_save=500

如果你设置了 --push-to 参数,容器会将适配器检查点上传至模型库。容器接受的参数在 此处 有简要说明。该仓库中也提供了一个简洁的脚本。

如果你想尝试使用我们已处理好的数据集进行微调,可以使用以下命令:

code
export
HF_TOKEN=hf_xxx
# 将 your-username 替换为你的 Hugging Face 用户名
# 对 Sparse-Structure Flow DiT 进行微调
hf
jobs
run -d --flavor a100-large --
timeout
12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config ss \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --run-name ss_lora \
    --push-path ss_lora \
    --trackio-space your-username/trellis2-trackio \
    --
set
max_steps=3000 i_save=500
# 对 Shape Flow DiT 进行微调
hf
jobs
run -d --flavor a100-large --
timeout
12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config shape \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --run-name shape_lora \
    --push-path shape_lora \
    --trackio-space your-username/trellis2-trackio \
    --
set
max_steps=3000 i_save=500

使用 Docker 本地运行

#### 预处理

命令和参数与 Hugging Face Jobs 的用法相同,仅 Docker 选项有所不同。

code
# 用于生成潜在表示的预处理
docker run --gpus all --
rm
--shm-size 16g -e HF_TOKEN=hf_xxx \
  -v hf-cache:/root/.cache/huggingface -v
"
$PWD
/work"
:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep --meshes your-username/my-meshes --push-to your-username/my-meshes-trellis2

##### LoRA 微调

code
# 用于稀疏结构 Flow DiT
docker run --gpus all --
rm
--shm-size 16g \
  -v hf-cache:/root/.cache/huggingface -v
"
$PWD
/work"
:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora --trackio-space your-username/trellis2-trackio
# 用于 Shape Flow DiT
docker run --gpus all --
rm
--shm-size 16g \
  -v hf-cache:/root/.cache/huggingface -v
"
$PWD
/work"
:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora --trackio-space your-username/trellis2-trackio

如果你想在本地机器上使用我们已经预处理好的数据集,请使用以下命令:

code
export
HF_TOKEN=hf_xxx
# 将 your-username 替换为你的 Hugging Face 用户名
# 用于稀疏结构 Flow DiT
docker run --gpus all --
rm
--shm-size 16g -e HF_TOKEN \
  -v hf-cache:/root/.cache/huggingface \
  -v
"
$PWD
/work"
:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config ss \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --trackio-space your-username/trellis2-trackio \
    --
set
max_steps=3000 i_save=500
# 用于 Shape Flow DiT
docker run --gpus all --
rm
--shm-size 16g -e HF_TOKEN \
  -v hf-cache:/root/.cache/huggingface \
  -v
"
$PWD
/work"
:/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config shape \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --trackio-space your-username/trellis2-trackio \
    --
set
max_steps=3000 i_save=500

我们训练好的 LoRA 适配器存储在这个仓库中:suvadityamuk/trellis-2-finetune-gso

训练流程内部

#### 预处理为潜在表示

我们使用 TRELLIS.2 的冻结编码器将输入网格转换为训练用的潜在表示。我们会保存这些潜在表示,这样后续运行时就不需要重新编码网格。

我们还会在 Blender 中为每个物体渲染 16 个视角。在训练过程中,我们为每个样本随机选择一个视角作为条件图像。我们保留 188 个物体中的 9 个用于评估,其余 179 个用于训练。这些保留的物体可以验证适配器是否能处理训练期间模型未见过的物体。

Blender 为一个物体渲染的一些视角

第一个代码片段用于设置数据。FLOW 参数选择要训练的流 DiT 类型(ss 或 shape),STEPS 参数设置优化器的步数。使用批次大小为 4 并配合 4 次梯度累积,可以得到有效的批次大小 16。然后,代码片段会加载所选流 DiT 的 LoRA 配置文件,生成 TRELLIS.2 格式的数据集,移除保留的物体,并创建微调的数据加载器。

code
cfg = json.load(
open
(
        {
"ss"
:
"/workspace/TRELLIS.2/configs/lora/ss_flow_lora_gso.json"
,
"shape"
:
"/workspace/TRELLIS.2/configs/lora/slat_flow_img2shape_lora_gso.json"
,
        }[FLOW]
    )
)

key, latents = {
"ss"
: (
"ss_latent"
,
"ss_latents/ss_enc_conv3d_16l8_fp16_64"
),
"shape"
: (
"shape_latent"
,
"shape_latents/shape_enc_next_dc_f16c32_fp16_512"
),
}[FLOW]

 /think

roots = json.dumps(
    {
"gso"
: {
            key:
f"
{DATA}
/
{latents}
"
,
"render_cond"
:
f"
{DATA}
/renders_cond"
,
"meta"
: DATA,
        }
    }
)

ds =
getattr
(datasets, cfg[
"dataset"
])(roots, **cfg[
"dataset_args"
])

holdout =
set
(
open
(
f"
{DATA}
/holdout.txt"
).read().split())
ds.instances = [(root, sha)
for
root, sha
in
ds.instances
if
sha
not
in
holdout]

batches = cycle(
    DataLoader(
        ds,
        batch_size=BATCH,
        shuffle=
True
,
        drop_last=
True
,
        num_workers=
4
,
        collate_fn=
getattr
(ds,
"collate_fn"
,
None
),
    )
)

#### 准备 LoRA 适配器

我们使用 peft 库将 LoRA 适配器插入到选定的层中。TRELLIS.2 有自定义的前向传播过程,因此标准的 PeftModel() 包装器无法使用。取而代之的是,我们调用 inject_adapter_in_model() 函数。该函数直接将适配器添加到模型中,并保留其自定义接口。

为了数值稳定性,我们以 32 位浮点数(fp32)格式保存可训练的适配器权重,并在前向传播中使用 bfloat16(bf16)自动精度转换。自动精度转换使 PyTorch 能够对部分操作使用更低精度,从而减少内存占用。自动精度转换不会改变冻结的主干权重的存储方式。

code
model = models.from_pretrained(cfg[
"ckpt"
])
for
block
in
model.blocks:
    block.use_checkpoint =
True
inject_adapter_in_model(
    LoraConfig(
        r=cfg[
"rank"
], lora_alpha=cfg[
"alpha"
], target_modules=cfg[
"lora_targets"
]
    ),
    model,
)

params = []
for
name, p
in
model.named_parameters():
    p.requires_grad_(
"lora_"
in
name)
if
p.requires_grad:
        p.data = p.data.
float
()
# LoRA 的 fp32 主权重
params.append(p)

model.cuda().train()

#### 训练

需要特别注意的是,我们此处的目标函数是经典的校正流匹配(如 Stable Diffusion 3、Flux 2 等流行图像生成模型中所采用的)。TRELLIS.2 在预训练时也使用了相同的目标函数,因此它也是微调的绝佳选择。关于理论细节,请阅读这篇关于流匹配的博客。

我们仅更新稀疏结构和形状 DiTs 中的 LoRA 参数。所有原始模型权重保持冻结状态。

下面的代码片段展示了单个阶段的核心训练循环。它们比容器代码更简洁,未包含部分初始化步骤。如需完整工作流程,请使用容器命令。

我们初始化优化器并加载 DINOv3 以从输入图像中提取特征。

code
opt = torch.optim.AdamW(
    params, lr=cfg[
"lr"
], weight_decay=cfg[
"weight_decay"
], betas=(
0.9
,
0.95
)
)

dino = DinoV3FeatureExtractor(
    cfg[
"image_cond_model"
], image_size=cfg[
"image_size"
]
).cuda()

在训练循环中,我们按以下步骤执行:

  • 为每个样本采样一个时间步 t(对稀疏结构流 DiT 使用 logitNormal 分布,对形状流 DiT 使用均匀分布,具体配置基于 TRELLIS.2 配置)。
  • 生成与数据形状匹配的随机噪声,并调整 t 的形状以实现广播。
  • 根据 t 将干净数据与噪声混合(t=0 时为最小噪声数据,t=1 时为纯噪声)。
  • 在 t × 1000 处预测速度以匹配预训练条件。
  • 计算预测速度与目标速度(x_t 的一阶导数)之间的均方误差作为损失。
code
def
flow_loss
(
x0, cond
):
    s = cfg[
"t_schedule"
]
python
    t = (
        torch.rand(x0.shape[
0
])
if
s[
"name"
] ==
"uniform"
else
torch.sigmoid(
            torch.randn(x0.shape[
0
]) * s[
"args"
][
"std"
] + s[
"args"
][
"mean"
]
        )
    )
    t = t.cuda()

    noise = (
        x0.replace(torch.randn_like(x0.feats))
if
cfg[
"sparse"
]
else
torch.randn_like(x0)
    )

    tv = t.view(-
1
, *[
1
] * (
len
(x0.shape) -
1
))

    x_t = (
1
- tv) * x0 + (cfg[
"sigma_min"
] + (
1
- cfg[
"sigma_min"
]) * tv) * noise

    pred, target = model(x_t, t *
1000
, cond), (
1
- cfg[
"sigma_min"
]) * noise - x0
return
(
        F.mse_loss(pred.feats, target.feats)
if
cfg[
"sparse"
]
else
F.mse_loss(pred, target)
    )

训练循环计算损失并更新适配器权重。梯度累积会在每次优化器步骤前累加4个小批次的梯度。梯度检查点通过在反向传播过程中重新计算部分中间值来节省GPU内存。外层循环按指定的优化器步骤数运行,而内层循环则在一组批次上累积梯度。

对于每个批次,DINOv3对条件图像进行编码。在无条件引导(CFG)丢弃中,循环会将随机比例(p_uncond)的样本的条件设置为零。然后,它使用bf16自动铸造计算流匹配损失。内层循环结束后,会对梯度进行裁剪以防止过大更新,并执行一次优化器步骤。每10步记录一次损失,每500步保存一次适配器检查点。

python
for
step
in
range
(
1
, STEPS +
1
):
for
_
in
range
(ACCUM):
        batch =
next
(batches)
        x0 = recursive_to_device(batch[
"x_0"
],
"cuda"
)
with
torch.no_grad():
            cond = dino(batch[
"cond"
])
            cond[torch.rand(
len
(cond), device=
"cuda"
) < cfg[
"p_uncond"
]] =
0
with
torch.autocast(
"cuda"
, dtype=torch.bfloat16):
            loss = flow_loss(x0, cond) / ACCUM

            loss.backward()

    torch.nn.utils.clip_grad_norm_(params, cfg[
"grad_clip"
])

    opt.step()
    opt.zero_grad()

结果

我们训练了两个适配器:一个用于稀疏结构DiT,另一个用于形状DiT。容器镜像中的LoRA配置文件包含完整的训练设置:ss_flow_lora_gso.json用于稀疏结构流DiT,slat_flow_img2shape_lora_gso.json用于形状流DiT。每次运行使用Hugging Face Jobs上的一块A100 80 GB显卡。稀疏结构训练耗时7.2小时,形状训练耗时3.6小时。

稀疏结构流DiT的训练损失在初期快速下降,随后速度减缓。形状流DiT的损失则保持在大致相同水平。这些曲线展示了训练目标的变化,但并不能直接衡量生成几何的质量。

流匹配损失会随着采样对象、噪声和时间步长而变化。为了确认微调是否改善了几何质量,还需要在保留对象上比较输出结果。

下图比较了九个保留对象中五个的输出结果。它显示了输入图像、基础模型的生成输出、旋转调整后的基础输出、使用鞋类适配器后的输出以及参考扫描。在这些示例中,微调模型的鞋底更接近扫描结果。

我们还使用三个指标评估测试集上的几何质量:

| 指标 | 含义说明 | |------------------|--------------------------------------------------------------------------| | Chamfer距离 | 一个表面的点到另一个表面最近点的距离(双向测量)。数值越低越好。 |

F-score @ 0.02

精确率(生成表面与参考表面的接近程度)和召回率(生成表面覆盖参考表面的程度)的综合指标。此处的匹配阈值为扫描框对角线长度的2%。数值越高越好。

法线一致性

表面方向一致性的衡量指标。表面法线是垂直于表面的向量。数值越高越好。

在图表的九对象对比中,基础模型的平均F-score为0.276,而配备鞋类适配器的模型达到0.803。 Chamfer距离从0.174降至0.033,法线一致性从0.530提升至0.804。使用双适配器时,所有九个测试对象的F-score均有提升。

所有运行的统计数据请参见此Trackio空间。

未来方向

好了,就是这样!我们通过向控制几何结构的两个模型组件添加LoRA适配器,对TRELLIS.2进行了微调以实现鞋类生成。我们一次性准备数据,分步训练适配器,并在测试对象上评估输出效果。

主要经验是选择与问题和现有数据相匹配的训练目标。在此实验中,我们微调了结构和形状阶段,冻结了纹理阶段。

接下来,我们可以验证这些选择是否同样适用于其他3D生成模型,如Pixal3D和UniLat3D。

高斯点喷射和世界生成模型(如HunyuanWorld 2.0和NVIDIA Lyra 2.0)也可能是下一步方向。它们的表示方式和训练流程可能需要不同的方法。

感谢您的关注,我们下次再见!👋🤗

本文提到的模型 1

本文提到的数据集 2

本文提到的空间 2

本文提到的论文 3

本文提到的合集 3

更多来自我们博客的文章

nlp

tgi

LLM

TGI Multi-LoRA:一次部署,服务30个模型

63

2024年7月18日

guide

community

多向量嵌入模型的Token池感知训练

28

2026年11月11日

社区

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论