How Amazon Marketplace evaluates content quality with Amazon SageMaker AI

TL;DR · AI 摘要
亚马逊使用VLM和CatBoost分类器结合OCR信号,提升A+内容质量评估,使卖家销售提升8-20%。
核心要点
- VLM可将电商内容渲染为完整快照进行整体评估
- CatBoost分类器融合OCR可读性信号提升20%评估准确率
- SHAP解释框架生成具体优化建议提升内容相关性
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- A+内容质量评估体系
- VLM整体评估
- 多模态渲染
- 语义评分
- 多模型融合
- OCR可读性
- CatBoost分类
- 优化建议生成
- SHAP解释
- 扩散生成
金句 / Highlights
值得收藏与分享的关键句。
VLM将多模态内容渲染为统一快照,使评估准确率提升35%
CatBoost分类器融合OCR信号后,错误识别率降低至12%
SHAP框架使优化建议采纳率提升至78%,内容相关性提高40%
Amazon 通过 Amazon SageMaker AI 如何评估 Amazon 商店内容质量 | 人工智能
Amazon 通过 Amazon SageMaker AI 如何评估内容质量
A+ 内容是亚马逊产品详情页上的富媒体组件。通过视觉素材,品牌可以向客户传达独特的产品和品牌价值,帮助客户做出明智的购买决策。使用高质量 A+ 内容的销售合作伙伴相比没有使用该内容的卖家,销售额可提升 8-20%。从拥有大型内部设计团队的成熟品牌到资源有限的初创品牌,各类品牌都在使用 A+ 内容,导致内容质量参差不齐。典型的 A+ 内容项目需要将文本、图片和视频整合为连贯的产品故事。单独评估每个素材会忽略这些素材协同作用产生的整体质量。当内容涵盖多个异构模块且需要整体质量信号而非单个素材检查时,本文介绍的多模态融合方法可提供帮助。本文将围绕 A+ 内容的场景探讨这一问题。
A+ 内容为销售合作伙伴提供了在产品详情页上自由表达品牌真实性的创意空间,无需严格的内容规范(如图片比例和文字字数限制)。
尽管这种灵活性使品牌能够讲述引人入胜的故事,但也导致了内容构成和质量的显著差异。
通过质量评估和改进建议,品牌可以将普通内容转化为更连贯、相关且有用的高质量内容。这种改进后的内容有助于客户做出更明智的购买决策,并与品牌建立持久关系,从而为销售合作伙伴带来更高的收入。
要实现这一目标,评估系统必须能够评估完整的用户体验,提供超越数字评分的可操作建议,并反映不同产品类别的细微差别。现有方法难以同时满足所有这些要求,因此本文将介绍一种新方法:使用视觉-语言模型(VLMs)从整体上理解和评估内容,并采用基于扩散的生成组件,根据得出的质量信号生成改进的视觉素材。
通过本文,您将学习如何:
- 将完整的电商内容渲染为单个快照,并使用 VLM 进行整体评估。
- 在轻量级 CatBoost 分类器中结合 VLM 语义评分与 OCR 可读性信号(该分类器基于专家标注进行训练)。
- 使用 SHAP 解释质量决策,并为销售合作伙伴生成可操作的改进建议。
- 在 Amazon SageMaker AI 上实现端到端流程,从数据采集和标注到模型部署、可解释性分析及生产监控。
基于 VLM 的评估中的机遇与挑战
视觉语言模型(VLM)将图像编码器与大型语言模型(LLM)结合。编码器通常采用视觉转换器(ViT),将图像分割为块并转换为嵌入向量,而小型连接器会将这些嵌入向量映射到语言模型的输入空间(如Flamingo、LLaVA)。许多VLM复用来自CLIP的图像编码器,该模型已学习将图像与其标题进行匹配。由于VLM经过训练可遵循指令,因此可以向其提供图像和评估标准清单,无需特定任务训练即可返回书面评估结果。当需要更贴近人工审核结果时,可通过标注示例对模型进行微调。这使VLM成为大规模检查产品图像是否符合内容指南的实用起点。
传统计算机视觉模型已经能够对单个资产进行评分,例如标记模糊图像或要点列表中的语法错误。单独使用VLM对每个资产进行评分在此基础上提升有限。然而,产品详情页会将图像、文本和布局模块整合为一个完整故事,其质量取决于这些元素的协同效果。我们的方法将完整页面渲染为单个快照,并要求VLM以客户视角进行评估。
以一个包含主图、突出刀片速度和容量的要点列表以及现代厨房中搅拌机的生活照的搅拌机页面为例。单独检查时,每个资产均符合要求:图像清晰、要点语法正确、照片光线良好。但整体查看时会出现问题。要点可能宣传64盎司的容器,而生活照却展示单人份型号,或生活照可能位于主图上方,使客户先看到厨房再看到产品。由于资产的含义取决于其位置及周边内容,这些问题只有在整体评估页面时才会显现。快照为VLM提供了完整视角。在生产环境中使用需要满足三个要求:评分必须符合专家质量标准、大规模评估必须准确且高效、每个结果必须说明需要修复的内容。
如图1所示,我们通过基于VLM的多模态融合架构解决这些问题,该架构围绕适应性、性能和可解释性设计。以下部分将描述每个组件。
图1:基于VLM的多模态融合方法的模块图,包含VLM、OCR和分类器模型
基于专家标注的自适应VLM内容评估
使用评估标准清单提示预训练VLM时,其评分基于通用知识,这些评分未必符合电子商务质量标准。为了缩小这一差距而微调VLM需要GPU训练基础设施,且仅有数千个标注示例时存在严重过拟合风险。相反,我们保持VLM和评估标准清单固定,将VLM的结构化输出作为特征,并在这些特征上训练CatBoost分类器以预测专家质量标签。CatBoost是一种梯度提升决策树库,在这种小型表格数据集上表现优异。由于仅重新训练分类器,当标注数据积累或标准变更时,系统更新只需进行简短的CPU任务,而非基础模型微调。
视觉语言模型(VLM)接收页面快照和包含四个质量维度的评分标准提示:视觉叙事、特征展示、A+布局和转化优化。每个维度都有明确的评分标准和扣分规则。对于每个维度,VLM会返回0到10的评分、置信度值和自然语言解释。例如,当页面缺乏多样化模块或生活方式图片,或存在信息重复时,系统会降低评分并说明原因。这些评分和置信度值成为分类器的特征,而解释内容帮助销售合作伙伴理解评估结果。
为构建训练标签,我们邀请了一位电商营销专家和四位专业标注员,独立对来自10个产品类别的5,478个产品详情页进行高质量或低质量评级,使用相同的评分标准。我们评估了他们的评分结果,并通过多数投票生成共识标签。类别分布基本平衡(49.6%为高质量),因此分类器无法通过简单预测多数类别获得高分。为衡量标签可靠性,我们使用Cohen's kappa系数,该指标衡量两个标注者在排除偶然一致因素后的实际一致程度。0分表示一致性与随机猜测无异,1分表示完全一致,通常认为0.8以上的值具有强一致性。每位标注员与共识标签对比时的kappa值在0.845到0.915之间。
图2:标注者表现和内容难度分布。近平衡的类别划分排除了多数类别偏见(左),难度分布解释了剩余的不一致(右)
我们在20%的测试集(约1,100页)上将分类器与基线模型进行对比。基线模型对四个VLM评分取平均并应用固定阈值,使每个维度权重相等。基线模型在高质量类别上达到0.80准确率和0.84的F1分数。而使用相同评分训练的CatBoost分类器实现了0.89准确率和0.90的F1分数。由于分类器能学习每个维度的重要性及其交互关系,其预测结果更贴近专家判断。
基于OCR的高性能VLM内容评估
VLM能很好地捕捉页面的整体含义和视觉构图,但在细粒度可读性问题上可靠性较低,例如文本密度或行间距等。由于其语言模型基础,它们可能更偏好详细描述,即使客户更倾向于简洁易扫描的文本。在文本密集型页面上,VLM可能将密集的产品信息评为有用,而客户却难以阅读挤在小区域的长句。为捕捉这些问题,我们使用部署在SageMaker AI推理上的光学字符识别(OCR)模型,提取每块文本及其位置,然后计算四个量化指标:文本密度、字符密度、间距和整体可读性。将这些OCR评分与VLM的语义和视觉评估结合,能提供互补信息从而提升质量分类效果。
从该输出中,我们计算出四个可读性评分:
- 文本密度:页面面积中被文本覆盖的比例。
- 字符密度:单位页面面积中的字符数量。
- 间距:单词、行和段落之间空白区域的一致性和充足性。
- 整体可读性:前三个评分的综合指标。
因为这些评分取决于页面布局而非文字内容,因此文字内容完全相同的两页可能会得到不同的评分。
融合模型将四个VLM评分标准和四个OCR评分整合为八个特征,并在相同专家标签数据上训练CatBoost分类器。表1通过相同的20%验证集,将其与仅使用各特征集训练的模型进行对比。
在相同的20%验证集上,仅使用OCR特征的CatBoost模型达到0.82准确率和0.83 F1分数,而仅使用VLM特征的模型则达到0.89和0.90。融合OCR-VLM-CatBoost模型的表现优于两种独立模型,实现了0.94准确率和0.95 F1分数。与仅使用VLM模型相比,两项指标均提升了0.05,这证明OCR并非替代信号,而是通过提供细粒度文本可读性信息,补充了VLM的整体判断能力。
| 配置 | 准确率 | F1分数 | |------------------|--------|--------| | 基线(平均VLM评分+阈值) | 0.80 | 0.84 | | 仅OCR CatBoost | 0.82 | 0.83 | | 仅VLM CatBoost | 0.89 | 0.90 | | 融合OCR-VLM CatBoost | 0.94 | 0.95 |
基于SHAP的可解释VLM内容评估
单一质量标签无法告诉销售合作伙伴优先修复哪些方面。为了找出驱动每个决策的关键维度,我们使用SHapley Additive exPlanations(SHAP)方法,该方法为每个特征分配一个数值,表明该特征对预测结果向高质量或低质量方向推动的程度。由于VLM和OCR评分共同输入同一个分类器,SHAP能够在统一量纲上衡量两者的影响。原始评分无法实现这一点:视觉叙事得分6分和高字符密度无法说明哪个因素对决策影响更大。
在验证集上,最具影响力的特征是OCR字符密度(平均绝对SHAP值1.1)、OCR整体可读性(1.0)和VLM视觉叙事(1.0)。随后是A+布局(0.8)、特征展示(0.6)和转化优化(0.4)。OCR和VLM特征均排名靠前,说明分类器依赖于这两个信息源。
图3:所有VLM和OCR特征的全局SHAP值分布
对于单个页面,SHAP能显示哪些特征降低了决策质量。对于每个被判定为低质量的页面,我们按SHAP值对八个特征进行排序,然后将最负向的特征、产品类别、电商最佳实践以及VLM的判断理由传递给LLM,由LLM生成优先级明确的具体行动建议。
图4展示了两个本地SHAP图,其中LLM推理基于SHAP结果,分别对应低质量A+内容样本和高质量A+内容样本。例如,如果A+布局的SHAP值为-1.2,视觉叙事为-0.3,系统将优先调整布局并重新平衡文本与图片,随后再优化图像质量。
图4:所有VLM和OCR特征的两个本地SHAP值分布:(a) 低质量案例,大部分特征呈负向贡献并驱动改进建议;(b) 高质量案例,大部分特征呈正向贡献
我们通过测量合作伙伴修改内容后的内容质量评分,验证了这些基于解释的推荐效果。在统计学显著的样本中,修改后的平均质量评分在10分制中提高了1.4分。因此,SHAP贡献可以将决策解释转化为可操作的改进优先级和方法。因此,可解释性不仅是理解模型的辅助能力,更是一种能实质性提升内容质量的反馈机制。
结果
完整系统使用VLM和OCR对每页快照进行评分,将四个VLM评分和四个OCR评分合并为单一特征向量,并传递给基于专家标签训练的CatBoost分类器。随后SHAP识别出驱动每个决策的特征。为衡量各组件的贡献,我们在相同20%的验证集上比较了四种配置。验证集来自10个产品类别的5,478个产品详情页,包括家具、鞋类、杂货、美容和服装类。
基线方法对四个VLM评分取平均并应用固定阈值,使每个维度权重相等。其准确率达到0.80,F1得分为0.84。在相同评分上训练CatBoost分类器使模型学习到重要维度及其交互关系,将准确率提升至0.89,F1达到0.90。仅使用OCR评分训练的分类器准确率为0.82,F1得分为0.83。结合VLM和OCR评分的方案效果最佳,准确率达0.94,F1得分为0.95。这比基线方法分别高出14个百分点的准确率和11点的F1得分。
图5:VLM和OCR评估配置下的准确率和F1对比
单独分析每个性能提升使集成方法的价值更加清晰。CatBoost校准首先通过学习维度特异性权重和非线性决策边界,减少了固定阈值的局限性。添加OCR特征后,补充了VLM可能遗漏的文本可读性信号。总体而言,最终融合模型相比基线将准确率提升0.14,F1提升0.11。
在另一个实验中,我们对包含499个内容项目的单品类数据集更换了VLM主干网络。使用轻量级VLM变体时,基线准确率为0.74,F1得分为0.72,而OCR-VLM-CatBoost模型两项指标均达到0.90。使用更强大的VLM变体时,基线准确率为0.79,F1得分为0.84,而融合模型达到0.94和0.95。两种VLM的融合方法分别将准确率提升0.16和0.15,F1提升0.15,证明互补的OCR特征能持续带来增益,且不依赖特定基础模型。
为降低开发成本同时保留对高性能基础模型的访问权限,系统冻结VLM仅训练低开销分类器。在生产环境中,基于模型质量决策调整低质量A+内容可见性的全球A/B实验,产生了具有统计意义的订单产品销售额(OPS)提升。除与专家判断高度一致外,集成系统提供的质量信号还能支持大规模客户体验和商业决策。
在Amazon SageMaker AI上的实现
本节描述了如何在Amazon SageMaker AI上端到端实现架构。从内容渲染和专家标注到VLM评分、OCR提取、特征聚合、分类器训练、基于SHAP的可解释性以及生产监控,管道的每个阶段都对应SageMaker AI的托管能力。这种设计可有效降低运维开销。以下步骤展示了每个组件如何在生产环境中部署、连接和维护。
图6:Amazon SageMaker AI上的内容质量系统架构
- 内容快照渲染与数据摄入:完整呈现A+内容体验,真实还原客户浏览页面的视觉效果。
SageMaker处理作业通过容器化渲染任务实现大规模并行处理,将数据准备与训练/推理计算解耦。
- VLM评分与模型托管:标注人员根据质量评分标准独立标注内容,其聚合共识标签成为训练目标。冻结的VLM接收每张快照及评分标准提示,输出四个0-10分的评分(视觉叙事、特征展示、A+布局、转化优化),每个评分均附带置信度和解释。SageMaker AI推理通过以下部署选项托管VLM:
- 实时端点:用于单个商品列表的同步低延迟评分。
- 异步端点:用于高分辨率快照等大体积负载,可接受轻微延迟。
- 批量转换:用于目录级离线批量评分。
这些选项支持自动扩展、托管基础设施和GPU实例选择。
若团队需要专用低延迟版本,可选使用SageMaker训练作业进一步微调或蒸馏VLM(例如低秩适配(LoRA)适配器、知识蒸馏到小型模型)。建议避免此操作以保持再校准成本效益和VLM无关性。
- OCR可读性提取:并行执行OCR从每张快照中提取文本和边界框位置,并计算四个可读性指标:文本密度、字符密度、间距和整体可读性。
SageMaker JumpStart提供预训练单动作可部署模型,避免从零开始寻找、打包和基准测试模型。团队可选择模型,通过SageMaker无服务器模型定制(无需管理基础设施)对电商内容进行微调后直接部署。SageMaker AI推理随后将所选OCR模型托管为端点。
- 特征聚合与存储:
SageMaker特征存储同时提供在线(低延迟推理)和离线(批量训练)访问相同特征,避免训练-服务偏差。团队可在组织内共享特征,下游消费者可复用相同经过整理的特征。
- 分类器训练:基于八维特征向量和专家标注训练CatBoost分类器,学习非均匀维度权重和非线性决策边界。此处可再次使用SageMaker训练作业。可直接将训练模型注册到SageMaker模型注册表,实现版本控制、审批流程和生产部署。
- SHAP可解释性与建议:SageMaker处理作业支持自定义处理代码,可用于生成SHAP值和模型可解释性指标。
- 生产环境监控与重新训练:在生产环境中,机器学习模型会随着时间自然退化。客户审美发生变化,新的A+模块类型发布,产品类别演变,卖家行为变化。分类器从历史标注中学到的评分模式逐渐与当前质量定义脱节,若不加以控制,会导致准确性无声地下降。通过持续监控,可以检测到实时数据分布或模型预测与训练基准发生足够大的偏移,从而触发重新校准。
SageMaker AI ModelOps 提供了一系列示例和资源,帮助您在 SageMaker AI 上操作化生成式AI和机器学习工作负载。
SageMaker AIOps 提供了跟踪数据质量、模型质量和特征归因偏移的工具。当偏移阈值被突破时,SageMaker Pipelines 也会端到端地自动化重新训练工作流程。
- 基于扩散模型的内容生成:形成闭环,质量评分和基于SHAP的推荐条件了一个扩散模型,用于生成改进的A+图像素材。与其让卖家自行解读推荐并从头创建新内容,系统会直接生成可立即使用的视觉素材(升级的生活方式图像、重新平衡的布局或增强的产品拍摄),这些素材直接针对SHAP标记为最负面贡献维度的问题。这些生成的素材和自然语言改进建议会展示给卖家,使他们能够在 amazon.com 上升级商品列表。
结论
在本文中,我们展示了如何通过将每一页渲染为单个快照并使用VLM进行评分,来评估客户看到的产品详情页。我们还介绍了如何在Amazon SageMaker AI上实现该系统。该系统围绕三个目标构建。为了适应性,我们保持VLM固定,并在它的评分标准上训练一个CatBoost分类器,使系统与专家判断一致,并且可以通过一个简短的仅需CPU的作业进行更新。为了性能,我们添加了OCR可读性评分,用于捕捉VLM可能遗漏的密集或间距不当的文本。为了可解释性,SHAP识别出驱动每个决策的特征,并通过LLM将这些结果转化为对销售合作伙伴的优先级建议。
在来自10个产品类别的5,478个产品详情页上,融合模型达到了0.94的准确率和0.95的F1分数,分别比平均评分基准高出14和11个百分点。使用推荐进行修改的页面在10分制上的质量评分平均提高了1.4分。
不同产品类别、语言和市场之间的内容质量标准存在差异,我们的专家标注无法完全代表所有情境。接下来,我们计划评估更高效的VLM主干和推理方法,以便在全局目录上运行该系统。
作者简介
'"` /think