基于智能手机摄像头的被动心脏健康监测

标题：迈向基于智能手机摄像头的被动式心脏健康监测

URL 来源：https://research.google/blog/towards-passive-heart-health-monitoring-via-smartphone-camera/

Markdown 内容： 心率（HR）作为核心生命体征之一，是反映生理状态的动态指标，受活动量、压力以及急慢性疾病等多种因素影响。此外，静息心率（RHR）是评估心血管健康和长期健康风险的关键生物标志物。较高的 RHR 以及 RHR 随时间推移而升高，均与重大不良心血管事件及全因死亡率相关。

Fitbit 设备和 Pixel Watch 等可穿戴设备使我们能够在日常生活中持续追踪这些健康指标。然而，其普及率仍有提升空间，尤其是在资源匮乏地区以及心血管疾病高危人群中。智能手机为扩大健康监测的覆盖面提供了独特机遇——如今，全球已有约50 亿人拥有配备强大传感器、具备健康监测能力的智能设备。2022 年，我们展示了如何通过将手指置于手机摄像头上来实现按需心率测量，Google 后续研究进一步探讨了该测量过程中检测到的信号如何辅助预测心血管疾病。

在发表于《_Nature_》的论文“Passive Heart Rate Monitoring During Smartphone Use in Everyday Life”中，我们介绍了一种名为 PHRM 的研究系统，该系统可在日常使用智能手机的过程中于后台自动追踪 HR 和 RHR。PHRM 利用前置摄像头，在人脸解锁后的数秒内捕捉用户面部视频。随后，系统应用深度学习算法估算 HR，与基于心电图得出的基准真值相比，其平均绝对百分比误差（MAPE）低于 10%，且在不同肤色人群中均达到了行业精度标准。最后，系统将全天的心率测量数据整合以估算每日 RHR，其精度可与可穿戴设备媲美，与可穿戴追踪器相比，平均绝对误差（MAE）小于每分钟 5 次（bpm）。伴随论文发表，我们开源了目前面向研究公开的最大规模、最具多样性的智能手机视频数据集，以及预训练的“PHRM-mini”模型。符合条件的研究人员可申请访问权限。

一项惠及大众的技术突破

与可穿戴设备、脉搏血氧仪及我们的前期工作类似，PHRM 通过光电容积脉搏波描记法（PPG）测量心率，即通过感知血液脉动时皮肤与光线相互作用的变化来获取数据。我们开发了一套端侧软件流水线，可处理 8 秒的面部视频片段，并利用计算高效的时序移位卷积神经网络来预测心率及相应的置信度分数。该流水线还会聚合全天的心率预测结果，并结合置信度分数和卡尔曼滤波技术来估算每日 RHR。

尽管用于此类“远程” PPG（rPPG）的计算机视觉模型已存在二十年，但既往研究多为受控条件下的小规模实验，限制了其普适性。此外，以往研究中深色皮肤人群的样本严重不足；由于黑色素的影响，摄像头更难从这类人群中检测到清晰的 PPG 信号。直到最近，研究人员才开始更深入地考察 rPPG 模型在深色皮肤受试者身上的表现，结果发现其准确率显著偏低——这一发展轨迹与脉搏血氧仪及其他基于 PPG 的技术所经历的问题如出一辙。针对脉搏血氧仪的担忧促使 FDA 起草了相关指南，以确保验证研究涵盖多样化的肤色样本。然而迄今为止，rPPG 领域仍缺乏达到同等标准的研究。

我们利用来自近 700 名不同背景的知情同意研究参与者的超过 35 万个视频片段开发了 PHRM，这些数据采集自实验室和真实世界环境。正如我们在早期工作中所做的那样，我们将更多的模型训练资源投入到了最具挑战性的案例上。我们采用比色法和 Monk 肤色量表，确保浅色皮肤（“第 1 组”，Monk 1-4）和中等肤色（“第 2 组”，Monk 5-7）参与者各占数据集的至少 25%，深色皮肤（“第 3 组”，Monk 8-10）参与者占比至少 33%。这种抽样方法与 FDA 后来提出的肤色队列标准一致。更进一步，在 Google 健康优化团队的支持下，我们制定了一项非劣效性标准，规定 PHRM 在各组中的心率 MAPE 差异必须小于 5 个百分点。这些努力使我们的 PHRM 研究成为迄今为止规模最大、多样性最丰富的 rPPG 研究，并使我们能够开发出包容性模型，在整个肤色光谱范围内均能准确运行。

实验室与真实世界验证

我们在实验室研究中训练 PHRM 以应对各种条件，记录了 365 名不同背景参与者在不同光照条件和活动状态下的面部视频及同步心电图 (ECG) 数据。在一个包含 104 名参与者的独立测试集上，经过最低置信度分数筛选后，尽管测试条件多样，PHRM 在各肤色组中的 MAPE 仍显著低于 10%。在同一测试集上，无论是在筛选前还是筛选后，PHRM 的表现均显著优于 15 个已发表的主流 rPPG 模型，并且是唯一一个在所有肤色组中 MAPE 均低于 10% 的模型。

为了利用真实世界数据训练 PHRM，我们开展了一项首创的“自由生活”研究。231 名不同背景的参与者在个人手机上安装了定制的数据收集应用，并在佩戴 ECG 胸带和 Fitbit Charge 6 健身追踪器的同时，正常使用手机八天。我们的应用会在每次人脸解锁后立即记录 8 秒的视频片段和 ECG 数据，平均每天捕获 231 个片段。每天结束时，参与者在审查其视频片段以确认排除敏感内容和其他人脸后，手动且明确地授权将数据上传至我们安全的加密服务器。

在一个包含 101 名参与者的保留验证子集上，经过置信度筛选后，PHRM 的总体 MAPE 为 6.09%，其中第 1、2、3 组的 MAPE 分别为 5.04%、5.12% 和 7.84%。各组的 MAPE 均显著低于 10%，并达到了我们预先设定的非劣效性目标。在自由生活条件下，PHRM 以更大的优势超越了上述 15 个主流 rPPG 模型，并且仍然是唯一一个在所有肤色组中 MAPE 均低于 10% 的模型。Bland-Altman 分析显示，PHRM 平均仅低估心率 0.64 bpm，95% 一致性界限为 -11.3 至 10.3 bpm；置信度分数较高的测量值误差更低。

随后，我们对在一天或多天内拥有至少 20 次心率测量的参与者应用了 PHRM 的静息心率 (RHR) 算法。在这 90 名参与者中，PHRM 在 73.6% 的参与者-天数中成功估算了 RHR。与 Fitbit Charge 6 的每日 RHR 相比，PHRM RHR 的总体 MAE 为 4.39 bpm，显著低于我们预设的 5 bpm 目标。Bland-Altman 分析显示，PHRM 平均低估 RHR 0.1 bpm，95% 一致性界限为 -9.1 至 9.2 bpm；随着 RHR 测量天数的增加，误差逐渐减小。除第 3 组外，各肤色组的 MAE 均显著低于 5 bpm。然而，随着 RHR 算法中卡尔曼滤波器的收敛，所有组的 MAE 均随时间推移而下降——从第三天起，第 3 组的 MAE 也显著低于 5 bpm。

在验证我们方法有效性的过程中，我们还发现，在控制协变量后，PHRM 衍生 RHR 较高的参与者更有可能具有高体重指数 (BMI) 和较差的心血管适能（低 VO2max），这表明 PHRM 正确捕捉到了心血管风险的方向性。

展望

据我们所知，PHRM 标志着首次在日常智能手机使用期间实现被动心率和每日 RHR 监测的大规模验证。作为唯一一种即使在不可预测的真实世界条件下也能满足所有肤色人群心率精度标准的 rPPG 方法，它为该领域树立了新标杆。这也是首次利用 rPPG 估算每日 RHR，并在所有肤色人群中达到了可穿戴设备级别的精度。通过结合对用户习惯的理解、前沿的深度学习技术和包容性设计，我们开发了一种基于智能手机的心率监测系统，能够提供类似可穿戴设备的心脏健康洞察。因此，PHRM 为我们通过最普及的设备实现心脏健康监测益处的普惠化提供了契机。更广泛地说，它展示了我们经常使用的设备如何反过来反映我们的健康状况。

虽然 PHRM 在各肤色组中均达到了精度标准，但其心率测量成功率在第 2 组中较低，在第 3 组中最低，这可能是由于在深色皮肤中检测 PPG 信号较为困难所致。未来的工作可以探索优化相机曝光或触发额外的采样尝试，以提高测量成功率。此外，我们还观察到一些由参与者说话和头部运动引起的异常误差。改进的视频稳定技术可以减轻这些误差，而基于加速度计的筛选机制则有助于优先选择适宜的静止时刻。最后，未来的系统可以通过要求人脸认证并采用安全的端侧处理来确保数据完整性和隐私。

为进一步推动相关研究，我们将向具备机构审查委员会（IRB）批准并符合我们数据保护要求的合格研究人员开放具有里程碑意义的数据和建模资源。为保护研究参与者的隐私，所有视频均在 IRB 批准下采集，并严格按照参与者的明确知情同意进行处理。该数据集仅限用于非商业研究，访问该数据集的研究人员严禁尝试重新识别任何个人身份或公开展示原始视频素材。我们诚邀广大研究界利用这些资源，在我们的工作基础上继续探索与创新。

致谢

_这项工作凝聚了我们七年多的心血。感谢本文的共同作者：Shun Liao、Paolo Di Achille、Jiang Wu、Silviu Borac、Jonathan Wang、Xin Liu、Lawrence Cai、Yuzhe Yang、Yun Liu、Daniel McDuff、Hao-Wei Su、Brent Winslow、Anupam Pathak、Mark Malhotra、Shwetak Patel、James A. Taylor 和 Jameson K. Rogers。感谢以下关键贡献者：Nikola Teslovich、Alex Mun、Jonathan Hsu、Xiaoxia Zheng、Derrick Vickers、Sam Mravca、Tracy Giest、Jason Guss、Florence Thng、Jiening Zhan、Julie Cannon、Mehr Kashyap、Jaspreet Pannu、Tiffany Kung、Ming Jack Po、Matthew Shore、Justin Tansuwan、Liwen Chen、Cristo Alanis Barrera、Anand Saxena、Jeremy Miles、Melissa Moran、Michael V. McConnell、Ivor Horn、Benny Ayalew、Jonelle Saunders、Jonathan Tsai、Heather Cole-Lewis、Ebony Respress、Perry Payne、Kamillah Wood、Nnamdi Ezeanochie、Magdala Chery 和 Rich Gossweiler。感谢 Lizzie Dorfman、Katherine Chou、Michael Howell 和 Greg Corrado 给予的领导层支持。特别感谢 Jiemin Yang、Josh Grondie、Kenya Moore 和 Katie Barton 在我们自由生活场景研究中的生动演示与协助。_