"NAS-HR：面部视频中心率估计的神经架构搜索"

面部视频

PDF格式 | 744KB | 更新于2025-01-16 | 16 浏览量 | 举报

引文：

陆浩，韩虎。

NAS-HR

：用于从面部视频中估计心率的神经架构搜索。虚拟现实智能硬件，

2021

，

（

）：

33-42

DOI

：

10.1016/j.vrih.2020.10.002

虚拟现实智能硬件

2021

年

月

日第

·文章·

NAS-HR

：从面部视频

中国科学院大学人工智能学院，北京

100049

中国科学院智能信息处理重点实验室，计算技术研究所，北京

100080

彭诚实验室，深圳

518000

通讯作者，

hanhu@ict.ac.cn

投稿时间：

2020

年

月

日

修订日期：

2020

年

月

日

接受日期：

2020

年

月

日

鸣谢：国家重点研发&计划（2018 AAA 0102501）;国家自然科学基金（61672496）;中科院青年创新促进会（2018135）。

摘要背景

基于远程光电容积描记的心率估计在自然人机交互和健康监测中具有巨大的应用潜力，近

年来引起了越来越多的研究关注。虽然最近基于深度学习的

估计方法已经取得了令人满意的性

能，但它们的计算成本仍然很高，特别是在移动计算场景中。

方法

我们提出了一种用于

估计的

神经结构搜索方法，以自动搜索一个轻量级网络，该网络可以实现比复杂网络更高的准确性，同时

降低计算成本。首先，我们定义的兴趣区域的基础上，面对地标，然后提取原始的时间脉冲信号从

，

和

通道在每个

ROI

。然后，使用与皮肤正交的平面算法提取脉搏相关信号，将其与

和

通道

信号组合以创建时空图。最后，微分架构搜索方法用于网络结构搜索。

结果

与公共领域

VIPL-HR

和

PURE

数据库上的最先进方法相比，我们的方法在几个评估指标方面实现了更好的

估计性能，同

时需要更低的计算成本

。

关键词

心率估计

;

与皮肤正交的平面

STMap;

可微结构搜索

1引言

在自然的人机交互中，机器需要深刻理解人类的行为和意图，才能及时准确地做出反应。心率

（

）值可以反映一个人的心理和身体状况，因此是深入了解行为和意图的重要方面之一。然

而，传统的

测量方法，例如心电图仪和光电体积描记术（

PPG

），需要接触参与者皮肤，并且不

便于长期测量。

2096-5796/©

2021

北京中科学报出版有限公司

Elsevier B. V.

代表

KeAi Communization Co. Ltd.

提供的出版服务。这是

CC BY-

NC-ND

许可证下的开放获取文章（

http

：

//creativecommons.org/licenses/by/4.0/

）。

该代码在

https://github.com/LuPaoPao/NAS-HR

上是开源的。

www.vr-ih.com

虚拟现实智能硬件

2021

年

月

日第

监测

最近，基于远程

PPG

（

rPPG

）的非接触式

测量吸引了相当大的研究兴趣

。基于

rPPG

的

估计背后的原理是，由心跳引起的血容量的变化引入血管的光吸收的变化，因此，皮肤亮度的

周期性变化可以反映

。另外，面部区域是人体上覆盖最少的皮肤区域因此，可以基于面部皮肤

中的颜色变化来估计

估计的早期方法通常利用手工制作的特征来表示

信号。此外，这些

估计方法使用盲信号

分离（

BBS

）或最佳空间变换

12]

。

Wang

等人分析了这些方法的核心原理，并提出了考虑皮肤反射

的相关光学和生理特性的皮肤平面正交（

POS

）算法

[13]

。

POS

在受控条件下表现出良好的鲁棒性。

然而，在实践中遇到了许多挑战，包括变化的照明条件，表情变化和头部运动。传统的手工算法不

能考虑影响

估计的所有条件，只能在特定条件下应用。

随着计算机视觉的巨大成功，深度学习（

）被用于提高

估计的鲁棒性和准确性。随着公开

数据集数量的增加，研究人员已经将注意力从数据增强转移到

估计的有效网络设计

[14

，

15]

。然而，

大多数

模型是基于研究人员的经验手动设计的，这对于

估计任务可能不是最佳的，并且可能

需要更多的额外时间和计算资源。因此，学习一个更好的网络结构，自动

估计是必要的。

在本文中，我们提出了一种称为神经结构搜索

（

NAS-HR

）的方法来执行有效的

估计。首

先，从感兴趣的面部区域（

ROI

）中提取脉搏信号。然后，使用

POS

对这些信号进行预处理，以进

一步增强周期性脉冲信号。然后，我们将处理后的信号组合成时空图（

STMap

），用于深度特征学

习。可区分架构搜索（

DARTS

）用于在深度特征学习期间自动搜索有效的网络结构

[16]

。我们在一个

轻量级的搜索空间中搜索网络结构，以降低模型的复杂性。总之，这项工作的贡献如下所述。

(1)

我们提出了一种有效的方法来估计

，它利用

NAS

来获得优化的轻量级模型，具有更好的

估计精度和降低的计算成本。

(2)

我们提出了一种新的表示脉冲信息，即，使用

POS

信号构建

STMap

，从而使用骨干卷积神经网

络（

CNN

）实现更高效的学习。

(3)

所提出的

NAS-HR

在

测量精度和计算成本方面优于许多最先进的方法。

2 相关工作

本节简要回顾了基于

rPPG

的

估计和

NAS

的现有方法。

2.1 基于RPPG的HR估计

已经提出了许多基于信号分析的算法来从人脸视频中估计

。

Poh

等人提出了一种基于主成分分析

的

估计算法，用于提取周期性脉搏信号

[8]

。

Balakrishnan

等人采用独立分量分析将

rPPG

信号与原

始时间信号分离，以进行

估计

[9]

。

Haan

和

Jeanne

讨论了

BBS

的局限性，并构造了两个色度正交信

号来抑制时间序列中的噪声

[10]

。

Haan

等人研究了不同波长下

rPPG

信号的特征，然后提出了基于

Hao Lu et al：NAS-HR：从人脸视频中估计心率的神经架构搜索

此签名用于提取脉冲感应信号

[11]

。

Wang

等人提出了空间子空间旋转（

2SR

），根据三个颜色通道的

色调相关性进行投影，以提高

估计的鲁棒性

[12]

。

Wang

等人从数学上分析了早期方法的原理，并

提出了一种称为

POS

的新投影方法来提取脉搏信号

[13]

。这些方法大多使用信号分解和重构或空间变

换来获得更好的脉搏信号表示，除了在处理无约束的情况下，表现出良好的性能。

近年来，一些研究尝试使用

进行

估计。

Chen

等人提出

DeepPhys

使用两个连续的视频帧提取

生理信号，然后从脉搏信号的频谱中获得

[14]

。提出了一种使用低秩约束损失的双流方法，以获得

用于

估计的可靠特征

[15]

。

等人讨论了图像压缩对

估计的影响，并尝试从高度压缩的图像中

估计

[17]

。在

方法中直接使用视频作为输入会产生很多冗余。因此，许多研究人员试图设计更

有效和简洁的

估计表示。提出了一种时频表示作为

CNN

的输入，以提高

估计的准确性

[18]

。此

外，

STMap

是从视频中提取的生理信号的有效表示，被设计为网络的输入

[19

，

20]

，其实现了最先进的

结果。

2.2 NAS

NAS

无需手动设计和专家经验，即可为特定任务搜索合适的架构。

Baker

等人提出了

MetaQNN

来将

网络架构搜索建模为马尔可夫决策过程，并使用强化学习（特别是

学习算法）来确定

CNN

架构

[21]

。

Zoph

等人使用递归神经网络作为控制器来采样并生成描述网络结构的字符串，然后使用增强算

法来学习控制器参数以生成具有更高精度的网络结构

[22]

。

Esteban

引入了一种进化算法来解决

NAS

问

题，并提出了锦标赛选择和老化进化的变体

[23]

。基于强化学习和进化算法的

NAS

方法消耗大量的计

算资源。基于

DARTS

的算法实现了神经网络搜索算法的可微性，可以显著提高搜索速度和模型精度

[13

，

25]

。这些神经网络搜索方法主要用于图像分类或对象检测任务。然而，其在

估计中的有效性

尚不清楚。

3 该方法

NAS-HR

的目标是从人脸视频中学习一种高效、轻量级的

估计网络结构。

NAS-HR

的框架如图

所示，其中包括

ROI

提取、

POS-STMap

计算和

NAS

。

3.1

从脸部进行

由于光和头部移动引起的环境变化会降低

信号提取精度。我们设计了一种感兴趣区域提取方法

来降低这些噪声的影响，使脉搏信号可以更好地提取与高峰值信噪比。在第一步中，我们采用

Seetaface

的人脸特征点检测。然后，我们将图

中红框中的区域视为我们定义的

ROI

，这些

ROI

是基

于面部标志确定的，其中完美地包括通常受面部毛发或背景区域影响较小的脸颊和前额区域。

剩余10页未读，继续阅读

cpongm

粉丝: 6

"NAS-HR：面部视频中心率估计的神经架构搜索"

nas-framework:神经架构搜索框架

yinheli/docker-thunder-xware:latest 镜像打包下载

NAS-DIP-pytorch:[ECCV 2020] NAS-DIP

awesome-nas-papers:很棒的神经建筑搜索论文

HW-NAS-Bench:[ICLR 2021] HW-NAS-Bench

NAS-Bench-Macro：宏搜索空间的神经架构搜索基准

NAS-SCAM：神经架构搜索实现核语义分割与分类

NAS-FPN：神经架构搜索在对象检测中的可扩展特征金字塔

ICLR 2021 HW-NAS-Bench: NAS-Bench-201 API 与 HW-NAS-Bench API 介绍

Fisher-Information-NAS：探索基于Fisher信息的神经架构搜索技术

最新资源