基于软边际混合回归的非线性回归方法及其在计算机视觉任务中的应用

43216532（软边限SMMR地面实况回归输入软边际混合回归卡内基梅隆大学donghuang@cmu.edu韩龙飞北京理工hanlongfei@hotmail.com卡耐基梅隆大学ftorre@cs.cmu.edu摘要非线性回归是解决许多计算机视觉问题的常用统计工具（例如，年龄估计、姿态估计）。现有的非线性回归方法分为两大类：（1）通用方法提供了隐式或显式同质特征映射（例如，核岭回归、高斯过程回归、神经网络）。这些方法可能会失败（一）52362541341667GMR地质雷达当数据是异构的或不连续的时。(2)分而治之的方法划分一个异构的输入特征空间，并学习多个局部回归。然而，现有的分治方法无法处理分区之间的不连续性（例如，回归的高斯混合），并且它们不能保证分割的输入空间将由局部回归器均匀地建模（例如，有序回归）。为了解决这些问题，本文提出了软边际混合回归（SMMR），这是一种直接学习输入空间的齐次分区并能够处理不连续性的方法。SMMR优于最先进的冰毒输入地面实况回归器ODS在三个流行的计算机视觉任务：年龄估计，人群计数和从图像的观点估计。1. 介绍非线性回归是解决许多计算机视觉应用的常用统计工具，例如年龄估计[21]，人群计数[2]或姿势估计[27，18]。这些方法通常从手工制作的特征（例如，定 向 特 征 直 方 图 （ HoG ） 、 尺 度 不 变 特 征 变 换（SIFT））到期望的输出（例如，面部属性、姿态角度、地标）。最近，深度学习架构（例如，[33，35]）直接学习从图像到输出的卷积非线性映射，并获得了最先进的结果。尽管深度学习取得了令人兴奋的进展，但目前还不清楚这些技术在异构、非均匀采样或不连续的自然输入数据中的最佳效果。[2]这些作者对这项工作的贡献是相等的图1. 年龄估计问题的非线性回归（面部图像顶部的数字）。灰点表示数据点。灰线表示输入特征和输出之间的真实非线性回归量。彩色虚线表示不同方法的预测值。(a)高斯过程回归（GPR），红色虚线和高斯混合回归（GMR），蓝色虚线。（b）软边际混合回归（SMMR），绿色虚线曲线（最佳颜色）。是的。回想一下，在许多实际问题中，收集良好采样的训练数据和启发式选择训练批次是劳动密集型的[13];此外，学习的特征很难在不同的数据库之间共享为了解决标准回归和深度学习方法中的这些问题，需要新的非线性回归方法来处理异构和不连续的数据。现有的非线性回归方法分为两大类：（1）通用方法和（2）分而治之的方法。通用方法找到一个隐式或显式的全局非线性映射。的实例输出输出43216533这一类别是核岭回归（KRR）[1]、核支持向量回归（KSVR）[21]、核偏最小二乘回归（PLSR）[11]、高斯过程回归（GPR）[2]中的协方差函数、贝叶斯方法中使用的对数函数或神经网络中使用的Sigmoid和Rectifier函数。对于不连续和异构的训练数据，泛回归器不可避免地会受到数据分布的影响也就是说，该模型将在密集采样空间中产生低回归误差为了对异构数据建模，分治方法学习多个局部回归量。例如，基于层次的[14]和基于树的回归[15]根据输出进行硬划分，并且样本的子集对于学习局部回归量可能不是同质的 。 有 限 混 合 回 归 （ FMR ） ， 如 高 斯 混 合 回 归（GMR）[26]，通过最大化联合输入-输出空间中的似然性，在局部回归变量中分配回归误差。然后，输入特征的输出被计算为所有局部回归量的输出的加权组合。在现有的FMR方法[34，19]中，使用更多训练数据学习的回归器往往主导最终的输出估计。图1（a）示出了根据图像进行年龄估计的问题中的上述缺点。每个灰色BIF向量[21]和输出标量（即，受试者的年龄灰色线表示真实回归量，输入到输出。我们在所有数据样本上使用通用方法（GPR）的示例和分治方法（GMR）的示例训练回归器。然后，我们将它们的输出预测绘制为图1中的彩色虚线。在这个例子中，数据是（1）异构的：左边的数据云是从高斯分布绘制的，右边的数据云是从指数分布绘 制的 ; （2 ）非均 匀采 样 。使 用GPR（通 用方法），当数据样本分散且不连续时，输出预测（图1（a）中的红色使用GMR，学习两个局部回归量，一个用于左侧的点云，另一个用于右侧的点云。GMR的输出预测（图1（a）中的蓝色虚线）计算为两个局部回归器预测的加权和。由于右侧的密集采样数据产生更高的权重，因此左侧GMR的输出预测由右侧的预测主导。因此，GMR的输出预测（图1（a）中的蓝色虚线）与真正的回归相差甚远。为了解决上述问题，我们提出了解决异质回归问题的软边际混合回归（SMMR）。SMMR同时在联合输入-输出中找到均匀分区空间使用最大边缘分类，并学习每个分区的局部SMMR利用铰链损失作为混合比例，最小化分区之间软间隔的回归误差。SMMR使用铰链损失来模拟回归变量之间的转换，它在分区内产生这个属性可以防止一个回归变量在估计最终输出时支配其他回归变量相比之下，SVR只是使用回归误差上的铰链损失来排除训练样本中的离群值我们的方法有效地减少了整体回归误差。观察SMMR做出的输出预测（图1（b）中的绿色虚线）准确地拟合真实回归（图1（b）中的灰色线）。我们将SMMR应用于三个计算机视觉任务：面部年龄估计、人群计数和视点估计，并且在所有问题中SMMR都优于最先进的结果。2. 相关工作本节回顾了为面部年龄估计、人群计数和对象视点估计开发的回归方法。基于图像的人脸年龄估计在视觉监控、访问控制和人口统计分析等领域有着广泛的应用使用手工制作的功能（例如，AAM [4]或BIF [21]）作为输入，使用各种通用回归方法：高斯过程回归（GPR）[37]，核支持向 量 回 归 （ KSVR ） [21] ， 核 偏 最 小 二 乘 回 归（KPLS）[11]。然而，人脸在不同年龄以非静止模式成熟[22]。面部老化效应表现为儿童期面部形状的变化和成年期皮肤纹理的变化按年龄划分数据，分层模型[14]和特定群体回归产生了良好的结果。虽然这种分层模型试图通过经验性地分割具有重叠范围的标签空间来克服误差减轻，但它可能找不到用于学习局部回归的同质子集。有序回归[5，22]执行一系列二元分类以根据年龄划分样本，并通过对分类器输出求和来估计年龄。此外，有序回归仅限于标量输出。人群计数[2]是公共监控、安全评估和交通统计的重要视频分析工具 人群计数的目的是估计人数人的形象。使用手工制作的功能[3]，通用方法，例如岭回归[7]，高斯过程回归[2]和基于核的回归[1]已被应用于人群计数。许多分而治之的方法优于通用方法。Chan等人[2]首先将图像分割成均匀斑块的分量，然后使用高斯过程回归来估计每段的人数。张43216534JF等人[35]针对训练数据和测试数据之间的采样差异采用了CNN模型。为了计算训练数据和测试数据之间的相似性，错误，例如，高斯误差N（0，σ2）。FMR的条件密度通过对局部回归量求和来计算Σ在训练和试验现场之间需要地图。将目标视点估计问题分解为一个分类问题和一个回归问题.在这里，我们集中讨论回归问题。有两种策略p（y|x）=zΣk=p（z|x）p（y|x，z）π jφ（y|βTxε，σ2），（二）探索：（1）使用3D信息建模配置-J Jj=1对象部分的操作[38，32，28]。例如，Pepiket al. [24]扩展了2D可变形零件模型（DEPELLEBTED PARTIESMODELS）其中πj是第j个回归量与Σ进行插值推理，FMR输出。πjs是正数，Kj=1 π j= 1。的引入连续估计。(2)使用2D图像特征来估计对象视点。Torki等人[29]构建了对象类的流形表示和从流形到对象视点的回归。最近的工作是分而治之：He等人[16]通过分类将数据划分为不同视角，并通过回归进行精细估计。Fenzi等人[9]通过使用谱聚类聚合局部特征来学习对象类表示然后学习每个聚类的局部回归量，并通过加权组合来估计视点Hara和Chellappa[15]使用了K-Clusters回归森林：k-means聚类+回归森林。这些分区方法仅依赖于输入或输出。在分区子集中，输入-输出相关性可能不是齐次的，使得难以学习准确的局部回归量。3. 有限混合回归有限混合回归（FMR）是最基本的分治方法。大多数其他方法可以理解为FMR的扩展，包括我们的SMMR方法。将第i个输入特征的向量表示为1xi∈dx，将xi（i= 1，···，n）的输出向量表示为yi∈dy有限混合回归（FMR）将n对样本{xi，yi}s分成k个子集，并为每个子集学习局部回归量。不失一般性，第j个子集（j= 1，···，k）的回归子是线性映射f（y|x，z=j）=φ（y;βTxθ，σ2），（1）输出yi被估计为所有局部回归量Σky=πjβTxπ。（三）j=1请注意，标准FMR对x的边际分布没有任何假设。混合比例πjs是样本的常数，这意味着一个普适回归。FMR的扩展计算依赖于输入的πjs以处理异构数据。给定测试输入xt，Younget al.[34]计算π j s作为xt和属于第j个局部回归的所有训练x i s之间的相似性之和; Huang et al. [19]网格来拟合基于核的函数;高斯混合回归（GMR）假设局部回归的xi s遵循高斯分布，π j是xt与第j个高斯分布的似然。 所有这些方法都受到相同的限制：用更多数据和/或更大方差训练的局部回归器总是产生更大的π j s。因此，输出预测由具有大π j s的局部回归量决定（见图1（a））。其他扩展通过根据输出对输入空间进行硬划分来避免上述问题，并且仅在划分的空间中计算输出估计，例如，分层混合专家（HME）[20]和有序回归[5]。这些方法依赖于完美的硬分区（分类），并且不一定学习准确的局部回归。这是因为仅使用输出来监督分区，局部输入-输出相关性可能不是均匀的。4. 软边际混合回归J J其中β∈φdy×（dx+1）是回归系数，x∈[1，x]. z是一个潜在变量，它表示{x，y}为子集。φ（·）是回归的密度函数1粗体大写字母表示矩阵X，粗体小写字母表示列向量X。 xj表示矩阵X的第j列。所有非粗体字母表示标量变量. x ij表示矩阵X的第i行和第j列中的标量以及列的第i个标量元素向量xj k∈k×k表示单位矩阵。xSMMR通过联合学习软边缘划分和局部回归来克服上述局限性。SMMR的训练算法包括四个主要操作：（1）对输入空间进行多类最大间隔分类;（2）利用分类中的铰链损失计算软边混合比例;（3）使用训练样本学习局部回归器，其中回归误差由软边缘加权混合比例;（4）将样本分配给向量x的L2范数。tr（A）=iaii是矩阵A的迹。A2=tr（ATA）=tr（AT T）表示的Frobenious范数为回归变量产生最小的回归误差。 这些行动-矩阵A交替迭代直到收敛。43216535JJIJξJIJJ IJπφ（y |βx，σ）我从上述操作中可以得出两个关键的观察结果：（i）由于铰链损失计算的软边际混合比例在边际之外为零，因此通过运算（2），局部回归量的混合仅发生在类之间的边际中。(ii)通过操作（4），使用数据的同质子集来更新局部回归量。输入空间的异质部分包含在边距中。其中w和b是分类器参数wjj′和bjj′的全局符号。回归参数β j和σ j的β和σ整体记法。我们提出了一种改进的EM算法来求解Eq。8. 在EM算法的第t次迭代中，β（t），σ2（t）和w（t），b（t）|xi更新如下：在E步中，固定βj，σ2和πij，并计算其经验。方程组的分量标识8πφ（y|βT（t）xσ2（t））形式上，给定训练数据集xi，yi（i= 1，· · ·，n）p（t+1）= [1+ijij ′ i j ′] − 1.（九）对于潜在变量z，其中z ∈ {1，. . . ，k}。映射ij从x到z是分类器函数T（t）2（t）j′/=jijijijp（z |x）= wT（x）+b，（4）在M步中，更新βj、σ2和πij，其中，k（·）是将输入空间映射到高/无限k′ ′的维度特征空间，例如，再生核希尔伯特空间（RPHS）从x到y的映射是一个回归（t+1）IJ=j′/=j[（wjj）T（xi）+bjj]+，（10）功能（t+1）exp（r（t）/2h2）y=βTxβ，（5）πij=πk（吨）（11）J在操作（1）中，下面，最大余量分区是βt+1j=1exp（rij/2h2）=（XG（t+1）XT）−1XG（t+1）YT，（12）用一对一多类分类解决[17]：j j j′min′′′1||wjj′||2+Cjj（六）2（t+1）JJJ（t+1）+Idy、（十三）wjj，bjj，jj2jj′ T jj′我jj′tr（Gj）（w ）（xi）+b（wjj′）T（x）+bjj′≥1−i，如果zi=j，jj′′1 +i，如果zi=j，哪里G（t+1）= diag（p（t+1），p（t+1），. . . ，p（t+1））。（十四）′吉吉 ≥0，j1j2j nj我其中j和j ′是类（j，j ′= 1，. . . ，k; jj ′）。在这里，Ek是一个小的正标量，它避免了E步中的数值不稳定性（等式10）。第9段）。SMMR训练算法的伪代码总结在算法1中。在 操作 (2) 、的 混合 比例函数计算样本xi的πj（x，w，b）（表示为πij）如下：对于任何j′j，如果xi属于要求：给定训练样本xi，yi（i= 1，···，n）：jth类，（wjj′）T（x）+bjj′>0，则r=1. 初始化回归k的个数。伊伊季Kj′/=j [（wjj）T（xi）+bjj]+以其确定性，2.对{xi，yi}s进行k均值聚类，以获得k个子把xi签到jth类。当f > 0 时 ，运算符[f]+=f;当 f ≤ 0时，运算符 [f]+=0。通过使用soft-max对rij进行归一化来计算混合比例πij技术：exp（r（t）/2h2）π=ij，（7）设置，并根据簇分配初始化πij，即πij= 1，如果xi被分配给第j个集群，否则πij=0。3. 使用每个子集中的样本来学习局部回归器，并初始化系数βj和σ2。4. 实现修改的EM算法：伊季什托克j=1exp（r（t）/2h2）对于每次迭代a. 计算E步骤中的pij（公式9）;Σk其中每个类π ij= p（z = j|x）π [0，1]，且π =1.一、 h是soft-max算子的带宽。 越大h，对于每个xi的分配越在操作（3）中，为了联合学习分类器和局部Rσ我=≤−43216536JJJ回归，SMMR的目标被写为对数似然函数b. 基于pij训练多类SVM模型，并通过公式rij计算混合比例;c. 更新M步中的π ij、βj和σ2（公式10-13）。端5.重复直到收敛。Σn（w，b，β，σ）=i=1Σk日志j=1π（xi，w，b）φ（y|βTxi，σ2），（八）M步优化了最大边缘分类器和加权线性回归，这只是增加了完整的似然函数。对于最大化对数似然函数（等式2），8），SMMR使用广义43216537JEM算法，并保证达到局部极小值。在上面的SMMR训练中，有三个参数要选择：分量数k、分类误差权重C和核带宽h。我们通过交叉验证选择了这些在训练数据上取得最佳结果的参数。给定一个测试输入xt∈dx，SMMR的输出yt∈dy计算为：y t= E[y t| x t]Σk图2显示了UCSD和EPFL-car数据集中的一些示例图像。对于MORPH数据库，我们只使用了来自GuodongGuo博士的生物启发特征（BIF）[21]，没有原始图像。5.2.最新技术水平比较使用三种主要方法获得了MORPH数据集[25]的最新结果：AAM特征[4]+非线性回归，BIF特征[21]+非线性回归[13]和基于CNN的方法[33，30，22]。SMMR使用BIF功能，=E[πtjφ（y|βTxt，σ2）]J Jj=1Σk=πtj·βTxt，（十五）它通常比AAM功能性能更好，见表1。一幅人脸图像的原始BIF特征是4376维。我们还遵循了[10]中的方法，使用边际函数哪里j=1exp（rtj/2h2）Fisher分析[31]。许多论文根据自己的实验方案报告了结果，这使得很难进行公平的评估。和πtj=πkj=1 exp（rtj、（十六）/2小时2）与其他方法比较。例如，[11，12]将数据分为三个子集，一个子集用于训练，其余两个子集用于测试。 他们报告了4。43rtj=克鲁姆克[（wjj）T（xt）+bjj]+.（十七）j′/=j和3. 分别为98例[6]仅选择5475sam-在他们的实验中。在我们的实验中，我们比较了遵循相同实验方案的方法：将整个数据集随机分为两部分：80%的5. 实验5.1. 基准数据集对于面部年龄估计，最常用的基准是纵向形态面部数据库（MORPH）[25]数据库。MORPH数据库包含了来自13000多个子类的55132张受试者的年龄从16岁到77岁不等，平均年龄为33岁这些面孔来自不同的 种族 ， 其中 非洲 面 孔约 占 77%， 欧洲 面 孔约 占19%，其余4%包括西班牙裔，亚裔，印度裔和其他种族。对于人群计数，我们使用了广泛使用的加州大学圣地亚哥分校行人数据集（UCSD-ped）[2]。该数据集包含从两个小时的视频中选择的2000帧。这段视频是从加州大学圣地亚哥分校校园的一个监控摄像头上收集的。所选帧平均包含25个行人，他们沿着走道。画面分辨率为158×238。对于视点估计，EPFL Multi-view Car（EPFL-car）数据集[23]。该数据集包含20个不同视角下的汽车序列数据集中有2299每个图像都带有一个边界框，指定汽车的位置。基于图像的拍摄时间来估计汽车的地面真实视角。视角范围从0°到360°。这些数据用于训练，另外20%的数据用于测试。训练数据和测试数据之间没有重叠对于统计分析，该程序使用5倍交叉验证完成。所有结果均以平均绝对误差（MAE）2的方差进行评价。表1.MORPH数据集上的面部年龄估计[25]。方法特征MaeRED-SVM[4]AAM6.49MTWGP[37]AAM6.28CA-SVR[6]AAM5.88[第10话]BIF4.87[30]第三十话CNN4.77[12]BIF4.73KPLS[11]BIF4.43LSVR[21]BIF4.31OHRank[5]BIF3.82葡萄牙语国家共同体[33]CNN3.63HSVR[14]BIF3.6[22]第二十二话CNN3.27SMMR（我们的）BIF3 .第三章。24432165382上述实验方案下表1中的CCA和LSVR结果由[22]提供。43216539A（gbe图2. UCSD数据库中用于人群计数的示例图像：UCSD校园监控摄像头记录的行人场景，以及用于视点估计的EPFL汽车数据集：旋转汽车的图像序列。从表1中可以得到四个观察结果：（1）对于标准非线性回归，分治法优于通用非线性：参见分层SVR（ HSVR ） [14]→ LSVR [21]和KPLS[11];（ 2 ） 对于CNN-的方法，分而治之的高层目标超越普遍目标：有序目标（OR-CNN [22]）→多尺度目 标 （ CPLF [33]→ 单 一 非 线 性 目 标 （ DLA+KSVR[30]）;（3）使用分治技术，标准非线性回归优于无分治（HSVR）的CNN→ DLA+KSVR），并且仅在使用有序对象（OR-CNN[22]）之后，基于CNN的方法才能获得更好的结果;（4）我们的SMMR方法产生了最好的结果，苏尔特它注意，这里只有RBF核在分区和线性局部回归，我们的软边缘技术是强大的，足以超过其他方法。以6个分区的效果最好分而治之是学习人脸非平稳年龄变化的关键因素。我们的SMMR方法有两个优势，比现有的分-和-500400300200100020654321205040302010020（一）40岁60 8040 60 80年龄40 60 80年龄征服方法：（1）SMMR联合学习重叠分区，并最小化每个分区中的回归误差。HSVR手动选择重叠的范围（例如，在[14]中，n = 5），这可能导致异构的局部分区和高局部回归误差。(2)SMMR将混合回归限制在软余量中，这防止了输出估计被局部密集采样支配HSVR和有序回归（OHRank和OR-CNN）都按年龄对输入数据进行分类，并且不可避免地偏向于具有密集样本的年龄范围。此外，有序重-回归训练m-1个二进制分类器，m是年龄的整数，这是耗时的，以调整参数。半径。为了说明上述优点的有效性，我们在图3中可视化了SMMR的训练和测试结果。图3（a）显示了数据样本（纵轴）相对于年龄（横轴）的直方图。调查对象以60岁以下的老年人为主，集中在20 ~ 40岁之间.图3（b）绘制了在训练中学习的6个分区中的样本（分区图3. 用于年龄估计的Morph数据集上SMMR的可视化。(a)关于年龄的数据样本直方图;（b）样本落在训练中学习的7个分区中（最佳颜色）;（c）测试中的累积年龄预测误差。色）。请注意，学习的分区在年龄上严重重叠。虽然SMMR学习均匀的局部分区，但样本的数量不一定均匀地分布在分区之间。图3（c）显示了测试中的累积预测误差。每个柱的高度表示一年范围内预测年龄误差的总和尽管样本分布不均匀（图3（a））和重叠分区不平衡（图3（b）），但SMMR能够在整个年龄范围（0至80岁）内产生均匀误差人群计数UCSD行人（UCSD-ped）数据集上的最新作品是通过通用回归方法获得的。这些方法使用29维低级别特征（分段特征，（UCSDEPFLCsomntples的数累积EartriovreError分区43216540表2. UCSD-ped数据集上的人群计数[2]。表3. EPFL-car数据集上的视点估计[23]。方法特征MaeMSE方法特征MaeMedAEKRR[1]设置2.167.45[29]第二十九话模糊三十三岁。98○11个国家。3○RR[7]设置2.257.82CGFM[8]SIFT31岁27○ -雷达[2]设置2.247.97KRF[15]生猪二十四岁24○-CA-RR[6]设置2.076.86HMA[36]生猪二十四岁00○-[35]第三十五话CNN1.603.31EGGM[9]SIFT23岁28○-SMMR（我们的）设置1.382.94SMMR（我们的）生猪12个。61○3 .第三章。52○最终边缘特征和纹理特征（SET））由[3]提供。我们比较了在[35]中相同实验设置下报告的五个最近回归结果。在表2中，这些回归方法是核岭回归（KRR）[1]、岭回归（RR）[7]、高斯过程回归（GPR）[2]、基 于 累 积 属 性 的 岭 回 归 （ CA-RR ） [6] 和 Crowd-Convolution Neural Networks（Crowd CNN）[35]。对于所有方法，从索引601到1400的帧被用作训练数据，并 且 剩 余 的 1200 帧 被 用 作 测 试 数 据 。 平 均 误 差（MAE）和均方误差（MSE）指标用于评估性能。32102 3 4 5 6 7 8 9 10 11组件数量图4. 在人群计数实验中SMMR对组分数k 最低MAE，1。38，当k= 8时实现。如表2所示，SMMR在MAE和MSE方面均显著注意这里SMMR在分区和线性局部回归中使用了RBF核，并在8个分区中获得了最佳结果。参数k的灵敏度如图所示。4.第一章值得注意的是，CA-RR和Crowd-CNN通过部分解决数据中的非均匀采样问题，比其他通用回归方法表现得更好。CA-RR将原始特征投影为（0-1值）累积特征3.221.851.831.721.871.661.531.641.551.38Mae43216541按人数划分的空间。该过程将人群计数范围之间的方差标准化，并产生加权岭回归（RR）。同样，Crowd-CNN将人群计数范围内的数据密度归一化。视点估计EPFL汽车数据集[23]上的许多最近的工作结合了边界框检测和视点估计。为了关注回归结果，我们只比较了使用地面实况边界框的五种方法。如表3所示，这些方法是基于特征嵌入的回归（FER）[29]、类生成特征模型（CGFM）[8]、K聚类回归模型（KRF）[15]、同胚流形分析（HMA）[36]和基于嵌入几何的生成模型（EGGM）[9]。所有比较的方法都使用前10个图像序列进行训练，其余10个序列进行测试。在比较的方法中报告了两个评价指标：平均角度误差（MAE）和中位角度误差（MedAE）。我们的方法使用了[15]中提出的相同输入特征：给定汽车的边界框，裁剪图像补丁并重新调整大小为64×64。多尺度方向直方图（HOG）特征的计算与细胞大小{8，16，32}和2×2细胞块。每个细胞的方向直方图是在9个方向箱中用符号梯度计算的。由此产生的HOG特征是2124维;最后，HOG特征通过边缘Fisher分析减少到50维[31]。考虑到视角范围（从0°到360°），欧氏距离不适合用于测量回归误差。例如，0○到350○之间的距离应小于0○到50○之间的距离。因此，在我们的实验中，1D视点角度输出空间由单位圆上的二维坐标表示。给定视点角度a，2D坐标是（y1，y2）=（sina，cosa）。2D输出用于训练和测试。在测试中对一个二维输出进行估计后，利用反正切2函数计算其视点角度。如表3所示，SMMR在MAE和MedAE方面均显著优于其他器械。注意这里SMMR在分区和线性局部回归中使用RBF核，并在7个分区中获得最佳结果。三个OB-43216542可以作出如下的保留：（1）分而治之的方法优于通用方法：KRF和HMA → FER。HMA为每个颜色通道建立一个同胚流形映射（例如，RGB），并结合三个流形的估计 KFR是一种分层方法，递归地将输出空间分割成一组不相交的分区，并使用随机搜索作为最终的回归模型;（2）软划分方法优于硬划分方法：EGGMSMMR →KRF。EGGM建立对象部分的图，并计算测试对象部分与graph.然后，软匹配分数被用作权重，以将部件的视点组合到测试对象的视点。SMMR使用软容差误差来加权局部回归器。而KRF固定聚类划分，通过分类对输入特征进行硬划分;（3）联合输入输出空间的划分效果更好比输出空间仅分区：SMMR → KRF。KRF仅在输出空间中使用k均值聚类，很难正确地对测试输入特征进行分类。另一方面，SMMR学习联合输入-输出空间中的分区，使得可以联合学习均匀且精确的局部6. 结论我们提出了SMMR来学习具有异构，非均匀采样和不连续特征空间的非线性回归，这些特征空间通常来自计算机视觉任务。SMMR是一种混合回归方法，它可以找到数据的同质分区，同时使用软余量混合来最小化分区边界的误差。对三个计算机视觉任务的实验表明，SMMR优于使用相同手工特征的标准非线性回归方法以及许多基于CNN的回归方法。请注意，在本文中，我们只使用标准的RBF核最大边缘分类器和线性局部回归器就取得了优异的结果。为了探索SMMR的全部潜力，我们计划尝试更多的局部回归，并将SMMR扩展为CNN的更高层目标7. 确认本出版物中报告的研究部分得到了美国国家科学基金会（National Science Foundation）的资助，资助额为RI-1617953。内容完全由作者负责，不一定代表国家科学基金会的官方引用[1] S. An，W. Liu和S.文卡特什基于核岭回归的人脸识别。在IEEE计算机视觉和模式识别会议上，第1 - 7页，2007年。[2] A. B. Chan，Z.-S. J. Liang和N.瓦斯康塞洛斯 隐私保护人群监测：没有人模型或跟踪的情况下计算人数。在IEEE计算机视觉和模式识别会议上，第1-7页[3] A. B. Chan和N.瓦斯康塞洛斯在统计低水平特征的人和回归的人。IEEE Transactions on Image Processing，21（4）：2160[4] K.- Y.昌角S.陈和Y.-洪伯。一种基于人脸图像的年龄估计 排 序 方 法 。 在 International Conference PatternRecognition，第3396- 3399页[5] K.- Y.昌角S.陈和Y.-洪伯。用于年龄估计的具有成本敏感性的有序超平面排序器。在IEEE计算机视觉和图案识别会议上，第585-592页[6] K. Chen，S.龚氏T. Xiang和C.换洛伊。用于年龄和人群密度估计的累积属性空间。在IEEE计算机视觉和模式识别会议上，第2467[7] K. Chen C.，马缨丹属C. Loy，S. Gong和T.翔局部人群计数的特征挖掘。英国机器视觉会议，第1卷，第3页，2012年。[8] M. 芬济湖Leal-Taix e'，B. Rosenhahn和J. 奥斯特曼基于特征回归的类生成模型在物体类别姿态估计中的应用在IEEE计算机视觉和模式识别会议上，第755[9] M. Fenzi和J.奥斯特曼在生成模型中嵌入几何学用于对象类别的姿态估计。英国机器视觉会议，第1卷，第3页，2014年。[10] X.耿角Yin和Z.- H.舟基于标签分布学习的人脸年龄估计 。 IEEE transactions on pattern analysis and machineintelligence，35（10）：2401[11] G. Guo和G. Mu.通过核偏最小二乘回归同时降维和人类年 龄 估 计 在 IEEE Conference on Computer Vision andPattern Recognition，第657-664页[12] G. Guo和G. Mu.年龄、性别和种族的联合估计：Cca vs.pls.在自动面部和手势识别研讨会中，第1-6页[13] G. Guo和C.张某跨人群年龄估计的研究。在IEEE计算机视觉和模式识别会议上，第4257-4263页[14] H.汉角，澳-地奥托，X。Liu和A. K.贾恩。根据面部图像进 行人 口统计 学估 计：人 与机 器的性 能。IEEEtransactionsonpatternanalysisandmachineintelligence，37（6）：1148[15] K. Hara和R.切拉帕按分类生长回归森林：应用于物体姿态估计。欧洲计算机视觉会议，第552-567页[16] K. 赫利湖，加-地Sigal和S.Scaroff在连续姿态空间中参数化对象欧洲计算机视觉会议，第450-465页[17] C.- W. Hsu和C.-J. 是林书多类支持向量机方法比较IEEEtransactions on Neural Networks，13（2）：41543216543[18] D. Huang，M. Storer，F. De la Torre和H.比肖夫用于连续头部姿态估计的改进局部子空间学习。在IEEE计算机视觉和模式识别会议（CVPR），2011年。[19] M. Huang和W.耀具有不同混合比例的混合回归模型：半 参 数 方 法 。 Journal of the American StatisticalAssociation，107（498）：711[20] M. I. Jordan和R. A.雅各布斯分层混合实验与em算法。神经计算，6（2）：181[21] G. Mu，G. Guo，Y. Fu和T. S.煌利用生物特征进行人类年龄估计。在IEEE计算机视觉和模式识别会议上，第112-119页[22] Z.牛，M.周湖，加-地Wang，X. Gao和G.华年龄估计的多输出cnn序回归。在IEEE计算机视觉和模式识别会议上，第4920-4928页[23] M. Ozuysal、V. Lepetit和P.呸用于类别特定的多视图对象定位的姿态估计。在IEEE计算机视觉和模式识别会议上，第778[24] B. 佩皮克山口Gehler，M.Stark和B.席勒3d 2pm-欧洲计算机视觉会议，第356-370页[25] K. Ricanek和T.特萨法耶Morph：正常成人年龄进展的纵向图像数据库。在自动面部和手势识别上，第341-345页[26] H. G.宋高斯混合回归和分类。博士论文，莱斯大学，2004年。[27] D.唐，H. Jin Chang，A. Tejani和T.- K. Kim.潜退林：三维关节手姿态的结构化估计。在IEEE Conference onComputer Vision and Pattern Recognition，第3786-3793页[28] D. Teney和J.彼得用于目标检测和连续姿态估计的多视图特征分布。计算机视觉和图像理解，125：265[29] M. Torki和A.埃尔加马尔从局部特征回归用于视点和姿态 估 计 。 在 International Conference on ComputerVision，第2603-2610页[30] X.王河，巴西-地Guo和C. Kambhamettu。用于年龄估计的 深 度 学 习 功 能 。 IEEEWinter Conference onApplications of Computer Vision，第534-541页[31] S. Yan，杨氏D.徐湾，澳-地张洪-张杰，Q. Yang和S.是林 书 图 嵌 入 和 扩 展 ： 降 维 的 一 般 框 架 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，29（1）：40[32] L. 杨，J.刘，和X。唐基于自掩蔽神经网络的目标检测和欧洲计算机视觉会议，第441-455页[33] D. Yi、Z. Lei和S. Z.李基于多尺度卷积网络的年龄估计。在亚洲计算机视觉会议上，第144-158页[34] D. S. Young和D. R.猎人具有预测依赖混合比例的混合回归。计算统计数据分析，54（10）：2253[35] C. Zhang，H. Li，X. Wang和X.杨通过深度卷积神经网络进行跨场景在IEEE计算机视觉和模式识别会议上，第833-841页[36] H. Zhang，T. El-Gaaly，A. M. Elgammal和Z.蒋使用同胚流形分析的联合目标和姿态识别。人工智能促进协会，第2卷，第5页，2013年。[37] Y. 张和DY. 杨用于个性化年龄估计的多任务变形高斯在IEEE计算机视觉和模式识别会议上，第2622- 2629页[38] M. Z.齐亚，M。斯塔克湾Schiele和K.辛德勒用于物体识别和建模的详细三维表示。IEEE transactions on patternanalysis and machine intelligence，35（11）：2608