FHDnn：面向AIoT网络的高效通信和鲁棒联邦学习

DAC ’22, July 10–14, 2022, San Francisco, CA, USA© 2022 Copyright held by the owner/author(s).ACM ISBN 978-1-4503-9142-9/22/07.https://doi.org/10.1145/3489517.3530394370FHDnn：面向AIoT网络的通信高效和鲁棒的联邦学习0Rishikanth Chandrasekaran*，Kazim Ergun*，Jihyun Lee，Dhanush Nanjunda，Jaeyoung Kang，TajanaRosing加利福尼亚大学圣地亚哥分校计算机科学与工程系，La Jolla，CA 92093{r3chandr，kergun，h0l003，dnanjund，j5kang，tajana}@ucsd.edu0摘要物联网的出现和边缘计算的进步激发了联邦学习，这是一种分布式算法，用于实现设备上的学习。传输成本、不可靠的网络和有限的计算能力，这些都是物联网网络的典型特征，对联邦学习构成了严重的瓶颈。在这项工作中，我们提出了FHDnn，这是一个协同的联邦学习框架，结合了CNN和超维计算的显著特点。FHDnn通过对从自我监督对比学习框架中提取的特征进行超维学习，加速训练，降低通信成本，并通过避免传输CNN，仅训练超维分量来增加对网络错误的鲁棒性。通过实验证明，与CNN相比，FHDnn将通信成本降低了66倍，本地客户端计算和能量消耗降低了1.5-6倍，同时在准确性方面具有高度的鲁棒性。0CCS概念•计算方法→机器学习。0关键词 超维计算，联邦学习0ACM参考格式：Rishikanth Chandrasekaran*，KazimErgun*，Jihyun Lee，Dhanush Nanjunda，JaeyoungKang，TajanaRosing。2022年。FHDnn：面向AIoT网络的通信高效和鲁棒的联邦学习。在第59届ACM/IEEE设计自动化会议（DAC '22）（DAC'22）的论文集中，2022年7月10日至14日，美国加利福尼亚州旧金山。ACM，纽约，美国，6页。https://doi.org/10.1145/3489517.3530394 1引言一组分布式边缘设备彼此通信并共享数据，被称为物联网（IoT）。这些边缘设备拥有丰富的数据资源，利用这些资源可以实现各种智能应用，如智能城市[15][2]和AI辅助农业[18]。然而，数据的私密性和敏感性以及高昂的传输成本常常阻止了将数据集中到云端。边缘计算的最新进展使得分布式计算成为设备上处理的一种思想。联邦学习（FL）[17]就是这样一种分布式学习范式。FL通过在每个设备上使用可见数据进行本地模型训练，然后对所有参与设备的模型进行平均来学习机器学习模型，而无需将数据集中。0*两位作者对这项研究做出了相等的贡献0图1：FHDnn与CNN在联邦学习中的传输成本对比，不可靠的网络和设备上的有限计算能力给FL带来了重大挑战。之前的研究[4,5]探索了模型压缩方法和dropout技术，通过减小模型更新的大小来降低通信成本。然而，这些方法没有考虑到物联网网络的非理想性，假设可靠的无损通信，因此既不具备对网络错误的鲁棒性，也不提供收敛的保证。此外，物联网通常使用低功耗广域网（LP-WAN）来节省边缘设备的能量，但其带宽有限，丢包率高，没有复杂的编码方案，使得FL容易出错。我们提出了FHDnn，这是一个新颖的联邦学习框架，它结合了深度学习和超维计算（HDC）[11]这两种不同的学习范式。深度学习在学习复杂特征层次结构方面表现出色，并具有高准确性，但通常需要使用GPU进行训练，计算成本较高。另一方面，HDC具有轻量级训练的特点，使用分布式低精度表示上的简单操作，对错误具有固有的鲁棒性。然而，由于无法自动学习特征，它们的准确性不如深度学习。FHDnn结合了这两种学习方法的互补显著特点，实现了一个轻量级高鲁棒性的FL框架，解决了上述每个挑战。在这项工作中，我们将自己限制在图像分类问题上，这是物联网中常见的应用。FHDnn使用预训练的卷积神经网络（CNN）作为特征提取器，将其输出编码为超向量，然后用于训练联邦HD学习器。具体而言，我们利用使用SimCLR[6]对CNN进行训练，这是一个对图像进行自我监督学习的对比学习框架，可以很好地推广到多个数据集上。FHDnn避免了传输CNN，而是仅以联邦方式训练HD分类器。这种简单的策略加速了学习，降低了传输成本，并利用了HDC的固有鲁棒性来解决网络错误，如图1所示。在这项工作中，我们详细介绍了FHDnn的架构，并在各种设置下系统地比较了FHDnn与CNN的性能。我们总结了以下主要贡献：•我们提出了FHDnn，这是一种新颖的FL策略，对有损网络传输具有鲁棒性，训练非常轻量级，并且收敛更快。0本作品采用知识共享署名国际4.0许可协议进行许可。380DAC '22，2022年7月10日至14日，美国加利福尼亚州旧金山，Rishi和Kazim等人0图2：FHDnn模型架构0•通过大量实验证明，FHDnn对有损网络条件具有鲁棒性。具体而言，我们在三种不可靠的网络设置下评估了FHDnn：丢包、注入噪声和比特错误。•我们证明了我们的方法将通信成本降低了66倍，并将客户端上的本地计算成本降低了最多6倍，同时对有损传输具有鲁棒性。2背景和动机2.1物联网网络物联网网络通常涉及大量在低功耗广域网（LP-WAN）上运行的电池操作边缘设备。LPWAN网络具有有限的带宽、窄频谱，并且通常由于计算成本和功耗限制而缺乏任何先进的调制方案。此外，由于存在丢包，网络性能较差，且在这些网络中丢包非常普遍[19，20]。一项研究[16]表明，重传不理想，因为它会进一步增加能量消耗并降低网络性能，因为容量有限。然而，[9]表明，容忍20%的丢包率可以提高能源效率和网络容量。2.2联邦学习中的挑战0通信效率：FL涉及多轮通信，通常直到达到目标测试准确性为止。每一轮，参与的客户端将其模型发送到服务器。复杂的模型，如CNN，包含数百万个参数，导致大型更新。FL通常需要多轮才能收敛到最优，这进一步加剧了通信成本。有损传输：如上所述，物联网网络通常是不可靠的，这会给模型更新添加噪声，导致收敛问题。特别是CNN对权重的噪声不具有鲁棒性，如[3]所示。无法收敛会导致准确性下降，而更长的收敛时间会导致增加的通信成本。资源限制：物联网网络中常见的电池操作边缘设备具有有限的功耗和计算预算。基于CNN的FL方法要求边缘设备在每一轮训练中执行设备上的反向传播，这在计算上是昂贵的，会产生高资源使用率。3提出的方法：FHDnn03.1模型架构0图2显示了FHDnn的模型架构。在下面的子节中，我们详细介绍了FHDnn的两个组成部分：i）预训练的CNN作为特征提取器，ii）联邦HD学习器，以及训练方法。0图3：FHDnn联邦训练03.2特征提取器0在理论上，任何标准的CNN都可以用作特征提取器，但由于其显著的特点，我们使用预训练的SimCLRResnet模型作为我们的特征提取器。SimCLR[6]是一种对比学习框架，通过最大化单个图像的不同增强的潜在空间表示之间的相似性来自我监督地学习图像的表示。这种与类别无关的框架在大型图像数据集上进行训练，允许在多个数据集上进行迁移学习（如[6]中评估），使其成为通用特征提取器的理想选择。标准的CNN学习的表示是经过微调以优化网络末端密集分类器的分类性能。由于SimCLR专注于学习通用表示而不是面向分类的表示，它是更好的特征提取器的选择。请注意，由于预训练模型的可用性，我们选择了ResNet架构。可以使用其他模型，如MobileNet，这些模型更适合具有资源限制的边缘设备。3.3HD学习者HDC是一种基于生物学可行的数据表示模型的计算范式[12]。HD通过将数据编码为非常大维度的低精度向量（文献中称为超向量）来工作。HD分类器使用绑定和捆绑操作在这些向量上进行操作，这些操作简单且高度可并行化。在这里，我们关注的是对神经网络输出的编码。我们使用[10]中提出的一种基于随机投影概念的编码方法。该方法在将数据量化之前，将数据嵌入到高维欧几里得空间中的随机线性映射下。更正式地说，给定一个点�∈X，使用特征提取器�：X→Z从中提取特征��Z�。HD嵌入构造为�(�)=sign(Φ�)，其中�：Z→H是编码函数，其行Φ∈R�×�是通过从�维单位球中随机采样方向生成的。sign(Φ�)是逐元素的符号函数，如果Φ�≥0，则返回+1，否则返回-1。3.4联邦训练0图3总结了 FHDnn 的联邦训练过程。3.4.1客户端本地训练：每个客户端最初都有一个特征提取器 � 和一个未经训练的HD学习器。一旦我们使用上述方法获得编码的超向量，我们通过将相应类别的超向量捆绑在一起来创建类别原型，使用 c � = � � h ��。推理是通过计算给定编码数据点与每个原型之间的余弦相似度度量来进行的，返回具有最大相似度的类别。在这个一次性学习过程之后，我们通过从误预测的类别原型中减去超向量并将其添加到正确的原型中来迭代地改进类别原型，如图2所示。我们将完整的 HD 模型 C定义为类别超向量的串联，即 C = [ c � 1 , c � 2 , ..., c �� ]。3.5.1Noisy Aggregation. Conventional systems use source and chan-nel coding to ensure reliability which are often unavailable in LPWANnetworks. For noisy aggregation, as an alternative to the conventionalpipeline, we assume uncoded transmission. This scheme bypasses thetransformation of the model to a sequence of bits, which then need tobe mapped again to complex-valued channel inputs. Instead, the realmodel parameter values are directly mapped to the complex-valuedsamples transmitted over the channel. Leveraging the properties ofuncoded transmission, we can treat the channel as formulated inEquation (2), where the additive noise is directly applied to modelparameters. The channel output received by the server for client 𝑘 atround 𝑡 is given by˜C𝑘𝑡 = C𝑘𝑡 + n𝑘𝑡(2)Φ𝑖,1 ˜h𝑖, 1𝑑Φ𝑖,2 ˜h𝑖, ..., 1𝑑390FHDnn：通信高效且鲁棒的物联网联邦学习 DAC '22，2022年7月10日至14日，美国加利福尼亚州旧金山0C � + 1 =03.4.2 联邦捆绑：在联邦捆绑框架中，每个客户端都维护自己的 HD模型，并以分布式方式参与构建全局模型。通过迭代训练过程实现，下面我们描述算法的一轮（假设为 � -th）。 (1)广播：中央服务器将最新的全局 HD 模型 C � 广播给所有客户端。 (2)本地更新：每个参与的客户端 � ∈ [ � ] 设置自己的模型 C � � = C�，然后使用本地数据进行 � 轮训练，如 3.4.1 中所述。 (3)聚合：中央服务器接收并聚合本地模型以生成新的全局模型：0� = 1 C �+ 1 . (1)0聚合后，服务器进入下一轮 � + 1。直到达到足够的收敛为止。3.5FL在不可靠信道上的超高清神经网络联邦学习通常在衰减传输信号和引入噪声以及数据包丢失的无线信道上进行。中心服务器被假设能够以任意速率可靠地广播模型，无误差地进行广播，这是许多最近的工作中的常见假设。对于上行通信，由于共享无线介质，每个客户端的信道容量更受限且不可靠，即使在非常低的速率下也是如此。分配给每个客户端的带宽随着客户端数量的增加而减少，容量也随之减少。因此，可以可靠传输的数据量，即吞吐量，按 1 / �缩放。这意味着数据速率将很小，导致训练速度缓慢，除非增加传输功率，但考虑到能源消耗问题，这是不可取的。我们不限制速率以实现无误差通信，而是允许服务器的信道输出中存在错误，因为 FHDnn可以在一定程度上容忍客户端模型的扰动。如果模型对错误具有鲁棒性，则不需要完全可靠的传输。因此，我们分析FHDnn，假设客户端在不可靠的信道上进行通信并且传输的模型被损坏。我们考虑网络堆栈的不同层次上的三个错误模型。所有模型在实践中都适用，取决于底层协议。我们首先探索 HD计算的性质，使得学习在考虑的错误模型下具有鲁棒性，然后介绍不同的技术以进一步改进。0图4：超维编码的噪声鲁棒性0其中 n � � � N（0，� 2 �,�）是 � × �维的加性噪声。然后，信噪比（SNR）为：0��� �,� = E0E ∥ n � � ∥ 20� 2 �,�（3）0联邦捆绑的一个直接结果是全局模型的SNR改善。当来自不同客户端的类超向量在服务器上捆绑时，信号功率随着客户端数 �的平方增加，而噪声功率线性增加。假设每个客户端的噪声是独立的，我们有以下关系：0��� � =0E ∥ � � � = 1 n � � ∥ ≈ � 2 � �,�0�� 2 �,� = � × ��� �,�（4）0请注意，由于捆绑，噪声的影响被 �倍抑制。这个结论也适用于CNN上的FedAvg框架。然而，尽管噪声减小的因子相同，但是小噪声的影响可能会被CNN层的大激活放大。在FHDnn中，我们没有这样的问题，因为推理和训练操作是纯线性的。FHDnn与CNN的另一个区别是其信息分散特性。HD编码产生具有全息表示的超向量，这意味着信息内容在高维空间的所有维度上分布。由于每个维度上的噪声也可以假定是独立的，我们可以利用信息的分散性进一步消除噪声。考虑第3.3节中描述的随机投影编码。将编码矩阵 Φ ∈ R �× � 表示为其 � 行向量的形式，即 Φ = [ Φ 1 , Φ 2 , ..., Φ � ] �。然后，由编码信息 � ∈ X 形成的超向量可以写成 h = [ Φ � 1 �, Φ � 2 �,..., Φ � � � ] � ，其中 � = [ � 1 ,� 2 , ...,� � ] �。根据这个表达式，信息均匀地分散在超向量上。现在考虑在相同超向量上的加性噪声，使得 h + n = [ Φ � 1 � + � 1 , Φ � 2 � + � 2 , ..., Φ � � � + � � ] �。我们可以从带噪声的超向量中重构编码信息，即 ˜ h = h +n，如下所示：0� ≈ � 1 �0� = 1 Φ �,� ˜ h � �（5）0其中 ˜ h � = Φ � � � + � �是带噪声超向量的元素。噪声方差通过平均操作减小，类似于方程（4）中的情况。因此，在HD计算中，噪声不仅通过捆绑来抑制来自不同客户端模型的噪声，而且还通过在同一超向量的维度上进行平均来抑制噪声。我们通过一个示例来演示这一点，我们对MNIST数据集中的样本进行编码，添加高斯噪声，然后进行重构。图4显示了原始图像、样本空间中的噪声图像以及在超维空间中添加噪声的重构图像。03.5.2比特错误。在传统编码传输中，我们使用比特错误率（BER）作为系统鲁棒性的一个指标。它是接收器解码传输数据的准确性的度量。错误是接收到的数字符号中的比特翻转，并且可以通过信道编码器的输入比特流和信道解码器的输出比特流之间的差异（通常是汉明距离）来简单地评估。设 ˆ c 为二进制编码的模型参数，400DAC '22，2022年7月10日至14日，美国加利福尼亚州旧金山，Rishi和Kazim等人。0将数据传输到服务器。对于比特错误模型，我们将信道视为二进制对称信道（BSC），它以概率 � � 独立地翻转 ˆ c 中的每个比特（例如，0 →1）。客户端 � 在第 � 轮的服务器接收到的比特流输出如下：˜ˆC � � = ˆC � �⊕ e � �（6），其中 e � � 是二进制错误向量，⊕ 表示模 2加法。给定特定的汉明重量为 wt(v) 的向量 v，e � � = v的概率如下所示：0P(e � � = v) = �wt(v)�(1-� �)�-wt(v) (7)位错误概率��是调制方案和信道编码技术的函数（假设无损源编码）。为了完成传输，使用公式（6）中的受损比特流。0最终将其重构为实值模型，即˜ˆC � � → ˜C ��。位错误对训练准确性有不利影响，尤其是对于CNNs。在最坏的情况下，一个客户端在一个回合中的单个位错误可能导致整个训练失败。我们举一个例子，展示了一个单个位错误对标准32位浮点CNN权重的影响有多大。在浮点表示法中，一个数字由三部分组成：符号位、指数和小数值。在IEEE754浮点表示中，符号位是最高有效位，位31到24保存指数值，剩余位包含小数值。指数位表示从-127到128的二的幂。小数位存储一个介于1和2之间的值，乘以2的指数值得到十进制值。我们的例子显示，指数中的一个位错误可以将权重值从0.15625更改为5.31×10^37。位错误是具有传染性的，因为一个客户端的参数被聚合到全局模型中，然后传回给所有客户端。此外，错误会在所有通信回合中传播，因为本地训练或聚合不会完全改变参数值，而只是应用小的减量。例如，假设一个联邦学习场景有100个客户端，并且一个客户端的模型中有一个位错误，如上面的例子。经过10轮训练后，全局模型的CNN权重将达到约5.31×10^37的数量级。0100 10 =5.31×10^17，仍然完全导致整个模型失败。考虑ResNet-50，它有2000万个参数，因此即使在� � =10^-9的误码率信道上训练100个客户端，每轮平均会出现两个错误，使得模型失败是不可避免的。HD模型参数也存在类似的问题，但程度较轻，因为类原型使用整数表示。特别是，在整数表示的最高有效位（MSB）中出现错误会导致更高的准确性下降。我们提出了一种量化器解决方案来防止这种情况。受通信系统中经典量化方法的启发，我们利用发射机和接收机中的自动增益控制（AGC）模块进行放大和缩小操作。对于一个类超向量c �, � ∈ {1, ..., �}，量化器输出�(c�)可以通过以下步骤获得：（1）放大：类超向量中的每个维度，即��,�，都使用称为量化增益�的缩放因子放大。我们调整增益，使具有最大绝对值的维度达到整数表示可达到的最大值。因此，� = 2^�-1-1/max(��)，其中�是位宽。（2）四舍五入：将放大后的值截断，只保留其整数部分。（3）缩小：接收机输出通过与相同因子�缩小得到。0图5：部分信息对相似性检查（左）和分类准确性（右）的影响0这样，位错误被应用于放大后的值。直观地说，我们限制了位错误对模型的影响。请记住，根据第3.4.1节的描述，预测是通过编码查询和类超向量之间的归一化点积实现的。因此，原始参数与接收到的（受损的）参数之间的比率决定了错误对点积的影响。在没有我们的量化器的情况下，这个比率可能非常大，而在放大后再缩小后，它被减小了。03.5.3数据包丢失。在网络堆栈的物理层，观察到以加性噪声或位翻转的形式出现的错误直接作用于传输的数据。另一方面，在网络和传输层，引入了数据包丢失。网络和协议规范的组合允许我们描述错误特性，数据传输过程必须应对这些特性。允许的错误形式，无论是位错误还是数据包丢失，由错误控制机制决定。对于先前的错误模型，我们假设位错误可以通过传输层次结构传播。这个假设对于在能够处理这些位错误的错误容忍应用中使用的一类协议族是有效的。在某些协议中，系统对任意数量的位错误的反应是丢弃损坏的数据包。这些协议使用循环冗余校验（CRC）或校验和来检测位错误。在这种情况下，通信可以假设是无误码的，但是丢包率较高的链路。我们使用数据包错误率（PER）指标作为性能度量，其期望值表示为数据包错误概率 � �。对于长度为 � � 位的数据包，这个概率可以表示为：� �  =  1  − ( 1  −  � �) � � (8)处理数据包丢失并保证成功传递的常见解决方案是使用可靠的传输层通信协议，例如传输控制协议（TCP），其中包括确认消息、重传和超时等各种机制。为了检测和恢复传输故障，这些机制会产生相当大的通信开销。因此，对于我们的设置，我们采用用户数据报协议（UDP），另一种广泛使用的传输层协议。UDP是不可靠的，无法保证数据包的传递，但是延迟低且开销比TCP小得多。HD计算的信息分散和全息表示特性对于数据包丢失也是有益的。这些概念的另一个直接结果是从编码信息的任何部分获得部分信息。直觉是，全息编码信息的任何部分都代表了整个数据的模糊图像。然后，每个传输的符号 -在我们的情况下是数据包 -包含整个模型的编码图像。我们使用语音识别数据集[1]作为示例来演示获取部分信息的属性。在图5(a)中，在训练模型之后，我们以随机方式逐渐删除某个类别超向量的维度。然后，我们执行相似性检查，以确定检索到原始点积值的哪个部分。同样的图表显示，即使删除了80%的超向量维度，只要对于正确类别具有最高的点积值，就可以以约90%的准确率进行分类。3.6FHDnn的收敛性能通常更喜欢具有平滑、强凸、可微分的模型，以保持联邦学习的可证明、分析可追踪的收敛分析。这样的模型还提供比其他模型更快的收敛性能。FHDnn中的学习计算是线性的，需要低复杂度的操作，因此非常适合资源受限、低功耗的客户端设备。然而，在许多学习任务中，与基于CNN的方法相比，线性联邦学习模型的性能表现不佳。FHDnn在这方面与传统的线性方法不同。它既享受非线性模型的优越性能特性，又具有线性模型的低计算复杂度。这是HD计算的直接结果，它将数据嵌入到一个高维空间中，其中的几何性质使得简单的学习方法有效。HD训练中的线性性有助于收敛，同时由于非线性超维嵌入的特性，性能不会降低。将FHDnn作为分布式优化解决方案时，具有以下特性：L-平滑性、强凸性、有界方差和均匀有界梯度。先前已经证明满足这些条件的方法以 O( 1etRaspberry Pi858.721328.044418.46742.8Nvidia Jetson15.9690.5596.17497.572410FHDnn：面向AIoT网络的通信高效和鲁棒联邦学习 DAC '22，2022年7月10日至14日，美国加利福尼亚州旧金山0图6：不同超参数下的准确率和通信轮数0维度。图5(b)进一步阐明了我们的观察结果。我们比较了所有类别的点积值，并找到具有最高相似性的类别超向量。对于分类来说，只有相对点积值是重要的。因此，即使删除了80%的超向量维度，只要对于正确类别具有最高的点积值，就可以以约90%的准确率进行分类。3.6FHDnn的收敛性能通常更喜欢具有平滑、强凸、可微分的模型，以保持联邦学习的可证明、分析可追踪的收敛分析。这样的模型还提供比其他模型更快的收敛性能。FHDnn中的学习计算是线性的，需要低复杂度的操作，因此非常适合资源受限、低功耗的客户端设备。然而，在许多学习任务中，与基于CNN的方法相比，线性联邦学习模型的性能表现不佳。FHDnn在这方面与传统的线性方法不同。它既享受非线性模型的优越性能特性，又具有线性模型的低计算复杂度。这是HD计算的直接结果，它将数据嵌入到一个高维空间中，其中的几何性质使得简单的学习方法有效。HD训练中的线性性有助于收敛，同时由于非线性超维嵌入的特性，性能不会降低。将FHDnn作为分布式优化解决方案时，具有以下特性：L-平滑性、强凸性、有界方差和均匀有界梯度。先前已经证明满足这些条件的方法以 O( 10� )  [ 14 ]。由于非凸性和非线性，不能对CNN做出这样的断言。4实验分析我们通过系统实验展示了FHDnn在不同设置下的性能。在呈现FHDnn在可靠通信的各种数据分布下的结果之前，我们简要讨论数据集和FHDnn评估的设置。我们还比较了FHDnn与CNN的资源使用情况。最后，我们展示了在各种不可靠网络场景下的评估结果。4.1数据集和平台我们在3个不同的真实世界数据集上评估FHDnn：MNIST[ 7 ]，FashionMNIST[ 21 ]，CIFAR10 [ 13]。为了性能评估，我们在树莓派3b型号和NVIDIAJetson移动GPU上测试了FHDnn。我们使用Python和PyTorch来实现所有模型。对于MNIST，我们使用一个由2个卷积层和2个全连接层组成的简单网络。对于CIFAR10和FashionMNIST，我们使用ResNet-18模型[8]。4.2准确性和计算我们首先调整了FHDnn和CNN的超参数，并通过实验 �, �,�的影响进行分析，其中 � 是0图7：FHDnn和ResNet在不同数据集上的准确性表1：边缘设备上的性能0设备训练时间（秒）能量（焦耳）0本地轮数，� 本地批量大小和 �每轮参与的客户端比例。为了使实验可行，我们使用100个客户端和100轮通信。我们为ResNet选择最佳参数，并在所有实验中使用相同的参数来进行FHDnn的直接比较。04.2.1准确性。图7比较了FHDnn和ResNet在100轮通信中在3个不同数据集上的准确性。我们观察到，在相同轮数下，FHDnn几乎达到了与ResNet相同的准确性，并且收敛更快。图6显示了两个模型在iid和非iid数据分布下所有不同超参数的平滑条件均值。FHDnn在不到25轮通信中就达到了82％的准确性，而ResNet在iid和非iid数据分布下都需要75轮。此外，对于FHDnn来说，超参数没有太大的影响，如图6中的较窄范围（灰色区域）所示。请注意，由于其训练方法的性质，本地批量大小 �不会影响FHDnn，这使得我们可以使用更大的批量大小，以加快处理速度，而 � 影响CNN的收敛性。04.2.2计算资源。客户端上最耗费计算资源的操作是训练。CNN训练涉及到每一轮的反向传播，非常昂贵。另一方面，FHD是非常轻量级的，如表1所示，该表定量比较了FHDnn和ResNet在2个边缘设备上进行客户端训练的计算时间。在树莓派上，FHDnn比ResNet快35％，能效更高，在Jetson移动GPU上比ResNet快80％，能效更高。4.3不可靠的通信在本节中，我们分析了FHDnn和ResNet在不可靠的网络条件下的性能，如第3.5节所述。图8显示了模型在每种网络条件下的性能。为了保持CNN和FHDnn之间的直接比较，我们对两个模型和所有实验使用相同的超参数。我们使用 � = 2 , � = 0 . 2 , � = 10并在CIFAR10数据集上评估性能。从我们的实验中，我们观察到即使使用较少的客户端 � = 0 . 1和其他数据集，FHDnn的性能也优于ResNet。由于页面限制，我们只呈现了之前提到的设置的结果。04.3.1 丢包率。当丢包率非常小，低于1 � − 2时，ResNet的准确性损失非常小。然而，对于更现实的丢包率，如20％，CNN模型无法收敛。20％的丢包率意味着20％的权重为零。此外，由于模型在每轮通信中进行平均，这种损失是累积的，从而使CNN没有机会进行学习。420DAC '22，2022年7月10日至14日，美国加利福尼亚州旧金山 Rishi和Kazim等人0图8：在不可靠的网络条件下，FHDnn与ResNet的准确性比较0与恢复相比，FHDnn对数据包丢失具有很高的鲁棒性，几乎不会导致准确率下降。对于FHDnn来说，由于数据在整个超向量中均匀分布，少量的丢失数据是可以容忍的。然而，由于CNN对数据具有更结构化的表示，神经元之间存在相互连接，权重的丢失会影响后续层的性能，对其性能有害。04.3.2高斯噪声。我们通过不同的信噪比（SNR）进行实验，以模拟噪声链路。即使对于较低的SNR（如25dB），ResNet的准确率也会下降8%。然而，物联网网络在低功耗无线网络上运行时很可能会产生更高的SNR。对于这种情况，FHDnn优于ResNet，因为后者无法比随机更好地执行。FHDnn的准确率仅降低了3%，与ResNet相比可以忽略不计。04.3.3位错误。图8显示，即使对于小的位错误，CNN也能达到随机准确率。由于CNN的权重是浮点数，一个位翻转可以显著改变权重的值。这与联邦平均相结合会阻碍收敛。我们观察到FHDnn也会导致准确率下降，iid情况下为72%，非iid情况下为69%。FHDnn使用整数表示，同样容易受到位错误的影响而发生较大变化。然而，我们在第3.5.2节中描述的缩放方法在一定程度上缓解了错误。40到目前为止，我们已经对FHDnn在各种网络条件下的准确性进行了基准测试。在本节中，我们展示了FHDnn与ResNet的通信效率。我们比较了达到80%目标准确率所传输的数据量。我们使用公式 ���� ��������计算每个客户端传输的数据量。ResNet具有1100万个参数，更新大小为22MB，而FHDnn的更新大小为1MB，使其小了22倍。根据第4.2.1节的结果，我们知道FHDnn的收敛速度比ResNet快3倍，从而将其总通信成本降低到25MB。而ResNet则需要使用1.65GB的数据才能达到目标准确率。在图6中，我们说明了FHDnn可以在更少的通信轮次内收敛到最佳准确率。然而，从实际的训练时间来看，这种改进更为明显。我们假设联邦学习在SNR为5dB的LTE网络上进行，每个客户端在时分双工的方式下占用一个5MHz带宽和10ms持续时间的LTE帧。对于无错误的通信，使用ResNet的传统FL系统可以支持高达1.6Mbits/sec的数据速率，而我们允许错误并以5.0Mbits/sec的速率进行通信。在这种设置下，对于与第4.2节相同的实验，FHDnn在CIFAR IID上平均收敛时间为1.1小时，在CIFARNon-IID上平均收敛时间为3.3小时。另一方面，ResNet在CIFARIID和CIFAR Non-IID上的平均收敛时间为374.3小时。05 结论在这项工作中，我们提出了FHDnn，这是一个结合了深度学习和高维计算的联邦学习框架，旨在提高边缘设备上的通信效率并降低计算成本。我们详细介绍了架构、训练方法，并通过大量实验在可靠和不可靠的通信环境中评估了FHDnn，并将其性能与标准CNN进行了比较。我们的实验结果显示，FHDnn的通信效率提高了66倍，客户端计算成本降低了6倍，同时对网络错误具有鲁棒性。致谢本工作部分得到了CRISP的支持，CRISP是JUMP的六个中心之一（JUMP是DARPA赞助的SRC计划），还得到了SRC全球研究合作（GRC）资助和NSF资助项目#1911095、#1826967、#2100237和#2112167的支持。参考文献0[1]  [n. d.]. UCI机器学习库。http://archive.ics.uci.edu/ml/datasets/ ISOLET。[2]  GaneshAnanthanarayanan等。2017。实时视频分析：边缘计算的杀手级应用。计算机50,10（2017），58–67。[3]  Austin PArechiga等。2018。现代深度学习架构对单事件故障错误的鲁棒性。在2018年IEEE高性能极端计算会议（HPEC）中。IEEE，1–6。[4]  NaderBouacida等。2021。自适应联邦丢失：提高联邦学习的通信效率和泛化能力。在INFOCOMWKSHPS中。IEEE，1–6。[5]  SebastianCaldas等。2019。通过减少客户端资源需求扩展联邦学习的范围。arXiv:1812.07210（2019年1月）。[6]  TingChen等。2020。对视觉表示进行对比学习的简单框架。在国际机器学习会议上。PMLR，1597–1607。[7]  LiDeng。2012。用于机器学习研究的手写数字图像的mnist数据库。IEEE信号处理杂志29,6（2012），141–142。[8]  KaimingHe等。2016。用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议上的论文集中。770–778。[9]  PanHu等。2020。Starfish：用于AIoT相机的弹性图像压缩。ACM，纽约，美国，395–408。[10]  Mohsen Imani等。[n.d.]。Bric：基于局部性的编码用于高能效脑启发式超维计算。在2019年第56届年度设计自动化会议的论文集中。[11]  PenttiKanerva。2009。超维计算：分布式表示中的计算导论与高维随机向量。认知计算1,2（2009年6月），139–159。[12]  PenttiKanerva。2009。超维计算：分布式表示中的计算导论与高维随机向量。认知计算1,2（2009年），139–159。[13]  Alex Krizhevsky，GeoffreyHinton等。2009。从小图像学习多层特征。 （2009）。[14]  XiangLi等。2019。关于非独立同分布数据上FedAvg的收敛性。arXiv预印本arXiv:1907.02189（2019）。[15]  Franz Loewenherz等。2017。面向零视觉的视频分析。交通工程师学会。ITEJournal 87, 3（2017），25。[16]  Paul J.Marcelis等。2017。通过应用层编码实现的数据恢复用于LoRaWAN。在IoTDI中。97–108。[17]  H Brendan McMahan等。2016。从分散数据中高效学习深度网络的通信。（2016），10。[18]  Shadi ANoghabi等。2020。边缘计算的新兴格局。GetMobile：移动计算和通信23,4（2020），11–20。[19]  Juha Petäjäjärvi等。2016。评估LoRaLPWAN技术用于远程健康和福祉监测。在ISMICT中。[20]  ShuaiTong等。2020。使用非平稳信号缩放来解决LPWAN中的数据包碰撞。在第18届国际移动系统、应用和服务会议论文集中。234–246。[21]  HanXiao等。2017。时尚-MNIST：用于基准机器学习算法的新型图像数据集。arXiv:cs.LG/1708.07747 [cs.LG]