智能耳机插件HeadFi：基于驱动器多功能传感器的设计与实验验证

147摘要HeadFi：为所有耳机带来智能范晓冉★，上官龙飞，Siddharth Rupavatharam<$张彦勇，熊杰，马云飞<$，Richard Howard<$★三星人工智能中心，纽约，微软，罗格斯大学，中国科学技术大学、马萨诸塞大学阿默斯特分校、阿里巴巴集团随着新功能（例如，基于触摸的手势控制）出现。这些功能通常依赖于辅助传感器（例如，加速度计和陀螺仪）。然而，对于那些没有这种传感器的耳机来说，支持这些功能成为一项艰巨的任务 。 本 文 介 绍 了 HeadFi ， 一 种 新 的 设 计 参 数 ， 使 智 能 耳机.HeadFi没有在耳机中添加辅助传感器，而是将所有耳机中随时可用的一对驱动器转变为多功能传感器，以实现跨越移动健康，用户界面和上下文感知的新应用。 HeadFi作为连接耳机和配对设备的插件外设工作（例如，智能手机）。这种设计的简单性（可以简单到只有两个电阻器）和小形状因数使其本身适合作为集成电路嵌入配对设备中我们设想HeadFi可以作为现有智能耳机设计的重要补充解决方案，直接将大量现有的“哑”耳机转换为智能耳机。 我们在PCB上制作了HeadFi原型，并根据机构审查委员会（IRB）的协议，使用54对非智能耳机对53名志愿者进行了广泛的实验。结果显示，HeadFi在用户识别上的准确率可达97.2%-99.5%，在心率监测上的准确率可达96.8%-99.2%，在手势识别上的准确率可达97.7%-99.3%。CCS概念• 以人为中心的计算→移动计算;·硬件→新兴接口。关键词可穿戴计算，可穿戴设备，用户识别，心率监测，触摸手势控制，语音通信ACM参考格式：FanXiaoran★ ， LongfeiShanghai ， SiddharthRupavatharam<$ ，YanyongZhang ， JieXiong ， Yunfei Ma<$ ， Richard Howard<$.2021 年HeadFi：为所有耳机带来智能。在10月25日至29日举行的第27届移动计算和网络国际年会（ACM WEBCOM '21）上，★这项工作是在作者在罗格斯大学时完成的*通讯作者。本作品采用知识共享署名国际4.0许可协议进行许可图1：HeadFi原型的图示HeadFi作为一种插入式外设工作，连接一副耳机和智能手机。它捕捉耳机驱动器上的微小电压变化，并将电压读数卸载到智能手机进行处理。HeadFi可以小型化，并进一步嵌入到智能手机作为集成电路。2021年，美国路易斯安那州新奥尔良ACM，美国纽约州纽约市，13页。http：//doi.org/10.1145/3447993.34486241介绍耳机1是世界范围内最受欢迎的可穿戴设备之一，预计在未来几年将保持领先地位[8]。近来，将智能化引入耳机的趋势日益增长。例如，Apple Airpods [18]和三星Galaxy Buds [17]将麦克风放在耳朵内或附近，以实现主动噪音消除和音频个性化。微软Surface耳机[14]和BOSE QC35耳机[11]等运动感应耳机利用嵌入式传感器实现耳上触摸控制，允许用户播放或暂停音频，并唤醒语音助理（例如，、Siri、Alexa和Cortana）。 借助微型惯性传感器，耳机现在甚至可以采集呼吸和心率监测的生命体征[27]。现有的智能耳机都是基于先进的硬件组件（主要是嵌入式传感器）。然而，统计数据显示，2019年出货的消费者耳机中有超过99%没有配备嵌入式传感器，超过43%的消费者耳机甚至没有麦克风[7，47]。因此，消费者必须购买一副带有嵌入式传感器的新智能耳机才能享受传感功能。在本文中，我们提出了以下问题：将手中的非智能耳机转换为智能耳机，而无需重新设计耳机或添加嵌入式传感器？一个积极的答案将使消费者能够以最低的成本享受他们的“哑”耳机的智能功能。更重要的是，2021年10月25日至29日，美国路易斯安那州新奥尔良市，ACM ISBN 978-1-4503-8342-4/21/10。https://doi.org/10.1145/3447993.34486241我们使用耳机来代表入耳式（），耳挂式（a.k.a. 耳上型）和环脑型（a.k.a. 、耳上式）（）监听设备贯穿全文。HeadFi2021年10月25日至29日，美国路易斯安那州新奥尔良市，X. 范湖，澳-地Shanghai，S.Rupavatharam，Y.张，J.Xiong，Y.Ma和R.霍华德148−将现有的大量非智能头戴式耳机改造成智能头戴式耳机，为实现空前规模的可穿戴智能铺平道路。我们试图回答这个问题，提出的设计和实施的HeadFi的低功耗和低成本的外设，可以方便地插入到一个设备（如一个人的智能手机），使众多的智能功能的非智能耳机。我们的解决方案是为耳机用户提供智能功能的替代方法HeadFi与现有智能耳机设计的不同之处在于以下两个关键方面。首先，它使用耳机，特别是已经在耳机内部的一对驱动器2，作为多功能传感器，而不是添加辅助传感器来实现智能特征。其次，它用作插入式外设，连接耳机和配对设备（例如，智能手机）。HeadFi利用耳机与周围环境之间的耦合效应来实现新功能。例如，当用户佩戴一副耳机时，耳机、耳道和鼓膜将耦合在一起以形成对压力变化极其敏感的半密闭空间 通过轻轻触摸引起的耳机振动，可以在外部引起压力变化。类似地，内部生理活动（如心跳）会导致耳道中血管的反复变形，从而改变半封闭空间内的压力。 由于耳机上测得的电压会受到这些压力变化的影响（§2.1），因此我们可以利用电压变化来检测外部和细微的内部生理变化。为了实现这一高层次的想法，我们需要解决技术和实施方面的挑战。从技术的角度来看，主要的挑战来自于测量由压力变化引起的电压的微小耳机上的电压测量值由音频输入信号（例如，音乐）和激励信号。然而，在实践中，激励信号是弱的，可以很容易地被掩埋在音频输入信号是数量级强（在第2.2节中讨论）。从可用性的角度来看，我们的设计不应该打破耳机的外观和内部结构。此外，由于耳机通常由移动设备驱动，因此我们的设计也应该是低功耗的，零功耗或可忽略不计的功耗。为了应对这些挑战，我们受到了一种零测量电路设计的启发--惠斯通电桥。最初惠斯通电桥是用来通过平衡电桥的两臂来测量未知的电阻。在HeadFi中，我们重新使用了麦石电桥来消除音频输入信号的强干扰，以测量激励信号引起的电压的细微变化具体地，耳机的左右两个驱动器使用耳机的立体声护套连接到桥的两个臂。一旦电桥平衡，其输出电压就不会随着音频输入信号的变化而变化另一方面，该电桥的输出电压仍然随着耳机周围的压力变化而变化，这受到手触摸和生理活动等激励信号的影响。使用惠斯通电桥检测微小激励信号提供了优于现有高精度方法的多个优点[29，31，39，40，62]。首先，它提供了一个高的测量灵敏度，因为它是一个纯粹的无源电路，因此受热噪声相比，有源电路。其次，该电桥的固有差分电路设置消除了强音频输入信号，而没有任何开销。第三，它仅由两个简单的无源电阻组成这种设计的简单性使其易于小型化并嵌入到移动设备中。综上所述，本文做出了以下贡献：我们确定了使用头戴式耳机内部的驱动程序来实现智能功能的可行性这个想法可能会将现有的非智能耳机以前所未有的规模转变为智能耳机。我们提出一个简单而有效的电路设计来实现这个想法。我们的设计使用纯无源元件，成本极低（即，按比例制造时为50美分我们设想将其集成到配对设备中（例如，智能手机）。我们的测量研究表明，HeadFi对现有音频输出的音质几乎没有影响（§2.4.3）。我们建立了一个概念验证原型，并进行了深入的实验。这些实验涉及53名志愿者和54副耳机，估计价格从2.99美元到15，000美元不等我们进一步展示了非智能耳机上的四种类型的智能应用：用户识别、基于触摸的手势控制、生理传感和无麦克风语音通信。我们相信HeadFi的潜力远不止这些。虽然HeadFi目前的原型是用于有线耳机，但通过将小型化电路放在放大器和数模转换器（DAC）之间，该设计可以轻松扩展到无线耳机本文的其余部分组织如下：第2节介绍了设计和性能验证。我们在第3节6中展示了四个智能应用程序。 我们将在第7节讨论相关工作，并在第8节讨论可能的改进。 结论见第9节。2将耳机转变为传感器HeadFi使用耳机内的一对驱动器作为多功能传感器来实现上述功能从本质上讲，扬声器和麦克风原则上是互惠的[1]。对于没有内置麦克风的头戴式耳机，直观的解决方案将是将扬声器3变成麦克风以捕获这些激励信号。然而，由于以下两个原因，这种解决方案在我们的情况下不起作用。首先，扬声器转换的麦克风的灵敏度不如内置麦克风，因为耳机中的振膜经过良好校准以播放声音而不是录音[49]。第二，激励信号是微弱的，并且将被掩埋在更高数量级的音乐信号中。我们没有将扬声器转换成麦克风，而是探索耳机与周围环境之间的耦合效应，并设计了一个差分电路，2与计算机硬件驱动程序不同，耳机驱动程序是一种电容式电子元件，可将声音向下驱动到耳道。3驱动器是耳机中扬声器的关键部件，因此驱动器和扬声器在本文中可互换使用。···HeadFi：为所有耳机带来智能2021年10月25日至29日，美国路易斯安那州新奥尔良市，149））的情况）））Z耳机耳机+他Z耳道Z型鼓膜图2：耳机工作原理示意图捕捉微小的电压变化。2.1耦合效应建模耳机中的驱动器通过内置磁铁振动空气，将电能转化为声音我们把通过耳机音圈的交变电压我������������知道了 如图2所示，由电压变化感应的洛伦兹力来回拉动音圈，然后驱动振膜推动空气。 通过这种方式，电信号被转换成声音。请注意，这个过程是相互的，即耳机隔膜周围的气压变化也会改变 耳机的������������阻抗������������。交流电压由三个因素决定���������������������������tors：���音频输入信号的电能（例如，音乐）;耳机驱动器的等效阻抗（阻抗）;以及耳机隔膜处的气压（气压）������������������������ ������������������������ ���������在这里，我们采取的情况下，当用户戴上耳机来说明这个概念。当用户戴上耳机时，耳机将覆盖用户的半封闭内耳，如图3（左）所示。然后耳机、耳道和鼓膜耦合在一起，以建立一个压力场，该压力场可以通过双端口戴维南等效网络[43]进行建模，如图3（右）所示该模型中使用的变量定义见表1。阻抗之间的关系������并且该网络中的压力脉动可以建模如下：图3：耳结构（左）和双端口戴维南等效网络（右）。���������������耳机������������：耳机的戴维南压力。你好，我是������������说， 耳机的等效阻抗：鼓膜戴维南压。：鼓膜的等效阻抗。：耳道戴维南压。：耳道的等效阻抗。表1：戴维南等效网络中变量的定义如何���������������������������以准确和非侵入性的方式测量电导率的细微变化？ 采用通用电压表测量���工频������������电压������������，往往不方便。另一方面，构建专用电压表将不可避免地增加便携式耳机的重量、尺寸和成本 更糟糕的是，电压表的准确性受到工作耳机的强磁干扰[ 26 ]。此外，由于有限的分辨率和校准偏移，仪表读数包含不确定性。如何���������������������������在存在强音频输入信号的情况下捕捉激励信号引起的振幅的微小变化？���振幅���������������������随激励信号和音频输入信号而变化。不幸的是，激励信号可以容易地被掩埋在音频信号中，这是更大的数量级。如图4、图5和图6所示，输入音频信号（音乐）为几百毫伏的量级，而电压变化引起的在大多数情况下，用户的语音所产生的电压4=（一）测量电压的这种微小变化即使在���ℎ������������ ℎ���������������������������������������+ℎ������������ ℎ������������没有强音频输入信号，因为测量从上面的方程中，我们可以看到，耳道������������阻抗随戴维南压力 和 戴 维 南 ������������ 压 力 以 及 耳 道 阻 抗 的 变 化 而 变 化������������������������������������������������������ 这三个因素都受到人为激励信号的影响。例如，当用户触摸耳机的外壳时，该触摸将驱动外壳振动，从而影响戴维南压力���������������好������������吧类似地，诸如呼吸和心跳的生理活动将引起耳道中的血管的重复变形并改变���������������������������。此外，耳道的大小和形状因人而异[43，59]。因此，耳道���������������������������作为���������������耳机������������与耳机之间存在线性关系 ������������������������，因此我们可以利用 ������������耳机������������来感知人与耳机的互动和生理活动。注意耦合效应仍然存在当未佩戴耳机时（第2.4.4节）。在这种情况下，耳机与周围环境耦合。2.2挑战为了实现这一高层次的想法，我们面临两个基本挑战：精度与电压值有关例如，测量从3. 三 比三与从0开始的更改相比，2 更不容易出错。1 到0 ，即使变化量相同（0。1分）。这种差异是由于电子电路的性质更容易受到噪声和0Ω附近的变化的影响。作为主流方法，差分放大器已被用于检测电压的微小变化[12，45，61]。然而，这些设计中的稳定电路操作伴随着其自身的设计挑战。例如，它们都建立在庞大的电路上，并且要求输入和输出负载在频率上很好地匹配[24]。此外，由于大输入电阻引起的热噪声[23，35]，这些设计还遭受来自前置放大器的强噪声，以及来自两个大数字（信号和参考）之间的减法过程的额外误差，以测量小差异。4数据由AKG K240s耳机测量锥E耳机磁体声波（机械信号）线圈输入声波膜片（电子信号）P耳道P鼓膜耳道Z耳道广告电话 -Z耳机+++-P耳机外耳道P鼓膜--二端口P2021年10月25日至29日，美国路易斯安那州新奥尔良市，X. 范湖，澳-地Shanghai，S.Rupavatharam，Y.张，J.Xiong，Y.Ma和R.霍华德150）））−（音V在R1R2VGC1微调电位Cx耳机驱动器图4：对着耳机讲话引起���������������������������2.3零测量图5：敲击耳机引起���的������������杂音������������。图6：���������������������������播放一段音乐引起的噪音。电路.图7：麦石桥的测量结果。我们利用一个无源的零测量电路-惠斯通电桥，以检测微小������������的变化的频率。���惠斯通电桥底漆。 惠斯通电桥由两个分压器臂组成，每个分压器臂由两个连接电源和接地端子的简单电阻组成。最初，这种电桥用于测量未知电阻（小至几毫欧），方法是调整微调电位器，直到两臂达到平衡状态（即，，输出电压为零）[34]。 如图7所示，���1和���2是两个相同的桥臂电阻。未知负载是未知负载，而微调器是微调器。微调电位器1被调谐，直到其阻抗等于电桥的阻抗，从而���形成 在这种平衡状态下，这两个负载上的电压相同，导致零电压输出（ ���= 0）。阻抗的任何微小变化������都会改变负载上的电压，打破电桥的平衡，导致非零电压输出（即，，2000）。���用电桥检测微小电压。在HeadFi中，我们重新利用惠斯通电桥来消除强音频输入信号，并测量由激励信号引起的我们用耳机的驱动程序替换桥接器中的未知负载������。音频输入（例如，音乐信号）作为该电桥的电压源��������� 一旦电桥平衡，电压输出������变为零。音频输入信号的变化���������不会打破电桥的平衡。然而，正如我们在第2.1节中提到的，由人类手势和生理活动引起的激励信号本质上打破了电桥的平衡，并改变了测量的电压（������������ 基 波������������）。更重要的是，惠斯通电桥对耳机的电压变化因此，我们可以利用该电桥的电压输出������变化来检测非常细微的激励信号。使用惠斯通电桥来测量微扰振荡������������器的变化相对于基于差分放大器的设计具有三个关键优势������它对微小的电压变化很敏感，因此它使我们能够检测到非常微弱的激励信号。根据Kirch- hoff���������������5电压变化与耳机阻抗变化呈线性关系平衡惠斯通电桥。为了测量微扰的微小变化���������������������������，首先要平衡惠斯通电桥。音频输入信号是在从20 Hz到20 kHz的整个可听频带上变化的宽带AC信号为了在这个可听频带上平衡电桥，微调电位器���1应该被调谐以匹配������-耳机驱动器的负载。因此，RQ1应该是RLC类型的电路以匹配驱动器���然而，在实践中，这种平衡机制是不可扩展的，因为不同的耳机具有显著不同的驱动器阻抗值。相反，我们利用驱动程序的对称性来解决这个问题。耳机的驱动器是成对的（即，在耳机的左侧和右侧为了确保良好的用户体验，每对驱动器在制造过程中都会进行细粒度校准，以确保两个驱动器的阻抗完全相同。 基于这种直觉，HeadFi 用耳机中的第二个驱动器取代了trimpot1，从而自然地平衡了电桥，而无需引入任何复杂的调谐电路。的物理解释������。耳机中的一对驱动器被接线为同相以用于相干立体声AC信号。请注意，当两个驱动器取代了驱动器1和驱动器2时，在左驱动器驱动器1和右驱动器驱动器2处测得的到达电桥的电压是反相的。���������������������������������也就是说，电压输出���桥的弯曲体现了弯曲���������和弯曲的区别：��������������������� = ���������������������������0���。 在一些应用中（例如，心跳和呼吸监测），激励信号由耳机中的两个驱动器拾取因此，一个关键问题是由激励信号引起的电压变化是否被电桥消除而不被检测到，即，，m=0.���实际上，激励信号通常通过不同的路径到达这两个驱动器因此，我们认为，���������������好���������������吧因此，HeadFi仍然可以利用这种差分电压测量来检测微小的激励信号。我们相信，使用惠斯通电桥将致动器对的响应转换为传感信号的广义概念例如，可以使用电桥来消除控制信号并检测碰撞引起的细微机械振动[30]。硬件实现。图8示出了HeadFi的示意图。 我们将PCB板上的HeadFi原型作为插件外围设备，通过两个标准立体声3.5 mm插孔连接耳机和智能手机。用户可以使用开关E11手动打开/关闭HeadFi，这允许输入音频信号通过/绕过桥接器。101和102是两个相同的50欧姆HeadFi：为所有耳机带来智能2021年10月25日至29日，美国路易斯安那州新奥尔良市，151））（）（）耳机(a) （b）跨54的归一化FRSS的CDF54副耳机。耳机。图8：HeadFi示意图图9：耳机的一部分图10：我们的图11：评估HeadFi对（a）直接激励信号和（b）间接激励信号的灵敏度。2.4.1直接激励信号的检测灵敏度。大多数可测量的应用依赖于直接激励信号的测量，例如：、生理活动（§4）、基于触摸的手势（§5）和人类语音信号（§6）。 我们现在证明HeadFi的灵敏度足够高，可以检测到这些直接激励信号。我们employ飞利浦MC 175C扬声器和多对耳机的基准实验。耳机戴在E.A.R.S假人头部[15]距离扬声器20cm，如图10所示。扬声器广播1 kHz正弦音调，激励信号。此信号的音量设置为60 dBA-a在我们的实验中使用。基准实验值接近1 m外的聊天量[13]。请注意，即使是在耳机上的一个电阻器. 该电桥的输出连接到低功率放大器，该放大器可以由智能手机中的内置放大器取代。 通过此设置，输出电压信号������将通过音频电缆自动发送到智能手机。 然而，智能手机中的ADC不会对来自其音频插孔的信号进行采样，除非它检测到麦克风的存在。麦克风检测是通过测量插入此音频插孔的设备的阻抗来实现的麦克风的阻抗为千欧级只要检测到大阻抗，就认为检测到麦克风然而，HeadFi中放大器的输出阻抗小于100 Ω。因此，我们在HeadFi上添加了一个大电阻������（5 kΩ），以欺骗智能手机，就像麦克风存在一样。制造成本。 我们的原型包括两个无源电阻和放大器，因此其成本将是非常低的（<50美分）时，规模制造。另一方面，该板的功耗来自放大器（例如，，0. 2mW），可以通过使用智能手机中的专用低功率放大器进一步降低。2.4基准评价我们进行基准实验来回答以下两个问题：HeadFi是否足够灵敏，可以捕捉到细微的电压 变化？HeadFi是否会影响输出音频信号的音质？这些基准实验涉及54对比这个音调信号更重要HeadFi连接到耳机上，并我们在所有54副耳机上重复这个实验，并在图11（a）中绘制RSS测量的经验CDF。 对于COM，我们还测量了扬声器不发送任何激励信号时的RSS值。我们观察到，在没有激励信号的情况下，归一化RSS读数的中值约为0.09。在存在弱激励信号时，它跳到0.44存在激励信号时的最低RSS值为0.14，其仍然高于不存在激励信号时的最大RSS值 这些结果表明，HeadFi足够灵敏，可以检测到即使是微小的激励信号。2.4.2间接激励信号的检测灵敏度 某些应用不产生直接激励信号。例如，为了检测用户是否戴上耳机，智能手机本身需要发出声学信号。然后，HeadFi会记录这个信号的反射，以感知周围的环境。在这个基准实验中，我们对智能手机进行编程，使其发出频率从20 Hz到20 kHz线性变化的啁啾信号。然后HeadFi记录反射信号的RSS注意，由于RSS值只能针对单个频率获得，因此对于频率变化的啁啾信号，我们定义了新的度量通过考虑整个线性调频脉冲频带上的响应���.−1==0在实验中 这些测试耳机的列表及其详细信息见附录。其中，λ1和λ2是当移动电话+5VCSVin+VoutINA126开关V桥R1旁路右驾驶员RL输出（音频）开关S1输入在RgR2左驾驶员V在-CS-5V不同的一万五图9显示了所涉及的耳机的照片|���（������二���）|(2)2021年10月25日至29日，美国路易斯安那州新奥尔良市，X. 范湖，澳-地Shanghai，S.Rupavatharam，Y.张，J.Xiong，Y.Ma和R.霍华德152(a) HeadFi对头部的影响-（b）累积规格的快照-（a）轻敲外壳（b）呼吸空气到驱动器手机的频率响应（FR）。光谱衰变（CSD）。图12：HeadFi对耳机的影响（a）分别在有和没有HeadFi的情况下，高质量（Sennheiser HD600，399.95美元）和低质量（MackieMC150，49.0美元）耳机的FR（b）政府统计处拍摄的Mackie MC150。头戴式耳机分别打开和关闭假人头部 是DFT频率仓的数量。我们首先将一副耳机放在假人头上，并记录HeadFi的输出，如图10所示。然后，我们将耳机从假人头上取下，并再次记录HeadFi的输出。我们重复这个实验54次，每次更换耳机图11（b）显示了正常-图13：耳机放在桌子上时的时域信号（a）用手指轻敲外壳，（b）向驾驶员提供呼吸（a）发射和接收的啁啾（b）发射的频谱图-当耳机打开和关闭时，所有54副耳机的仿真头为了比较，我们时域信号ted chirp信号还绘制了当两个测量值都是用假人头上的耳机获得时的差异 我们可以在图11（b）中看到两条曲线之间的明显差距，表明HeadFi可以拾取耳机周围的环境变化。请注意，该图包括来自所有54副耳机的数据。对于单副耳机来说，差距甚至更大。 结果表明，HeadFi足够灵敏，可以捕捉间接激励信号的微小变化。我们对用户识别的评估表明，HeadFi的灵敏度甚至足以通过分析两个双胞胎女孩独特的耳道来区分她们（第3.2.2节）。2.4.3对输出音频信号音质的影响 人们可能会担心HeadFi会污染输出信号（例如，、音乐），因为它将耳机和配对设备连接起来，就好像它断开了音频链一样。我们在MiniDSP上放了两种耳机E.A.R.S模拟头，并测量这些耳机在存在和不存在HeadFi（用于比较）的情况下的频率响应（FR）。图12（a）显示了结果。我们观察到两个FR曲线对于两个耳机示出非常相似的模式，指示HeadFi不影响头戴式耳机的频率响应。两个FR曲线之间的间隙指示电信号在HeadFi存在的情况下经历较大的衰减。因此，用户将听到稍弱的声音，但信号质量不受影响。 这是由于音乐信号通过HeadFi时的额外电压损失。 我们进一步测量了低质量Mackie MC- 150耳机的累积光谱衰减（CSD）来验证这一观察结果。 CSD是用于测量耳机驱动器性能的标准度量。如图12（b）所示，我们观察到两个CSD快照表现出非常相似的模式，表明HeadFi对输出信号的音质影响最小。另一个问题是，对于低端耳机（例如，，MSRP $2），左驱动器和右驱动器可能不完全匹配，并且两个简单的电阻器可能不匹配。图14：线性调频信号的图示。(a)时域中的发射（顶部）和接收线性调频信号（b）一秒内频率从20 Hz到20 kHz的发射啁啾的频谱图能够完全消除音频信号 为了解决这个问题，一个可能的解决方案是在调零电路中添加一个自动平衡RLC电位器，它可以调整两侧电阻的值，以重新平衡HeadFi中的电桥。2.4.4当用户不戴耳机时，HeadFi仍然可以工作。请注意，HeadFi不需要由用户佩戴才能工作。当耳机未被用户佩戴时，基于压力场的细粒度感测能力仍然第2.1节中提到的耦合效应现在出现在耳机和周围环境之间。来自环境的任何外部激励仍然可以改变该压力场并干扰耦合。因此，当用户不佩戴耳机时，HeadFi仍然可以工作。为了验证这一点，我们将一副耳机放在桌子上，并进行两个实验来证明HeadFi的感测能力：（i）感测细微的手指触摸和（ii）感测由嘴引起的气流图13显示了时域信号，我们可以看到HeadFi能够检测这两种类型的外部激励。3用户标识我们首先演示HeadFi可以用于用户身份识别。 主流的识别方法--人脸识别，在光线不好的情况下或者当用户佩戴标记时，效果不佳。HeadFi可用于检查用户身份并解锁手机（配对设备），而无需考虑照明条件。人脸识别也会引发隐私问题，而HeadFi可以在不拍照的情况下识别用户。麦基MC150- W HeadFi- W/O HeadFi森海塞尔HD600- W HeadFi- W/O HeadFiW headFiW/O headFiHeadFi：为所有耳机带来智能2021年10月25日至29日，美国路易斯安那州新奥尔良市，153≥(a)iHip Bud先生（3.6美元）（b）拜亚动力T1（999美元）图15：三个人的通道响应，特征为（a）低端和（b）高端耳机。3.1信号处理理想情况下，身份识别服务应该是非侵入性的，即，只要用户戴上耳机，它应该会自动触发因此，我们的设计应该能够）检测用户是否戴上耳机并且）自动识别用户。耳机开关检测。我们的设计灵感来自于贝壳共振效应[37]：当贝壳紧贴耳朵时，环境噪声会在贝壳的空腔内共振，某些频率的噪声会被放大。因此，人们可以听到贝壳发出的类似海潮的声音。类似地，一旦用户戴上耳机，耳机、耳道和鼓膜就建立起一个共振室，放大周围的声学噪声。这种放大的噪声导致在HeadFi处测量的更高电压信号输出基于这一观察，我们使用RSS及其标准差（ ）进行ON-OFF检测。 当用户戴上耳机时，这两个值急剧跳变。识别. 由于耳机现在可以同时发送和接收，我们现在可以使用耳机主动探测耳道响应。具体来说，智能手机通过耳机发送啁啾信号，以描绘用户的内耳结构。耳机的两个驱动器接收表征耳道信道响应的回波信号。图14（a）和14（b）分别示出了时域和频域中的线性调频信号当HeadFi测量耳机的两个驱动器之间的电压差时，人们可能想知道来自左耳的信道响应是否抵消了来自右耳的信道响应有趣的是，耳朵相关的生理独特性不仅存在于两个用户之间，而且存在于同一个人的两个耳朵之间[38，41]。因此，在两只耳朵处测量的信道响应将不相同。 图15显示了HeadFi在三个不同人身上测量的信道响应。 我们可以看到，在高于3 kHz的频带中，信道响应显著不同。这是因为人耳之间的生理差异是在亚厘米级的尺度上，这可以通过具有亚厘米（3 kHz）波长的信号来拾取。并采用了一个运放（INA126）来控制输出电平。因此，即使激励信号很弱，HeadFi也可以恢复清晰的回声。概念验证作为一个概念验证，我们使用支持向量机（SVM），一个轻量级的用户识别分类器。具体来说，我们收集用户的回声啁啾的多个副本作为正样本。然后，我们通过将耳机放在E.A.R.S假人头上来收集相同数量的阴性样本。图16：ON-OFF检测图17：精密度测试(a) FAR（b）FRR图18：四个分类器的识别性能。(a)FAR结果。(b)FRR结果。最后，我们训练一个二进制SVM分类器并执行三重交叉验证[213.2实验实验涉及27名参与者（7名女性和20名男性），其中包括一对同卵双胞胎。默认情况下，我们使用杰斯U-JAYS超耳耳机（MSRP$19.99）作为测试设备。在整个实验中，啁啾持续时间为一秒参与者被要求戴上耳机，然后在我们每次记录回声啁啾时取下耳机我们为25名参与者中的每一个记录了50次回声啁啾，为双胞胎中的每一个记录了100次回声啁啾。3.2.1开-关检测。 我们首先评估了54副耳机的ON- OFF检测的成功率。我们进一步根据耳机类型将结果分为五组，并在图16中显示结果。 我们观察到，在所有五种类型的耳机中，成功率始终很高（>97.93%）。特别是IEM耳机的成功率最高（平均99.8%），因为这种类型的耳机更深入耳道，因此受噪音影响较小。3.2.2用户标识。接下来，我们评估用户识别的性能。 在每个实验中，我们采用 倍（ =5）交叉验证来证明系统的性能。我们采用精度[28]作为评估指标。高精度值表示只有授权用户才能成功通过验证。图17显示了不同啁啾带宽设置下的精度 当啁啾带宽相对较小时（例如，，<4 kHz），我们观察到的精度随着增加啁啾带宽。当我们进一步将带宽增加到15 kHz时，精度在95%左右波动。然后，当频率带宽超过15 kHz时，它下降到90%左右这样的精度变化是由于在多轮戴上耳机期间的细微变化：2021年10月25日至29日，美国路易斯安那州新奥尔良市，X. 范湖，澳-地Shanghai，S.Rupavatharam，Y.张，J.Xiong，Y.Ma和R.霍华德154.���★（）下一页·地面实况预测共计38000人三万八千表2：双胞胎女孩的混淆矩阵。结果采用多重交叉验证。状态静坐移动头吃饭走路财政资源比率（%）3.64 4.75 5.15 8.75(a) 之前和之后的电压输出-（b）ACF图和时域-表3：人体运动的影响称为滤波。干扰高频（高于15 kHz）信号，干扰用户识别。 根据这项研究的建议，我们采用100 Hz至10 kHz的频带作为默认啁啾带宽。我们排除了100 Hz以下的频带，因为大多数机械运动引起的噪声都在这个频率范围内。不同分类器的影响。接下来，我们评估了四个分类器，朴素贝叶斯（NB） ，最近邻（KNN），决策树（DT）和SVM的识别性能。我们调查并报告了错误接受率（FAR）和错误拒绝率（FRR）。 如图18（a）和18（b）所示，SVM在FAR和FRR方面都实现了最佳性能。我们设想可以应用更先进的学习技术，如DNN，以进一步提高识别性能。区分双胞胎我们进一步对两个26岁的同卵双胞胎女孩进行了用户识别实验识别双胞胎是一项挑战，因为他们有着非常相似的生理特征。然而，如表2中的混淆矩阵所示，双胞胎的识别性能与其他个体相当（95%的成功率）。注意，我们为每对双胞胎收集了100个回声啁啾。因此，我们在倍交叉验证中对每个个体进行了总共38000次分类测试 。人类运动的影响。 当受试者坐着不动，移动她的头，吃东西和走路时，我们进行用户识别。结果示于表3中。我们观察到，较大的身体移动破坏了用户识别性能。特别是图19：（a）滤波后心跳信号变得清晰（b）采用ACF来计算心跳率（上图）和身体运动引起的时域干扰的示例（下图）。识别准确度下降了7%4生理感测接下来，我们展示了应用HeadFi检测细微生理信号的可行性。生命生理体征传感在人体健康监测中起着关键作用 HeadFi可以使用户能够连续准确地监测各种关键生理活动（例如，心率）使用他们的非智能耳机。下面我们以心跳监测为例进行说明。4.1信号处理由于耳道中细微的血管变形引起的极弱的激励信号，监测心跳具有挑战性如图19（a）（顶部）所示，这种微小的激励信号可能被埋在噪声中并受到用户运动的干扰。 为了解决这一挑战，我们首先将HeadFi输出的信号通过具有极低截止频率（=24 Hz）的低通滤波器，以去除由音频输入信号的回声和环境激励引入的高频噪声。结果示于图19（a）（底部）中。然后，我们利用自相关函数（ACF）来识别与心跳速率相对应的周期性：HeadFi在受试者坐着不动时实现了最低的错误拒绝率。 错误拒绝率随着用户开始移动而增加，例如，吃东西走路或移动头部这预计1���−1−���������( )= −���（ ）（ + ）。（三）因为耳机可能随着人的运动而移动并改变信道响应。长期用户识别。我们进一步跟踪一名志愿者超过两个月，并记录用户识别性能随时间的变化。结果示于表4中。观察到两个月内识别精度从96.45%逐渐下降到92.17%。我们怀疑这背后的原因是这个主题的生理特征随着时间的推移而变化例如，耳朵中的液体可以改变耳道的频率响应，这会为了验证这一假设，我们在淋浴后进行用户识别，时间基准一天一周 一 个月两个月平均精度（%）96.45 95.20 94.51 93.26 92.17表4：随时间的鉴别性能。其中，HeadFi是从HeadFi输出的信号的副本，滞后 是接收信号的长度图19（b）（顶部）示出了自相关输出的示例。峰值的位置反映了一个心跳周期的时间段盲目地列举所有的选择，希望找到峰值是计算困难的。它还可能引入假阳性。因此，我们根据人类可能的心率（35 - 200 bpm [58]）设置了上限（）和下限（）。我们的目标可以用下面的函数表示：���★= arg max���������（ ）.（四）���⊆(���,���)然后，我们使用以下公式计算心率：60kHz，其中kHz为采样率。然而，在现实中，身体运动也可能引入强的激励信号，其可以压倒分钟心跳信号，如图19（b）（底部）所示。因此，我们将来自HeadFi的电压输出截断为=0用户一用户二用户一36，018（94.8%）1，982（5.2%）用户二1，831（4.8%）36，169（95.2%）HeadFi：为所有耳机带来智能2021年10月25日至29日，美国路易斯安那州新奥尔良市，155））−–）−））−图20：当低于50 Hz时，心脏起搏器监测的心率较低。窗口，并计算每个窗口内的然后，我们应用离群值检测算法[53]来过滤掉这些离群值估计，并对剩余的估计进行平均以获得心率。4.2实验在本节中，我们将评估心率监测的性能。每次测量持续40秒。我们使用4秒的窗口大小截断记录会话，重叠2秒。 我们在两种情况下测量参与者的心率： 音频输入信号打开（即，在测试期间听音乐）;并且音频输入信号关闭。通过CONTEC CMS50D1A脉搏血氧仪[6]获得地面实况。我们使用错误率（ER）来衡量性能，我们的心跳监测的mance：������= |���������− ������|得双曲余切值������.���(a) 环境噪音的影响（b）身体运动的影响图21：心跳速率估计的错误率。(a)我们measure- sure的错误率在没有（前三列）和存