光谱分析数据的压缩传感库的开源Python包CS1

软件影响16（2023）100492原始软件出版物用于光谱分析数据的压缩传感库张银生a，黄秋红a，刘梦蕾a，侯瑞琪a，程永波b，王海燕a，王a浙江工商大学，浙江杭州310018b南京财经大学，南京，210023，中国自动清洁装置关键词：压缩感知光谱轮廓变换基稀疏性A B标准压缩感知（Compressed Sensing，CS）为信号的感知和传输提供了一种新的方法，但现有的研究主要集中在图像上，例如，MRI（磁共振成像）。为了支持用于光谱剖析数据的压缩感测（例如，质谱、拉曼光谱、红外等），我们开发了一个开源的Python包CS1（1代表“一维光谱数据”）。一揽子计划涵盖了主要方面包括传感与重构、非自适应和自适应变换基、CS密码机制、交互式GUI等，分析化学家可以利用该软件包快速进行CS相关研究光谱分析数据代码元数据当前代码版本V 0.1.8此代码版本使用的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2023-40可再生胶囊的永久链接https://codeocean.com/capsule/5399461/tree/v1法律代码许可证LGPL 3.0代码版本控制系统使用Git使用Python、Flask的软件代码语言、工具和服务编译要求、操作环境&依赖性所有支持Python的平台。如果可用，链接到开发人员文档/手册N/A问题支持电子邮件oo@zju.edu.cn1. 动机和意义光谱分析，如质谱和振动光谱，是快速分析仪器的一个系列。典型的应用包括测试生物标志物[1]、评估生理功能[2]、计算化学特征[3]、鉴别原材料的地理来源[4]、代谢研究[5]、检测食品掺假[6]、考古学[7]等。CS理论是对传统Shannon-Nyquist定理的革命性补充对于测量传感器，CS提供了三个显著的优点。(1)空间优势。CS允许更少的数据采样、缓存和传输。(2)暂时的利益。ADC（模数转换器）由于数据量减少而工作速度更快。(3)成本效益。CS允许廉价和低分辨率的传感器。（四）缩略语：CS，压缩感知能源效率CS需要更低的功耗，更好地服务于基于电池的传感和边缘机器学习应用。如图 1、典型的压缩感知和重构流水线包括以下过程。（1）基础选择。找到一个变换（它的基础是）。在这种变换下，原始信号f（n维向量）可以表示为潜在空间中的稀疏向量f即 =. 基矩阵是酉矩阵，即，=���-1。非自适应基包括DCT（离散余弦变换）、DFT（离散傅里叶变换）、HWT（也有针对特定应用的自适应基础[8]。对于可接受的信号重构， 应该与感测矩阵不相干 。(2)选择合适的采样率���，构造感知矩阵 。 ���是一个（×���）矩阵。有两种风格：伯努利和高斯。 伯努利更经常本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：whydd@zjgsu.edu.cn（H.Y. Wang）。https://doi.org/10.1016/j.simpa.2023.100492接收日期：2023年2月11日;接收日期：2023年2月24日;接受日期：2023年3月8日2665-9638/©2023作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsY. 张，智-地Huang，M.Liu等人软件影响16（2023）1004922Fig. 1. 压缩传感管道。这是原始信号。���是在特定变换下的稀疏表示，例如，DFT（离散傅立叶变换），DCT（离散余弦变换）、HWT（���是感知矩阵， 是变换基。������是重建的信号。图二、 软件架构以及每个模块如何支持压缩传感流水线。编号的项目是软件包的主要模块该方法易于使用，对硬件设计更加友好。它是通过从（���×���）单位矩阵中随机选择（）行来构建的。采样控制采样百分比。较小的压缩比意味着良好的压缩（压缩比中的数据点较少），但会丢失更多的信息因此，一个理想的测试仪应该平衡效率和准确性。(3)感测���以获得���（即，���=������）。���是一个（kn）维向量，它的数据点比如果n = 1要少得多������。(4)发送 ���到接收器节点。在传输过程中，CS密码机制可以保证 ���不可破解。(5)重建网络。将A =������表示为测量矩阵。因为A（）的行比列少得多，即，���������A=A���对应于一个欠定线性系统，其未知数比方程多。通 过 最 小 化 L1 范 数 ， 即 ， LASSO （ least absolute shrinkage andselection operator），我们得到了A=A���的稀疏解。解是一个近似值的潜在向量z。除了LASSO，OMP（正交匹配追踪）和VAE（变分自动编码器）也是流行的解决方案。（6）逆变换。 由于���=������和=-1���，我们可以通过下式重建信号 ：在VAE的情况下，VAE是解码器网络。压缩感知已经彻底改变了成像领域，例如MRI（磁共振成像）。但不同于成像数据、光谱剖面数据是一维的，并且CS相关的研究仍然很少。为了解决这个问题，我们开发了下面的cs1包。2. 软件设计软件架构如图所示。二、基于压缩感知的理论体系结构，该系统分为六个模块. ①cs1.cs。该模块为CS提供基本功能，例如，传感、恢复和超参数网格搜索。cs1.cs.recovery子模块包含基本的恢复算法，如LASSO、OMP、VAE等。② cs1.安全性。在cs1.security.tvsm中，我们开发了一种用于安全信号传输 的 时 变 感 知 矩 阵 机 制 。 ③cs1.basis 。 该 模 块 有 两 个 子 模 块 ：cs1.basis.common和cs1.basis.adaptive。前者支持常用的非自适应CS变换基，后者支持自适应基，例如，LDA（线性判别分析）和EBP（基于特征向量的投影）。1.metrics.该模块包括CS相关的度量，例如，互相干性、稀疏性、MSE（均方误差）和KLD（Kullback-Leibler散度）。这些指标用于评估CS侦察的质量结构。1.domain. cs1.domain.audio包含用于音频和其它一维信号处理的函数例如，在一个实施例中，波形文件I/O，有损Y. 张，智-地Huang，M.Liu等人软件影响16（2023）1004923图3.第三章。通 过 不 同 的 变 换 在 潜 在 空 间 中 重构和表示信号。 结果由cs生成。G r i d S e a r c h _Sensing_n_Recovery函数。压缩、ECG模拟等。cs1.domain.image包含用于图像CS和有损压缩的函数。1.gui. 该模块为研究人员提供了一个基于网络的平台，以尝试不同的CS基础和采样率。3. 说明性实例本节将展示一些代码示例和软件GUI。图图3是拉曼光谱分析数据集的结果。它通过不同的变换显示了重构信号及其在潜在空间中的表示 。 从 上 到 下 是 八 个 变 换 ： 单 位 矩 阵 （IDM ） 、 离 散 余 弦 变 换（DCT）、离散傅立叶变换（DFT）、离散小波变换（DWT）、第一列显示了每个变换的基矩阵。DFT具有复数基，并且我们仅显示其相位分量。第二列是潜在空间中的信号表示z。 第三至第六列是不同采样率下的重构信号（ ）。图4显示了Web GUI。这个GUI由Flask开发，遵循响应式设计（可以自动调整到各种屏幕尺寸）。GUI允许用户对原始信号执行亚奈奎斯特采样采样率可调。用户还可以尝试不同的变换基来重建信号。潜在信号和重建信号将在GUI上可视化。有关如何使用该软件包的更多详细信息，用 户 可 以 参 考 我 们 发 布 的 CodeOcean 胶 囊 （ DOI ：10.24433/CO.3135150.v1），其中包含一个完整的笔记本来展示所有API函数。4. 影响概述本文介绍了一个全面的和基本的光谱轮廓数据CS库。该库实现了非自适应CS变换基（DFT，DCT，HWT，DWT等），自适应基，诸如EBP、CS相关度量（MSE、互相关、稀疏性等），以及其他特定域（音频和图像）功能。该软件包还提供了一个前端Web GUI，供研究人员快速进行CS相关实验。这个库在我们以前的研究中被广泛使用[8，9]，我们将其重新设计为开源软件，以使研究社区受益。Y. 张，智-地Huang，M.Liu等人软件影响16（2023）1004924见图4。 CS采样和重建的交互式GUI。 用户可以使用python -m cs1.gui.run来启动这个GUI。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了国家自然科学基金91746202、61806177和国家留学基金委201808330609的部分资助。引用[1]Ruth Hüttenhain ，Meena Choi，Laura Martin de la Fuente，Kathrin Oehl，Ching- Yun Chang，Anne-Kathrin Zimmermann，Susanne Malander，HåkanOlsson，Silvia Surinova，Timothy Clough，Viola Heinzelmann-Schwarz，PeterJ.Daniela M. Wild[1]王文，王文，等.蛋白质组学的分子生物学研究进展[J].中华肿 瘤 杂 志 ， 2000 ， 24 （ 1 ） ： 117 - 118.Cell Proteomics 18 （ 2019 ） 1836http://dx.doi. org/10.1074/mcp.RA118.001221。[2] Varghese Chris ， Schamberg Gabriel ， Calder Stefan ， Waite Stephen ， CarsonDaniel ， Foong Daphne ， Wang William Jiaen ， Ho Vincent ， WoodheadJonathan，Daker Charlotte，Xu William，Du Peng，Thomas L.放大图片作者：Henry P.放大图片作者：A. Gharibans，使用胃重量测定法对胃运动进行体表胃标测评价的标准值：光谱分析，Am。胃肠病学杂志。（2022）http://dx.doi.org/10。14309/AJG.00000000002077。[3] Walther Thomas，StripeTEM作为使用电子能量损失光谱分析计算固体或核壳结构之间 界 面 的 化 学 分 布 的 方 法 ， Int. J. Mater. Res. 96 （ 5 ） （ 2022 ）http://dx.doi.org/10。3139/IJMR-2005-0078。[4] 张银生，马文豪，侯瑞琪，荣典，秦小林，程永波学报A部分：分子生物分子光谱分析278（2022）121348，http://dx.doi.org/10.1016/J.SAA.2022.121348。[5] Yuhang Yang，Qian Yang，Sisi Luo，Yinsheng Zhang，Chaohui Lian，HonghuiHe，Jian Zeng，Guoming Zhang，Comparative analysis reveals novel changes inplasma metabolites and metabolomic networks of infants with retinopathy ofpremature，Invest.眼用醇目视Sci. 63（2022）http://dx.doi.org/10.1167/IOVS.63.1.28网站。[6] Horn Bettina，Esslinger Susanne，Fauhl-Hassek Carsten，Riedl Janet，1H NMR光谱学，一类分类和异常值诊断：辣椒粉掺假检测的强大组合，食品控制128（2021）http://dx.doi.org/10.1016/J.FOODCONT.2021.108205。[7] 吴太霞，袁波，王树东，李光华，雷勇，蓝铜矿颜料的归一化差光谱识别指数，应用光谱学。74（5）（2020）http://dx.doi.org/10.1177/0003702820909435。[8] 张银生，王海燕，程永波，秦小林，基于任务自适应特征向量投影变换的压缩感知：光谱轮廓传感器的案例研究，Anal.Sci. Adv. 3（2022）29//dx.doi.org/10.17632/8cg4sctwxm网站。[9] YinshengZhang，Zhengyong Zhang，Yaju Zhao，Rong Dian，Yongbo Cheng，XiaolinQin ， HaiyanWang ， AdaptivecompressedsensingofRamanspectroscopy profiling data for discriminative tasks ， Talanta 211 （ 2020 ）http://dx.doi.org/10.1016/j. talanta.2019.120681.