无ISP低功耗计算机视觉：训练数据集与去马赛克模拟

"无ISP低功耗计算机视觉的训练数据集及模拟去马赛克方法" 本文探讨的是在低功耗设备上实现无ISP（图像信号处理）的计算机视觉（CV）系统的挑战和解决方案。当前的CV系统依赖于ISP单元将图像传感器捕获的原始图像转换为RGB图像，以便进行模型训练和执行视觉任务。然而，这种方法在资源受限的设备上效率低下，因此研究者开始探索传感器内和像素内计算，以减少ISP的需求。 文章指出，直接在未经ISP处理的原始图像上训练深度CV模型非常困难，因为现有的大型开源数据集几乎都是基于RGB图像。为解决这一问题，作者提出反向ISP管道的方法，该方法可以将任何RGB数据集转换为原始图像格式，使得模型能够在原始图像上进行训练。他们利用此方法创建了COCO数据集的原始版本，结果显示，与使用传统ISP处理的RGB数据集训练相比，这种方法在视觉唤醒工作（VWW）数据集上的测试准确性提高了1%。 为了进一步提升无ISP CV模型的性能，作者提出了一种能量有效的模拟像素内去马赛克技术，这可以与像素内CNN计算相结合。在PASCALRAW数据集上，该方法实现了8.1%的准确率提升。此外，他们展示了在新的应用程序中，通过少镜头学习，仅用30张图像就能在3类上获得20.5%的mAP（平均精度）增长。 这项工作的贡献在于提供了一个新的训练策略，即在原始图像上训练模型，以及一个能与像素内计算协同工作的去马赛克算法，这两者都旨在优化低功耗设备上的无ISP CV系统。通过这种方式，可以在保持或提高性能的同时，减少能源消耗和带宽需求。相关的代码可以在提供的链接中获取：https://github.com/godatta/ISP-less-CV。 这项研究为低功耗设备上的高效计算机视觉处理开辟了新途径，有助于推动未来物联网设备、嵌入式系统以及边缘计算的发展。