计算存储:大规模AI应用的高效解决方案

0 下载量 75 浏览量 更新于2024-06-16 收藏 4.06MB PDF 举报
随着云计算和物联网的发展,大规模人工智能(AI)应用的数据生成量呈现出爆炸式增长,这给数据处理和学习带来了前所未有的挑战。计算存储技术作为一种新兴的解决方案,正逐渐崭露头角,以解决这些挑战。《ACM Transactions on Storage》 Vol.164, No.21, 发表于2020年10月的一篇论文,由JAEYOUNG DO等来自微软研究院、巴西里约热内卢联邦大学、NGD Systems、加州大学欧文分校和Wespa智能系统等机构的研究者合作撰写了关于这一主题的文章。 论文核心关注的是计算存储在大规模AI应用中的具体应用和优势。作者提出了一种名为Newport的高性能、高能效的计算存储解决方案,它是一种能够配置为运行类似服务器操作系统的商品级固态硬盘(SSD)。Newport的创新之处在于它将数据处理能力内置于存储设备中,大大减少了外部应用程序在存储空间中创建和维护的复杂性和工作量,提高了数据处理的效率。 作者通过在大型视觉数据集上测试复杂的人工智能任务,如图像相似性搜索和对象跟踪,展示了Newport在实际应用中的效果。实验结果显示,数据密集型的AI工作负载在Newport上可以实现有效的并行化和卸载,即使使用少量设备也能显著提升性能,同时节省能源。这表明计算存储对于AI应用具有显著的优势,特别是在处理海量数据时。 文章还对现有的计算存储解决方案进行了全面分类,并探讨了其在大规模生产环境下的经济可行性。作者指出,尽管初始投资可能较大,但考虑到计算存储带来的性能提升和能源效率,长期来看,这种技术的经济效益是值得考虑的。 此外,这篇工作得到了巴西Coordenação de Pessoal de Nível Superior (CAPES) - Financiamento Estatal 001的部分资助,以及美国国家科学基金会NSF项目(资助号1660071)的支持。研究团队包括来自微软、巴西里约热内卢联邦大学的多位学者,他们共同为计算存储技术在AI领域的应用和发展做出了重要贡献。 该论文深入探讨了计算存储在大规模AI应用中的应用策略、实际效果和经济可行性,为未来该领域的发展提供了有价值的洞见和技术参考。