SeaWeedFS： MES系统中高效的小文件存储解决方案部署与实践

在制造业企业中，MES（Manufacturing Execution System）系统的附件存储是关键环节，尤其是在处理大量小文件时。本文档详细阐述了如何在MES系统中采用SEAWEEDFS作为小文件存储方案，以优化现有的存储问题并提升系统的性能和可靠性。 首先，MES系统当前的附件存储存在几个显著问题：1) 由于附件和AP应用服务共用同一服务器，导致服务器耦合度高，不利于实现高可用性和负载均衡；2) 存储海量小文件在Windows环境中易引发filenode耗尽，可能导致服务器故障；3) 大量小文件备份和恢复变得复杂；4) 数据冗余不足，磁盘损坏后的数据恢复不易。针对这些问题，选择SEAWEEDFS作为存储平台的原因包括其开源免费、高性能、高可用、读写方便以及轻量级服务的特点，适合处理小文件且未来文件数量预期增长可控。 SEAWEEDFS，一个基于Go语言开发的分布式文件存储系统，具有以下优势： - 支持存储大量文件，理论上可达数亿级别，但受限于硬件硬盘容量； - 快速响应，内存占用低，提高存储效率； - 实现文件读写的负载均衡和容灾机制，确保服务连续性； - 容易扩展，随着业务需求的增长，容量可以线性增加。 部署策略具体如下： - 部署两台冗余的MESap服务器，以提供高可用的应用服务； - 构建三个节点的WeedFS集群，实现小文件的分布式存储，增强数据安全性； - 利用.NET Core Web API开发接口，允许对WeedFS进行文件上传、下载和删除操作； - 将这些Web API集成到两台MESap服务器上的IIS服务中，便于通过Web访问； - MES应用通过调用Web API实现对SEAWEEDFS的无缝集成，从而简化操作流程并减少对本地存储的依赖。 文章还涉及到对MES数据库附件表结构的调整，以适应新的存储方式，以及对IIS服务的配置，确保与SEAWEEDFS的稳定交互。此外，文档还提供了解决问题收集和解决方案的部分，包括可能遇到的技术挑战及应对措施。 这份文档为制造企业的IT部门提供了一个实用的指南，帮助他们优化MES系统的附件存储，降低系统复杂性，提高整体性能，并通过SEAWEEDFS有效地管理小文件，降低数据丢失的风险。