星环科技2017通用机器学习平台架构设计：从统计学习到深度集成

在IAS2017的报告中，陆天明，一位星环科技的人工智能高级工程师，探讨了通用机器学习平台的架构设计。报告围绕以下几个关键主题展开： 1. **历史背景与技术演进**： - 报告回顾了从20世纪70年代至2017年的大数据和人工智能发展历程，指出统计方法、第二代神经网络的发展以及深度学习的兴起。 - 1980年代初，云计算概念的提出和开源技术的加速发展促进了云计算平台的兴起，如Hadoop项目的诞生。 - 2006年，深度学习因ImageNet比赛的成功而重新受到关注，随后的几年里，开源技术和工具平台迅速涌现。 2. **平台架构**： - 星环科技的Velocity、Variety、Volume和Value是其平台的核心价值主张，分别对应解决客户问题的能力、数据的多样性、海量数据处理和价值创造。 - 平台架构包括数据仓库（Inceptor云C）、大数据平台、人工智能平台Sophon，以及一系列组件如计算资源（CPU/GPU AI芯片）、存储（MySQL、Redis）、网络、数据库（如OLAP的Holodesk、OLTP的KunDB）和流引擎等。 - 深度学习框架如TensorFlow在平台中占据核心地位，还有机器学习平台的其他组件如应用层的机器学习/深度学习框架、算法层、应用服务如预测、可视化等。 3. **挑战与解决方案**： - 报告讨论了平台部署管理中的问题，如如何实现混搭部署、资源管控、短时服务和长时服务的有效区分、统一存储管理和深度学习框架的整合。 - 实时性和模型更新也是关注点，强调了预测服务的实时性能和半实时模型的快速适应性。 - CPUCluster和YARN等资源调度技术可能用于优化这些复杂的问题。 4. **未来方向**： - 随着技术的发展，星环科技的平台将继续关注最新趋势，如自然语言处理、计算机视觉、推荐系统等，以满足不断增长的智能应用需求。 通过这份报告，读者可以了解到通用机器学习平台的设计原则，以及在构建和运营这类平台时所面临的关键技术和管理挑战。星环科技的解决方案提供了实践指导，帮助企业更好地利用AI技术来解决实际业务问题。