大数据系统核心技术：挑战与机遇

高光荣教授，作为特拉华大学电子与计算机工程系的终身教授、计算机系统结构和并行系统实验室的创始人及主任，以及ACM Fellow和IEEE Fellow，他在2014年中国大数据技术大会上分享了题为“大数据系统核心技术”的演讲。演讲主要围绕大数据领域的最新动态和发展趋势展开，包括大数据热潮的最新预测，以及大数据与大计算之间的共生关系。 在演讲中，高光荣教授首先分析了大数据的现状，指出大数据正处在一个高峰期，但已经过了炒作的顶峰，Gartner报告建议在未来三到五年内，部门层面可以进行实验性应用，而无需企业全面投入。他强调了大数据系统所面临的主要挑战，如数据处理的复杂性和多样性，包括传感器、控制器和移动设备等不同类型的异构性。同时，大规模并发处理、分布式环境下的实时交互以及能源效率和韧性成为关键议题。 高光荣教授特别提到了大数据引擎技术的创新，即数据流处理和实时的大数据处理能力，这使得大数据系统能够在处理海量数据时保持高效且实时响应。他探讨了大数据与高性能计算(HPC)的协同，即两者如何共同推动数据密集型任务的执行，例如在异构硬件平台上实现高效的并行计算。 演讲还涉及到了中国在大数据领域的发展机遇和挑战。随着技术的快速发展，中国拥有巨大的市场潜力和人才储备，但同时也面临着如何将这些资源转化为实际应用和解决实际问题的挑战。高光荣教授鼓励业界和学术界抓住这一机遇，通过创新和合作来应对这些挑战。 高光荣教授的演讲深入剖析了大数据系统的核心技术，强调了在当前环境下，如何有效地整合大数据、计算能力和环境因素，以实现可持续发展的大数据基础设施。这对于理解和推动中国乃至全球大数据技术的未来发展具有重要的参考价值。