MaxCompute 2.0：NewSQL的演进与关键技术

"MaxCompute的NewSQL演进之路是由阿里巴巴计算平台架构师林伟在2017杭州云栖大会上的演讲，主要探讨了MaxCompute如何在NewSQL领域进行演进，以及NewSQL的关键技术。" MaxCompute是阿里巴巴的一款大数据处理服务，其NewSQL演进旨在解决传统数据库和NoSQL在大数据场景下的局限性。NewSQL的目标是结合关系型数据库的强语义和结构化数据特性，以及NoSQL的横向扩展性和灵活的非结构化数据处理能力。 在NewSQL的发展中，MaxCompute 2.0是一个重要的里程碑。它回归了关系型查询语言，提供了更强的灵活性和自适应性。面对日益复杂的计算需求，NewSQL系统如MaxCompute 2.0能够自动优化执行计划，使程序员无需过多关注底层细节，只需关注业务逻辑。这得益于其强大的优化器，它能够整合多种功能，生成高效的执行策略。 MaxCompute 2.0还支持非结构、半结构和结构化数据，通过用户提供的序列化和反序列化函数，实现了非结构数据到结构化数据的动态转换。用户还可以自定义数据类型和分区，以优化数据连接效率。此外，系统支持用户自定义函数（UDF），UDF的完整集合使得MaxCompute可以退化为函数型语言，构建任意复杂的DAG（有向无环图）执行计划，极大地扩展了其处理能力。 NewSQL的发展受到了许多其他项目的影响，如谷歌的Spanner、Apache Spark的SparkSQL等。MaxCompute 2.0从MapReduce到更先进的计算模型的演进，表明了大数据处理领域对于性能、智能和灵活性的持续追求。 MaxCompute 2.0的NewSQL演进之路展示了如何在大规模数据处理中融合传统数据库的强语义特性和NoSQL的横向扩展性，从而提供一个既能处理结构化数据，又能应对非结构化数据挑战的高性能计算平台。这对于应对快速变化的数据环境和复杂计算任务具有重要意义，也反映了云计算在大数据处理领域的不断创新和发展。