"HiveSQL数据操控及查询语言（DML、DQL）1：加载数据与语法详解"

第3章HiveSQL是关于数据操控和查询语言的知识，主要包括数据操控语言（DML）和查询语言（DQL）两个方面。在DML方面，我们介绍了Load加载数据的操作和语法。 在Hive中，当创建表后，默认会在HDFS上创建一个与表对应的文件夹，路径由参数hive.metastore.warehouse.dir控制，默认路径是/user/hive/warehouse。想要让Hive表和结构化的数据文件产生映射，需要将文件移动到表对应的文件夹下。可以在建表的时候使用location语句指定数据文件的路径，但无论路径在哪里，必须把数据文件移动到对应的路径下。最原始的方式是使用hadoop fs –put等方式将数据移动到路径下。然而，Hive官方推荐使用Load命令将数据加载到表中。 Load语法如下： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] 在将数据load加载到表中时，Hive不会进行任何转换，加载操作是将数据文件移动到与Hive表对应的位置的纯复制/移动操作。Load语法中的INPATH表示数据文件路径，可以选择加上LOCAL参数来表示本地文件，否则默认为HDFS上的文件。如果需要覆盖表中原有的数据，可以加上OVERWRITE参数。如果表中有分区，可以通过PARTITION指定分区。 总的来说，在第3章HiveSQL中，我们学习了DML方面的Load加载数据操作和相关语法，了解了如何将数据文件移动到Hive表对应的位置，以及Load命令的具体用法。这些知识对于数据管理和查询至关重要，是数据工程师和数据分析师日常工作中必备的技能之一。通过学习HiveSQL的数据操控和查询语言，我们可以更高效地处理和查询数据，提高工作效率。