parquet hive

### 使用Parquet文件格式在Apache Hive中的方法

#### 创建存储为Parquet格式的表
为了创建一个以Parquet作为存储格式的新表，可以使用`CREATE TABLE ... STORED AS PARQUET;`语句。这允许数据被高效压缩并优化读取性能[^1]。

CREATE TABLE g6_access_parquet LIKE g6_access STORED AS PARQUET;

此命令会基于已存在的表结构定义一个新的表格，并指定其内部的数据将以Parquet格式保存。通过这种方式，能够利用Parquet的优势来提升查询效率和减少磁盘空间占用。

#### 加载数据至Parquet表
当向上述创建好的Parquet类型的Hive表加载数据时，通常有两种方式：

- **直接插入**：可以通过INSERT INTO操作将其他表的数据导入新创建的Parquet表中。

  INSERT INTO TABLE g6_access_parquet SELECT * FROM g6_access;

- **外部文件转换**：如果已有CSV或其他格式的日志文件，则需先将其转化为Parquet格式再上传到HDFS相应位置；之后执行刷新分区的操作使这些更改生效[^3]。

对于遇到错误提示“Hive is not a Parquet file”的情况，可能是由于尝试访问非Parquet文件却指定了Parquet输入格式所引起的。确保用于处理的数据确实是以Parquet形式编码的二进制文件非常重要，因为不同的文件类型具有特定的头部签名（magic numbers），不匹配则会导致解析失败[^2]。