hive配置lazo压缩

要在Hive中启用LZO压缩，您需要完成以下步骤：

1. 将LZO实用程序和库文件安装在所有Hadoop节点上。您可以使用以下命令安装LZO：

sudo apt-get install lzop liblzo2-dev

2. 下载并安装Hadoop LZO库。您可以从GitHub上克隆官方的Hadoop LZO存储库：

git clone https://github.com/twitter/hadoop-lzo.git
cd hadoop-lzo

3. 构建Hadoop LZO库并将其安装到Hadoop中：

export CFLAGS="$CFLAGS -fPIC"
./configure --with-hadoop=$HADOOP_HOME
make
sudo make install

4. 修改Hadoop配置文件，以便它能够找到LZO库：

在`$HADOOP_HOME/etc/hadoop`目录下打开`hadoop-env.sh`文件，并添加以下行：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

5. 在Hive中启用LZO压缩。您可以在创建Hive表时使用以下命令启用LZO压缩：

CREATE TABLE mytable (
    col1 STRING,
    col2 INT
)
STORED AS RCFILE
TBLPROPERTIES ('mapred.output.compress'='true', 'mapred.output.compression.type'='BLOCK', 'mapred.output.compression.codec'='com.hadoop.compression.lzo.LzopCodec');

这将创建一个名为mytable的Hive表，并使用LZO压缩存储它的数据。