hive 开启llap日志
时间: 2023-07-29 10:09:17 浏览: 51
要开启Hive的LLAP日志,可以按照以下步骤进行操作:
1. 进入Hive的配置文件目录,通常路径为:/etc/hive/conf
2. 打开hive-site.xml文件,添加以下参数:
```
<property>
<name>hive.llap.daemon.log.level</name>
<value>DEBUG</value>
</property>
```
3. 保存并关闭文件
4. 重启Hive服务,使配置生效
这样就可以开启Hive的LLAP日志了。日志文件通常位于/var/log/hive/llap/目录下。
相关问题
hive开启推测执行
要在Hive中启用推测执行(Speculative Execution),你可以通过设置以下属性来实现:
```
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=xx;
set hive.hadoop.supports.splittable.combineinputformat=false;
set hive.speculative.execution=true;
```
其中,`hive.exec.parallel` 设置为 `true` 以启用并行执行,`hive.exec.parallel.thread.number` 设置并行执行的线程数(xx 表示你希望的线程数),`hive.hadoop.supports.splittable.combineinputformat` 设置为 `false`,禁用 Hadoop 的 CombineInputFormat(合并小文件),`hive.speculative.execution` 设置为 `true` 以启用推测执行。
请注意,推测执行可能会在任务出现慢执行或失败时启动额外的任务进行替代,以提高执行效率。然而,这也可能会增加一些额外的资源消耗。因此,在启用推测执行之前,请确保你对资源的使用和任务之间的依赖关系有所了解。
hive开启metric服务
要在Hive中启用Metric服务,您需要完成以下步骤:
1. 配置Hive的hive-site.xml文件以启用Metric服务。在文件中添加以下属性:
```
<property>
<name>hive.metrics.reporter</name>
<value>org.apache.hadoop.metrics2.sink.storm.StormTimelineMetricsSink</value>
</property>
```
2. 启用Hadoop的Metric服务。在Hadoop的hadoop-env.sh文件中添加以下属性:
```
export HADOOP_METRICS2_OPTS="-Dhadoop.metrics2.sink.storm.StormTimelineMetricsSink.period=5 -Dhadoop.metrics2.sink.storm.StormTimelineMetricsSink.topology.metrics.consumer.register=${HADOOP_HOME}/conf/storm_metrics_consumer.xml"
export HADOOP_OPTS="$HADOOP_OPTS $HADOOP_METRICS2_OPTS"
```
3. 启动Storm的Metric服务。在Storm的storm.yaml文件中添加以下属性:
```
metrics.reporters:
- type: "org.apache.hadoop.metrics2.sink.storm.StormTimelineMetricsSink"
argument:
nimbus.host: "<NIMBUS_HOST>"
nimbus.port: <NIMBUS_PORT>
nimbus.seeds: ["<NIMBUS_SEEDS>"]
topology.metrics.consumer.register: "storm_metrics_consumer.xml"
```
4. 创建一个名为storm_metrics_consumer.xml的配置文件,并将其添加到Hadoop和Storm的CLASSPATH中。该文件应包含以下内容:
```
<configuration>
<property>
<name>*.sink.stormtimeline.class</name>
<value>org.apache.hadoop.metrics2.sink.storm.StormTimelineMetricsSink</value>
</property>
<property>
<name>*.period</name>
<value>5</value>
</property>
</configuration>
```
5. 重新启动Hive、Hadoop和Storm以使更改生效。
完成上述步骤后,您应该能够在Metric服务中看到Hive的指标数据。