from pyspark.sql import SparkSession import logging logging.basicConfig(level="WARN")
时间: 2024-05-21 12:14:19 浏览: 13
这段代码的作用是导入SparkSession类和logging模块,并设置logging模块的日志级别为WARN。SparkSession类是Spark 2.0版本引入的新的API,用于创建Spark应用程序的入口点,并提供了许多用于数据处理的方法。logging模块用于记录程序的运行日志,通过设置日志级别可以控制记录的日志信息的详细程度。在这里,将日志级别设置为WARN,表示只记录警告级别及以上的日志信息。
相关问题
import os import sys import logging from extra.extra import extra_func from extra.extra_2 import extra_func_2 from pyspark.sql import SparkSession logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) if __name__ == '__main__': if (len(sys.argv) < 3): logging.error('Usage: pyspark_demo <schema> <table>') sys.exit(1) logging.info('Program name: {}', sys.argv[0]) # Noted: If need to access hive table, need to set .enableHiveSupport() option. spark = SparkSession.builder.appName('read_text').enableHiveSupport().getOrCreate() lines = spark.read.text(os.getenv('SPARK_YARN_STAGING_DIR') + '/data.txt') lines.show() sql = 'select * from {}.{} limit 1'.format(sys.argv[1], sys.argv[2]) table_data = spark.sql(sql) table_data.show() if (len(sys.argv) > 3): logging.info('The third program argument is {}', sys.argv[3]) extra_func() extra_func_2() spark.stop()什么意思
这是一个使用pyspark读取文本文件和Hive表数据的Python脚本。在运行脚本时需要传入两个参数,分别为schema和table,用于指定要查询的Hive表的schema和表名。如果需要传入第三个参数,该参数将被记录在日志中。脚本还使用了extra.extra和extra.extra_2中的函数,并且在读取完数据后停止了SparkSession。
logging.level.org.hibernate.SQL=error
将 `logging.level.org.hibernate.SQL` 的值设置为 `error`,可以限制 Hibernate SQL 查询的日志输出级别为 ERROR。这样,只有在发生错误时才会记录SQL查询的日志,因此可以减少日志的数量并提高日志的清晰度。
在application.properties文件中添加以下配置即可:
```
logging.level.org.hibernate.SQL=error
```
如果你使用的是application.yml配置文件,可以使用以下配置:
```yaml
logging:
level:
org.hibernate.SQL: error
```
这样就可以限制 Hibernate SQL 查询的日志输出级别为 ERROR,从而减少日志的数量并提高日志的清晰度。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)