2022/4/27 03_dataframe
huaxiaozhuan.com/工具/spark/chapters/03_dataframe.html 7/38
参数：
url ：一个 JDBC URL ，格式为： jdbc:subprotocol:subname
table ：表名
column ：列名。该列为整数列，用于分区。如果该参数被设置，那么 numPartitions、
lowerBound、upperBound
将用于分区从而生成 where
表达式来拆分该列。
lowerBound ： column 的最小值，用于决定分区的步长
upperBound ： column 的最大值（不包含），用于决定分区的步长
numPartitions ：分区的数量
predicates ：一系列的表达式，用于 where 中。每一个表达式定义了 DataFrame
的一个分区
properties ：一个字典，用于定义 JDBC
连接参数。通常至少为： { 'user' : 'SYSTEM',
'password' : 'mypassword'}
返回：一个 DataFrame
实例
3.
.json() ：加载 json
文件，返回一个 DataFrame
实例
示例：
4.
.orc() ：加载 ORC 文件，返回一个 DataFrame
实例
示例：
5.
.parquet() ：加载 Parquet 文件，返回一个 DataFrame
实例
.parquet(*paths)
示例：
.jdbc(url, table, column=None, lowerBound=None, upperBound=None, numPartitions=None,
predicates=None, properties=None)
.json(path, schema=None, primitivesAsString=None, prefersDecimal=None,
allowComments=None, allowUnquotedFieldNames=None, allowSingleQuotes=None,
allowNumericLeadingZero=None, allowBackslashEscapingAnyCharacter=None, mode=None,
columnNameOfCorruptRecord=None, dateFormat=None, timestampFormat=None, multiLine=None)
spark_session.read.json('python/test_support/sql/people.json')
# 或者
rdd = sc.textFile('python/test_support/sql/people.json')
spark_session.read.json(rdd)
.orc(path)
spark_session.read.orc('python/test_support/sql/orc_partitioned')
剩余37页未读，继续阅读
