Python使用pyspark库获取数据

可以使用pyspark库来获取数据。以下是一些常用的方法：

1. 从本地文件系统读取数据：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("read_file")
sc = SparkContext(conf=conf)

rdd = sc.textFile("/path/to/file")

2. 从HDFS读取数据：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("read_hdfs")
sc = SparkContext(conf=conf)

rdd = sc.textFile("hdfs://localhost:9000/path/to/file")

3. 从数据库读取数据：

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

conf = SparkConf().setAppName("read_db")
sc = SparkContext(conf=conf)
spark = SparkSession(sc)

url = "jdbc:mysql://localhost:3306/test"
table = "table_name"
properties = {"user": "username", "password": "password"}

df = spark.read.jdbc(url=url, table=table, properties=properties)

以上是一些常用的方法，可以根据实际情况进行调整。