pyspark 机器学习案例

PySpark机器学习示例项目
使用PySpark ML构建分类模型
为了展示如何利用PySpark进行机器学习，下面提供了一个基于pyspark.ml库的分类模型构建实例。此过程涵盖了数据加载、预处理、特征工程以及最终模型评估等多个方面。
from pyspark.sql import SparkSession
from pyspark.ml.feature import StringIndexer, VectorAssembler
from pyspark.ml.classification import RandomForestClassifier
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
from pyspark.ml import Pipeline

# 创建Spark会话
spark = SparkSession.builder.appName('classification_example').getOrCreate()

# 加载并准备数据集
data = spark.read.format("libsvm").load("sample_libsvm_data.txt")

# 定义索引器用于转换标签列
indexer = StringIndexer(inputCol="label", outputCol="indexedLabel").fit(data)

# 将特征向量化
assembler = VectorAssembler(inputCols=["features"], outputCol="vectorizedFeatures")

# 构建随机森林分类器
rf = RandomForestClassifier(labelCol="indexedLabel", featuresCol="vectorizedFeatures", numTrees=10)

# 组装Pipeline
pipeline = Pipeline(stages=[indexer, assembler, rf])

# 训练模型
model = pipeline.fit(data)

# 进行预测
predictions = model.transform(data)

# 评价模型表现
evaluator = MulticlassClassificationEvaluator(
labelCol="indexedLabel", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print(f"Test Error = {1.0 - accuracy}")
登录后复制
上述代码展示了完整的流程，从创建Spark会话到定义各个阶段直至最后完成模型训练与评估[^1]。
特征工程技术的应用
在实际应用场景下，除了基本的数据读取和简单变换外，还需要深入挖掘数据特性来进行有效的特征提取与选择工作。这一步骤对于提高模型准确性至关重要。例如，在文本分类任务中可以采用TF-IDF方法；而在数值型属性上则可能涉及到标准化/归一化等操作[^2]。
大规模数据分析中的优势体现
得益于其强大的分布式计算框架，即使面对海量级别的输入样本量，PySpark依然能够保持高效稳定的运行状态。特别是在处理诸如社交网络互动记录或是在线评论这类非结构化的大型语料库时，这种能力显得尤为珍贵[^5]。