导入pyspark.conf,pyspark.sparkcontext,pyspark.mllib,实现SVM对于新闻的分类。数据集为多个按照类别分类的文件夹，每个文件夹下为新闻的中文正文内容，采用tf-idf对数据集进行清洗和处理，得到RDD。最后采用SVM对数据进行训练，预测和评估

好的，首先需要安装配置好pyspark和相关的依赖包，然后按照以下步骤进行操作：

1. 导入pyspark相关模块

from pyspark import SparkConf, SparkContext
from pyspark.mllib.feature import HashingTF, IDF
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD, SVMModel

2. 创建一个SparkConf对象并设置相关参数

conf = SparkConf().setAppName("SVM_news_classification").setMaster("local[*]")

3. 创建一个SparkContext对象

sc = SparkContext(conf=conf)

4. 加载数据集

def load_data(path):
    rdd = sc.wholeTextFiles(path)
    return rdd.map(lambda x: (x[0].split("/")[-1], x[1]))

5. 对数据集进行处理，使用HashingTF和IDF将文本转化成向量

def preprocess_data(data):
    hashingTF = HashingTF()
    tf = hashingTF.transform(data.map(lambda x: x[1].split(" ")))
    tf.cache()
    idf = IDF().fit(tf)
    tfidf = idf.transform(tf)
    return data.map(lambda x, y: LabeledPoint(x, y)).zip(tfidf).map(lambda x, y: (x[0].features, x[0].label))

6. 划分训练集和测试集

data = load_data("path/to/dataset")
preprocessed_data = preprocess_data(data)
(training_data, test_data) = preprocessed_data.randomSplit([0.7, 0.3])

7. 训练SVM模型

model = SVMWithSGD.train(training_data, iterations=100)

8. 对测试集进行预测

labels_and_preds = test_data.map(lambda p: (p.label, model.predict(p.features)))

9. 计算模型准确率

accuracy = labels_and_preds.filter(lambda x: x[0] == x[1]).count() / float(test_data.count())
print("Accuracy = " + str(accuracy))

以上就是使用SVM对新闻进行分类的代码实现。注意，在实际应用中，可能需要进行更多的数据清洗和处理，以提高模型的准确率。