在pyspark mllib上实现新闻分类，采用SVM。数据集为多个文件夹，每个文件夹为对应的新闻类别，文件夹之下是新闻的正文内容。如何对数据集进行处理，接着如何训练模型，最后给出相应的评估

首先，需要对数据集进行预处理，将每个文件夹下的新闻文本内容读取出来，并标注对应的类别。可以使用Python的os和io库来实现。

具体步骤如下：

1. 导入必要的Python库，包括os、io、re等。

2. 读取数据集，遍历每个文件夹，将文件夹名作为类别标签，将文件夹下的新闻文本内容读取出来，存储成二元组（类别标签，文本内容）的形式。

3. 对文本内容进行预处理，包括去除HTML标签、数字、标点符号、停用词等。

4. 将文本内容转换成向量形式，可以使用TF-IDF方法。

5. 将数据集按照一定比例划分为训练集和测试集。

6. 使用Pyspark Mllib库中的SVM模型训练数据，并对测试集进行预测。

7. 对模型进行评估，可以使用准确率、召回率、F1值等指标。

下面是具体的代码实现：

import os
import io
import re
from pyspark.ml.feature import HashingTF, IDF
from pyspark.ml.classification import SVMModel
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# 读取数据集
def read_dataset(path):
    data = []
    for root, dirs, files in os.walk(path):
        for file in files:
            label = os.path.basename(root)
            with io.open(os.path.join(root, file), 'r', encoding='utf-8') as f:
                content = f.read()
                data.append((label, content))
    return data

# 预处理文本
def preprocess(data):
    stop_words = set(sc.textFile('stopwords.txt').collect())
    for i in range(len(data)):
        label, content = data[i]
        content = re.sub('<[^>]*>', '', content) # 去除HTML标签
        content = re.sub('\d+', '', content) # 去除数字
        content = re.sub('[^\w\s]', '', content) # 去除标点符号
        content = [word for word in content.split() if word not in stop_words] # 去除停用词
        data[i] = (label, content)
    return data

# 将文本转换成向量
def transform(data):
    hashingTF = HashingTF(inputCol='words', outputCol='rawFeatures')
    idf = IDF(inputCol='rawFeatures', outputCol='features')
    df = spark.createDataFrame(data, ['label', 'words'])
    tf = hashingTF.transform(df)
    tfidf = idf.fit(tf).transform(tf)
    return tfidf.select('label', 'features')

# 划分数据集
def split_dataset(data, ratio):
    train_data = []
    test_data = []
    for label in set([d[0] for d in data]):
        label_data = [d for d in data if d[0] == label]
        n = len(label_data)
        train_data.extend(label_data[:int(n*ratio)])
        test_data.extend(label_data[int(n*ratio):])
    return train_data, test_data

# 训练模型
def train_model(train_data):
    svm = SVMModel.train(train_data)
    return svm

# 评估模型
def evaluate_model(model, test_data):
    evaluator = MulticlassClassificationEvaluator()
    predictions = model.transform(test_data)
    accuracy = evaluator.evaluate(predictions, {evaluator.metricName: "accuracy"})
    f1 = evaluator.evaluate(predictions, {evaluator.metricName: "f1"})
    return accuracy, f1

# 主函数
if __name__ == '__main__':
    data = read_dataset('data')
    data = preprocess(data)
    data = transform(data)
    train_data, test_data = split_dataset(data, 0.8)
    model = train_model(train_data)
    accuracy, f1 = evaluate_model(model, test_data)
    print("Accuracy = %g" % accuracy)
    print("F1 = %g" % f1)

需要注意的是，上述代码中使用了TF-IDF方法将文本转换成向量形式，这里需要提前准备好停用词表，在代码中读取并使用。

通过上述代码，可以对数据集进行处理，并使用SVM模型进行分类训练和评估。