在pyspark mllib上，实现SVM对于新闻的分类。数据集为多个按新闻类型分类的文件夹，每个文件夹下为对应类别的新闻正文文本。如何通过sparkcontext获取数据集，转换成RDD形式。要求对正文的数据集进行tf-idf处理，数据清洗，停用词处理等。同时注意中文的乱码问题,文本为ansi

在 PySpark MLlib 中实现 SVM 对新闻进行分类，可以按照以下步骤进行：

1. 从本地文件系统读取数据集，将每个文件夹下的新闻正文读取为字符串，存储到一个列表中。
2. 将列表转换成 RDD 形式，并使用 `map` 函数对每篇新闻进行数据清洗和停用词处理。
3. 使用 `HashingTF` 将每篇新闻转换成词频向量。
4. 使用 `IDF` 对词频向量进行 TF-IDF 处理。
5. 使用 `LabeledPoint` 将每篇新闻的标签和特征向量组成的元组转换成 RDD 形式。
6. 将数据集随机划分成训练集和测试集。
7. 使用 SVM 对训练集进行训练，并使用测试集进行评估。

下面是代码实现：

import os
import jieba
from pyspark import SparkContext
from pyspark.mllib.feature import HashingTF, IDF
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
from pyspark.mllib.evaluation import MulticlassMetrics

# 初始化 SparkContext
sc = SparkContext()

# 读取数据集
data_dir = 'path/to/dataset'
news = []
for category in os.listdir(data_dir):
    category_dir = os.path.join(data_dir, category)
    for filename in os.listdir(category_dir):
        filepath = os.path.join(category_dir, filename)
        with open(filepath, 'r', encoding='ansi') as f:
            text = f.read()
            news.append((category, text))

# 将数据集转换成 RDD 形式
news_rdd = sc.parallelize(news)

# 数据清洗和停用词处理
def preprocess(text):
    # 切分词语
    words = jieba.cut(text)
    # 去除停用词
    stop_words = set(['的', '了', '在', '是', '我', '有', '和', '就', '不', '人', '都', '一', '一个', '上', '也', '很', '到', '说', '要', '去', '你', '会', '着', '没有', '看', '好', '自己', '这'])
    words = [word for word in words if word not in stop_words]
    # 拼接成字符串
    return ' '.join(words)

news_rdd = news_rdd.map(lambda x: (x[0], preprocess(x[1])))

# 将每篇新闻转换成词频向量
hashing_tf = HashingTF()
tf_rdd = hashing_tf.transform(news_rdd.map(lambda x: x[1]))

# 对词频向量进行 TF-IDF 处理
idf = IDF().fit(tf_rdd)
tfidf_rdd = idf.transform(tf_rdd)

# 将标签和特征向量组成的元组转换成 LabeledPoint
label_point_rdd = news_rdd.zip(tfidf_rdd).map(lambda x: LabeledPoint(1 if x[0][0] == 'positive' else 0, x[1]))

# 随机划分训练集和测试集
train_rdd, test_rdd = label_point_rdd.randomSplit([0.8, 0.2])

# 训练 SVM 模型
svm_model = SVMWithSGD.train(train_rdd)

# 对测试集进行预测并评估
labels_and_preds = test_rdd.map(lambda x: (x.label, svm_model.predict(x.features)))
metrics = MulticlassMetrics(labels_and_preds)
print('Accuracy:', metrics.accuracy)

注意：以上代码中使用的是 jieba 分词库，需要先使用 `pip install jieba` 安装。另外，如果运行过程中出现中文乱码问题，可以在读取文件时指定编码方式（如 `encoding='ansi'`）。