在pyspark mllib上，实现SVM对于新闻的分类。数据集为多个按新闻类型分类的文件夹，每个文件夹下为对应类别的新闻正文文本。如何通过sparkcontext获取数据集，转换成RDD形式。要求对正文的数据集进行tf-idf处理，数据清洗，停用词处理等。同时注意中文的乱码问题,编码格式为ansi

首先需要使用SparkContext的`wholeTextFiles`方法获取数据集，该方法可以读取指定路径下的所有文件，并返回一个`(文件路径, 文件内容)`的键值对RDD，其中文件路径即为新闻的分类。如下所示：

from pyspark import SparkContext

sc = SparkContext()
data_rdd = sc.wholeTextFiles("path/to/data")

接下来需要对数据进行清洗和处理，包括中文乱码问题、分词、停用词处理等。在这里可以使用第三方库jieba进行中文分词：

import jieba

def process_text(text):
    # 解决中文乱码问题
    text = text.encode('utf-8').decode('ansi')
    # 分词
    words = jieba.cut(text)
    # 去除停用词
    stop_words = set(['的', '了', '啊', '呀'])
    words = [word for word in words if word not in stop_words]
    # 返回分词后的结果
    return " ".join(words)

processed_rdd = data_rdd.map(lambda x: (x[0], process_text(x[1])))

接着需要对正文文本进行TF-IDF处理，这里可以使用Spark MLlib提供的`HashingTF`和`IDF`方法：

from pyspark.mllib.feature import HashingTF, IDF

# 分词后的RDD形式为 (文件路径, 分词后的文本)
# 首先需要将文本转化为向量表示，使用HashingTF方法
hashingTF = HashingTF()
tf_rdd = hashingTF.transform(processed_rdd.map(lambda x: x[1].split()))

# 使用IDF方法得到每个词的IDF权重
idfModel = IDF().fit(tf_rdd)
tfidf_rdd = idfModel.transform(tf_rdd)

最后将处理后的数据集用于SVM模型的训练和预测即可。