在pyspark mllib上，实现SVM对于新闻的分类。数据集为多个按新闻类型分类的文件夹，每个文件夹下为对应类别的新闻正文文本。如何通过sparkcontext获取数据集,数据集存放在hdfs上，转换成RDD形式。要求对正文的数据集进行tf-idf处理，数据清洗，停用词处理等。同时注意中文的乱码问题,文本为ans

首先需要创建一个SparkContext和SparkSession对象。然后使用SparkContext的textFile函数从HDFS上读取数据集，将每个文件夹下的多个文件合并成一个RDD。接着，使用Python的jieba分词对文本进行分词，去除停用词，将文本转换为词袋形式。然后使用Spark MLlib中的HashingTF和IDF函数对词袋进行处理，得到tf-idf表示。最后，使用SVM进行分类。

以下是一个基本的代码示例：

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
from pyspark.ml.feature import HashingTF, IDF
from pyspark.ml.classification import LinearSVC
import jieba

conf = SparkConf().setAppName("News Classification").setMaster("local")
sc = SparkContext(conf=conf)
spark = SparkSession.builder.appName("News Classification").getOrCreate()

# 读取数据集
path = "hdfs://path/to/dataset"
rdd = sc.textFile(path)

# 对每个文本进行分词和清洗
rdd = rdd.map(lambda x: jieba.cut(x)) \
         .map(lambda x: [word for word in x if word not in stop_words]) \
         .map(lambda x: " ".join(x))

# 使用HashingTF和IDF对数据集进行处理
hashingTF = HashingTF(inputCol="words", outputCol="rawFeatures", numFeatures=10000)
idf = IDF(inputCol="rawFeatures", outputCol="features")
pipeline = Pipeline(stages=[hashingTF, idf])
model = pipeline.fit(rdd)
tf_idf = model.transform(rdd)

# 划分训练集和测试集
train, test = tf_idf.randomSplit([0.7, 0.3], seed=1234)

# 训练模型
svm = LinearSVC(maxIter=10, regParam=0.1)
svm_model = svm.fit(train)

# 预测结果
predictions = svm_model.transform(test)

需要注意的是，在使用jieba对中文文本进行分词时，需要先将文本转换为UTF-8编码，否则会出现乱码问题。可以使用Python的encode函数将文本编码为UTF-8。另外，需要定义停用词列表stop_words，用于去除无意义的单词。