1、 spark根据子任务一的结果，计算出与用户id为6708的用户所购买相同商品种类最多的前10位用户id（只考虑他俩购买过多少种相同的商品，不考虑相同的商品买了多少次），并根据Hive的dwd库中相关表或MySQL数据库shtd_store中相关表，获取到这10位用户已购买过的商品，并剔除用户6708已购买的商品，通过计算这10位用户已购买的商品（剔除用户6708已购买的商品）与用户6708已购买的商品数据集中商品的余弦相似度累加再求均值，输出均值前5商品id作为推荐使用

首先，我们需要对用户和商品的购买记录进行处理，得到一个以用户id为键，以该用户所购买过的商品为值的字典。可以使用Spark的map和groupByKey函数来实现。

# 读取购买记录数据
data = sc.textFile("path/to/data")

# 将每行数据转换为(user_id, item_id)的形式，并按照用户id进行分组
user_item = data.map(lambda x: x.split(",")).map(lambda x: (x[0], x[1])).groupByKey().cache()

# 将分组后的数据转换为以用户id为键，以该用户所购买过的商品为值的形式
user_item_dict = user_item.mapValues(set).collectAsMap()

接下来，我们需要计算与用户id为6708的用户所购买相同商品种类最多的前10位用户id。可以使用Spark的filter和map函数来实现。

# 获取与用户id为6708购买相同商品种类最多的前10位用户id
top_10_users = user_item.filter(lambda x: x[0] != "6708").map(lambda x: (x[0], len(x[1] & user_item_dict["6708"]))).sortBy(lambda x: -x[1]).take(10)

然后，我们需要获取这10位用户已购买过的商品，并剔除用户6708已购买的商品。可以使用Hive的dwd库中相关表或MySQL数据库shtd_store中相关表来获取这些数据。

# 从MySQL数据库shtd_store中获取商品信息
products = sqlContext.read.format("jdbc").options(
    url="jdbc:mysql://localhost:3306/shtd_store",
    driver="com.mysql.jdbc.Driver",
    dbtable="product",
    user="username",
    password="password").load().select("id", "name")

# 获取10位用户已购买过的商品
top_10_user_items = [x[0] for x in top_10_users]
purchased_items = user_item.filter(lambda x: x[0] in top_10_user_items).flatMap(lambda x: x[1]).distinct().collect()

# 剔除用户6708已购买的商品
user_6708_items = user_item_dict["6708"]
purchased_items = [x for x in purchased_items if x not in user_6708_items]

最后，我们需要计算这10位用户已购买的商品（剔除用户6708已购买的商品）与用户6708已购买的商品数据集中商品的余弦相似度，并求均值。可以使用Python的numpy库来计算余弦相似度。

import numpy as np

# 从Hive的dwd库中获取用户购买记录数据集
user_6708_items = user_item_dict["6708"]
purchase_data = sqlContext.sql("SELECT user_id, item_id FROM dwd.purchase WHERE user_id != '6708' AND item_id IN ({})".format(",".join(["'{}'".format(x) for x in purchased_items]))).rdd.map(lambda x: (x[0], x[1])).groupByKey()

# 计算余弦相似度
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# 计算均值前5商品id作为推荐使用
recommendations = []
for item in purchased_items:
    item_vec = np.zeros(len(top_10_users))
    for i, (user_id, _) in enumerate(top_10_users):
        if item in user_item_dict[user_id]:
            item_vec[i] = 1
    similarity_scores = [cosine_similarity(item_vec, np.array([np.zeros(len(top_10_users))] + [np.array([int(x in user_item_dict[user_id]) for user_id, _ in top_10_users])]))[0][1:]
    mean_similarity = np.mean(similarity_scores)
    recommendations.append((item, mean_similarity))
    
recommendations = sorted(recommendations, key=lambda x: -x[1])[:5]

最终，推荐的商品id可以通过查询Hive的dwd库中的商品信息表或MySQL数据库shtd_store中的商品信息表来获取商品名称。