spark模拟推荐数据

首先，我们需要准备一些模拟数据，可以使用随机数生成器来生成。假设我们有100个用户和1000个物品，每个用户对每个物品的评分是一个在1到5之间的随机数。

可以使用以下代码来生成模拟数据：

import random

# 生成用户和物品ID列表
user_ids = [i for i in range(1, 101)]
item_ids = [i for i in range(1, 1001)]

# 生成评分数据
ratings = []
for user_id in user_ids:
    for item_id in item_ids:
        rating = random.randint(1, 5)
        ratings.append((user_id, item_id, rating))

接下来，我们可以将生成的评分数据存储为Spark DataFrame，并使用Spark MLlib中的ALS算法来训练推荐模型。以下是一个示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, IntegerType, FloatType
from pyspark.ml.recommendation import ALS

# 创建SparkSession
spark = SparkSession.builder.appName("RecommendationExample").getOrCreate()

# 定义评分数据的Schema
schema = StructType([
    StructField("user_id", IntegerType(), True),
    StructField("item_id", IntegerType(), True),
    StructField("rating", FloatType(), True)
])

# 将评分数据存储为DataFrame
ratings_df = spark.createDataFrame(ratings, schema=schema)

# 使用ALS算法训练推荐模型
als = ALS(rank=10, maxIter=5, seed=0)
model = als.fit(ratings_df)

# 使用推荐模型进行推荐
user_recs = model.recommendForAllUsers(10)

以上代码使用ALS算法训练了一个推荐模型，然后使用该模型为每个用户生成了前10个推荐物品。最后，我们可以将结果保存到Hive表或其他存储系统中，以供后续使用。