def CreateSparkContext(): sparkConf = SparkConf() \ .setAppName("Recommend") \ .set("spark.ui.showConsoleProgress", "false") sc = SparkContext(conf=sparkConf) SetPath(sc) print("master=" + sc.master) return sc def PrepareData(sc): itemRDD = sc.textFile(Path + "data/u.item") movieTitle = itemRDD.map(lambda line: line.split("|")) \ .map(lambda a: (int(a[0]), a[1])) \ .collectAsMap() return movieTitle
时间: 2023-06-19 18:07:02 浏览: 80
视频在线学习地址:https://www.bilibili.com/video/BV1Az411q7BE ——————————
这段代码主要实现了两个函数,分别是CreateSparkContext()和PrepareData(sc)。CreateSparkContext()函数创建了一个SparkContext对象,并设置了一些参数,比如应用程序名、是否显示进度条等等。函数还调用了SetPath(sc)函数,设置了一些环境变量。最后,打印出SparkContext对象的master属性,并返回该对象。
PrepareData(sc)函数读取了一个文件,将每一行按照"|"进行分割,并将第一个字段转换为int类型,第二个字段保留为字符串类型。然后,将这些数据转换为一个字典类型的对象,并返回该对象。该函数的主要作用是将电影的ID和电影的名称对应起来。
阅读全文