使用在 https://grouplens.org/datasets/movielens/ 上下载的MovieLens 数据集,并将使用以下文件:ratings.csv:包含用户对电影的评分,movies.csv:包含电影的详细信息 生成一个朴素贝叶斯方法的分类基于电影类型来预测用户可能喜欢的电影,并划分出训练集和测试集,输出f1值,auc值和roc曲线

时间: 2024-01-24 20:20:34 浏览: 158
好的,这是一个比较完整的数据分析任务,我们需要按照以下步骤进行: 1. 数据预处理 2. 特征工程 3. 模型训练与评估 我们先来看一下数据预处理。 # 1. 数据预处理 首先,我们需要将数据集读入,并做一些基本的预处理,例如数据清洗、缺失值处理等。 import pandas as pd import numpy as np # 读取数据集 ratings = pd.read_csv('ratings.csv') movies = pd.read_csv('movies.csv') # 将电影类型转换为二进制特征 genres = ["Action", "Adventure", "Animation", "Children", "Comedy", "Crime", "Documentary", "Drama", "Fantasy", "Film-Noir", "Horror", "Musical", "Mystery", "Romance", "Sci-Fi", "Thriller", "War", "Western"] for genre in genres: movies[genre] = movies['genres'].apply(lambda x: int(genre in x.split('|'))) movies = movies.drop('genres', axis=1) # 将电影ID转换为连续的整数 id2movie = dict(enumerate(list(movies['title']))) movie2id = {v: k for k, v in id2movie.items()} ratings['movieId'] = ratings['movieId'].apply(lambda x: movie2id[movies[movies['movieId'] == x]['title'].values[0]]) # 将用户ID转换为连续的整数 user2id = dict(enumerate(list(set(ratings['userId'])))) id2user = {v: k for k, v in user2id.items()} ratings['userId'] = ratings['userId'].apply(lambda x: user2id[x]) # 划分训练集和测试集 np.random.seed(123) msk = np.random.rand(len(ratings)) < 0.8 train = ratings[msk].reset_index(drop=True) test = ratings[~msk].reset_index(drop=True) # 查看数据集大小 print(train.shape, test.shape) # 输出示例数据 print(train.head()) print(test.head()) 以上代码将电影类型转换为二进制特征,并将电影ID和用户ID转换为连续的整数。然后我们将数据集随机拆分为训练集和测试集,比例为8:2。 接下来是特征工程。 # 2. 特征工程 我们将使用朴素贝叶斯方法来预测用户是否喜欢某个电影,因此需要将电影的类型作为特征。我们还可以使用其他一些特征,例如电影的平均评分和用户的平均评分。 # 计算每个电影的平均评分 movie_mean_rating = train.groupby('movieId').agg({'rating': 'mean'}).rename(columns={'rating': 'movie_mean_rating'}) # 计算每个用户的平均评分 user_mean_rating = train.groupby('userId').agg({'rating': 'mean'}).rename(columns={'rating': 'user_mean_rating'}) # 将平均评分添加到训练集和测试集中 train = pd.merge(train, movie_mean_rating, on='movieId', how='left') train = pd.merge(train, user_mean_rating, on='userId', how='left') test = pd.merge(test, movie_mean_rating, on='movieId', how='left') test = pd.merge(test, user_mean_rating, on='userId', how='left') # 将电影类型作为特征 X_train = pd.merge(train, movies.drop('title', axis=1), on='movieId', how='left').drop(['rating', 'timestamp'], axis=1) X_test = pd.merge(test, movies.drop('title', axis=1), on='movieId', how='left').drop(['rating', 'timestamp'], axis=1) # 将用户是否喜欢电影作为标签 y_train = (train['rating'] >= 4).astype(int) y_test = (test['rating'] >= 4).astype(int) 以上代码计算了每个电影和每个用户的平均评分,并将其作为特征添加到训练集和测试集中。然后将电影类型作为特征,并将用户是否喜欢电影作为标签。 接下来是模型训练与评估。 # 3. 模型训练与评估 我们将使用朴素贝叶斯方法来预测用户是否喜欢某个电影。 from sklearn.naive_bayes import GaussianNB from sklearn.metrics import f1_score, roc_auc_score, roc_curve # 训练模型 clf = GaussianNB() clf.fit(X_train, y_train) # 预测结果 y_pred = clf.predict(X_test) # 计算f1值和auc值 f1 = f1_score(y_test, y_pred) auc = roc_auc_score(y_test, y_pred) # 绘制ROC曲线 fpr, tpr, _ = roc_curve(y_test, y_pred) plt.plot(fpr, tpr) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('ROC Curve') plt.show() print('f1 score:', f1) print('auc:', auc) 以上代码使用GaussianNB模型训练,并预测测试集结果。然后计算f1值和auc值,并绘制ROC曲线。 最后,我们可以输出f1值和auc值,并查看ROC曲线。 完整的代码如下:
阅读全文

相关推荐

解释这段代码:import os.path as osp import pandas as pd import torch from sentence_transformers import SentenceTransformer from torch_geometric.data import HeteroData, download_url, extract_zip from torch_geometric.transforms import RandomLinkSplit, ToUndirected url = 'https://files.grouplens.org/datasets/movielens/ml-latest-small.zip' root = osp.join(osp.dirname(osp.realpath(__file__)), '../../data/MovieLens') extract_zip(download_url(url, root), root) movie_path = osp.join(root, 'ml-latest-small', 'movies.csv') rating_path = osp.join(root, 'ml-latest-small', 'ratings.csv') def load_node_csv(path, index_col, encoders=None, **kwargs): df = pd.read_csv(path, index_col=index_col, **kwargs) mapping = {index: i for i, index in enumerate(df.index.unique())} x = None if encoders is not None: xs = [encoder(df[col]) for col, encoder in encoders.items()] x = torch.cat(xs, dim=-1) return x, mapping def load_edge_csv(path, src_index_col, src_mapping, dst_index_col, dst_mapping, encoders=None, **kwargs): df = pd.read_csv(path, **kwargs) src = [src_mapping[index] for index in df[src_index_col]] dst = [dst_mapping[index] for index in df[dst_index_col]] edge_index = torch.tensor([src, dst]) edge_attr = None if encoders is not None: edge_attrs = [encoder(df[col]) for col, encoder in encoders.items()] edge_attr = torch.cat(edge_attrs, dim=-1) return edge_index, edge_attr class SequenceEncoder(object): # The 'SequenceEncoder' encodes raw column strings into embeddings. def __init__(self, model_name='all-MiniLM-L6-v2', device=None): self.device = device self.model = SentenceTransformer(model_name, device=device) @torch.no_grad() def __call__(self, df): x = self.model.encode(df.values, show_progress_bar=True, convert_to_tensor=True, device=self.device) return x.cpu() class GenresEncoder(object)

zip
此zip压缩包中包含了本毕业设计的全部内容,具体包括源代码、论文、数据库以及PPT模板。 配置好java环境就能跑,如需其他功能可自行扩展, 运行条件: 确保已安装JDK 1.8及以上版本,并配置好Java环境变量。 使用Eclipse或IntelliJ IDEA等IDE打开项目,并配置好Maven依赖。 在IDE中运行项目,确保所有服务正常启动。 环境说明: 开发语言:Java 框架:SSM(Spring、Spring MVC、MyBatis)和MyBatis JDK版本:JDK 1.8 开发软件:Eclipse或IntelliJ IDEA Maven包:Maven 3.3及以上版本 功能说明如下: 职员登录与退出: 职员可以通过登录页面进行身份验证,成功登录后可以访问系统提供的各项功能。 职员可以选择退出系统,退出后会话失效,需要重新登录才能访问系统功能。 浏览兽医及其专业特长: 职员可以查询兽医的详细信息,包括兽医的名称和专业特长。 提供输入查询条件的功能,如根据兽医名称进行查询。 浏览宠物主人的信息: 职员可以查询宠物主人的详细信息,包括宠物主人的姓名、地址、城市和电话号码。 提供输入查询条件的功能,如根据宠物主人的姓名进行查询。 更新宠物主人的信息: 职员可以编辑和更新宠物主人的信息,包括姓名、地址、城市和电话号码等。 更新后的信息会实时保存在系统中。 添加新客户: 职员可以通过填写相关信息来添加新的宠物主人客户。 添加成功后,新客户的信息会保存在系统中,并可供查询。 浏览宠物信息: 职员可以查询宠物的详细信息,包括宠物的名称、出生日期、类型和所属主人等。 提供输入查询条件的功能,如根据宠物的名称进行查询。 更新宠物信息: 职员可以编辑和更新宠物的信息,包括名称、出生日期和类型等。 更新后的宠物信息会实时保存在系统中。 添加新宠物: 职员可以通过填写相关信息来添加新的宠物。 添加成功后,新宠物的信息会保存在系统中,并可供查询。 浏览宠物的访问历史记录: 职员可以查询宠物的访问历史记录,包括访问日期和访问描述等。 提供根据宠物名称或ID进行查询的功能。 添加一次宠物的访问: 职员可以记录宠物的访问信息,包括访问日期和访问描述等。 添加成功后,新的访问记录会保存在系统中,并可供查询。

最新推荐

recommend-type

2001-2022年上市公司供应链及2017-2022年新三板供应链数据集-最新出炉.zip

1、资源特点 全新整理:今年全新力作,手工精心打磨。 权威数据:数据来自权威渠道,精准可靠。 放心引用:杜绝数据造假,品质保证。 2、适用人群 在校专科生、本科生、研究生、大学教师、学术科研工作者 3、适用专业 经济学、地理学、城市规划、公共政策、社会学、商业管理、工商管理等
recommend-type

1980-2023年中国地级市逆温数据(空气污染变量)(数据来自权威)

## 数据指标说明 指标说明: 数据集分析自NASA MERRA2卫星数据集,原始数据为全球42个气压层次下的气温,以6小时/次的频率采集,数据集代号M2I6NPANA。 本数据集的分析时间范围是1980至2023年.
recommend-type

(论文+PPT模板+数据库+源代码)宠爱乐园康复诊所(java毕业设计).zip

此zip压缩包中包含了本毕业设计的全部内容,具体包括源代码、论文、数据库以及PPT模板。 配置好java环境就能跑,如需其他功能可自行扩展, 运行条件: 确保已安装JDK 1.8及以上版本,并配置好Java环境变量。 使用Eclipse或IntelliJ IDEA等IDE打开项目,并配置好Maven依赖。 在IDE中运行项目,确保所有服务正常启动。 环境说明: 开发语言:Java 框架:SSM(Spring、Spring MVC、MyBatis)和MyBatis JDK版本:JDK 1.8 开发软件:Eclipse或IntelliJ IDEA Maven包:Maven 3.3及以上版本 功能说明如下: 职员登录与退出: 职员可以通过登录页面进行身份验证,成功登录后可以访问系统提供的各项功能。 职员可以选择退出系统,退出后会话失效,需要重新登录才能访问系统功能。 浏览兽医及其专业特长: 职员可以查询兽医的详细信息,包括兽医的名称和专业特长。 提供输入查询条件的功能,如根据兽医名称进行查询。 浏览宠物主人的信息: 职员可以查询宠物主人的详细信息,包括宠物主人的姓名、地址、城市和电话号码。 提供输入查询条件的功能,如根据宠物主人的姓名进行查询。 更新宠物主人的信息: 职员可以编辑和更新宠物主人的信息,包括姓名、地址、城市和电话号码等。 更新后的信息会实时保存在系统中。 添加新客户: 职员可以通过填写相关信息来添加新的宠物主人客户。 添加成功后,新客户的信息会保存在系统中,并可供查询。 浏览宠物信息: 职员可以查询宠物的详细信息,包括宠物的名称、出生日期、类型和所属主人等。 提供输入查询条件的功能,如根据宠物的名称进行查询。 更新宠物信息: 职员可以编辑和更新宠物的信息,包括名称、出生日期和类型等。 更新后的宠物信息会实时保存在系统中。 添加新宠物: 职员可以通过填写相关信息来添加新的宠物。 添加成功后,新宠物的信息会保存在系统中,并可供查询。 浏览宠物的访问历史记录: 职员可以查询宠物的访问历史记录,包括访问日期和访问描述等。 提供根据宠物名称或ID进行查询的功能。 添加一次宠物的访问: 职员可以记录宠物的访问信息,包括访问日期和访问描述等。 添加成功后,新的访问记录会保存在系统中,并可供查询。
recommend-type

基于LSTM神经网络的温度预测分析(源码+运行文档+说明文档)

基于LSTM神经网络的温度预测分析 介绍 基于LSTM神经网络的温度预测分析,探索使用LSTM神经网络对中国湖北省孝感市的气温进行预测,并且评估其预测精度。 软件架构 软件架构说明 安装教程 pip install --save pandas numpy sklearn tensorflow **目 录** . 课程背景及意义 2]() [2. 实验目的: 2]() [3. 数据集: 3]() [3.1 数据来源 3]() [3.2 数据清洗 4]() [3.3 数据标准化 4]() [4. 实验步骤: 5]() [4.1 数据获取 5]() [4.2 数据处理 7]() [4.3 LSTM模型构建与训练 10]() [5. 结果分析 18]() [6. 实验总结 21]() 1. # <a name="_toc168607535"></a><a name="_toc168607619"></a><a name
recommend-type

(数据来自权威)中国超300万人口大城市1米分辨率开放空间数据(2021年)

## 数据指标说明 城市开放空间(UOS)发挥着重要作用,特别是在社会和经济活动密集的地区。我们采用基于深度学习的微手动标注策略来绘制UOS地图,并制作中国39个人口超过300万的特大城市(即人口超过300万的特大城市)的2021年分辨率为1.19 m的UOS地图。包含“公园绿地”、“户外运动空间”、“交通空间”、“水体空间”、“背景”五个城市开放空间类别。OpenspaceGlobal产品可以促进人们更好地了解全球主要城市的人造空间表面,并促进城市宜居性评估、城市规划和可持续发展等功能。OpenspaceGlobal 产品可在适当引用的情况下免费用于非商业形式,包括科学研究和科学推广。 采集时间 2021 采集地点 中国 数据量 6.12 GiB 数据格式 tif 数据空间分辨率(/米) 1.19m
recommend-type

3dsmax高效建模插件Rappatools3.3发布,附教程

资源摘要信息:"Rappatools3.3.rar是一个与3dsmax软件相关的压缩文件包,包含了该软件的一个插件版本,名为Rappatools 3.3。3dsmax是Autodesk公司开发的一款专业的3D建模、动画和渲染软件,广泛应用于游戏开发、电影制作、建筑可视化和工业设计等领域。Rappatools作为一个插件,为3dsmax提供了额外的功能和工具,旨在提高用户的建模效率和质量。" 知识点详细说明如下: 1. 3dsmax介绍: 3dsmax,又称3D Studio Max,是一款功能强大的3D建模、动画和渲染软件。它支持多种工作流程,包括角色动画、粒子系统、环境效果、渲染等。3dsmax的用户界面灵活,拥有广泛的第三方插件生态系统,这使得它成为3D领域中的一个行业标准工具。 2. Rappatools插件功能: Rappatools插件专门设计用来增强3dsmax在多边形建模方面的功能。多边形建模是3D建模中的一种技术,通过添加、移动、删除和修改多边形来创建三维模型。Rappatools提供了大量高效的工具和功能,能够帮助用户简化复杂的建模过程,提高模型的质量和完成速度。 3. 提升建模效率: Rappatools插件中可能包含诸如自动网格平滑、网格优化、拓扑编辑、表面细分、UV展开等高级功能。这些功能可以减少用户进行重复性操作的时间,加快模型的迭代速度,让设计师有更多时间专注于创意和细节的完善。 4. 压缩文件内容解析: 本资源包是一个压缩文件,其中包含了安装和使用Rappatools插件所需的所有文件。具体文件内容包括: - index.html:可能是插件的安装指南或用户手册,提供安装步骤和使用说明。 - license.txt:说明了Rappatools插件的使用许可信息,包括用户权利、限制和认证过程。 - img文件夹:包含用于文档或界面的图像资源。 - js文件夹:可能包含JavaScript文件,用于网页交互或安装程序。 - css文件夹:可能包含层叠样式表文件,用于定义网页或界面的样式。 5. MAX插件概念: MAX插件指的是专为3dsmax设计的扩展软件包,它们可以扩展3dsmax的功能,为用户带来更多方便和高效的工作方式。Rappatools属于这类插件,通过在3dsmax软件内嵌入更多专业工具来提升工作效率。 6. Poly插件和3dmax的关系: 在3D建模领域,Poly(多边形)是构建3D模型的主要元素。所谓的Poly插件,就是指那些能够提供额外多边形建模工具和功能的插件。3dsmax本身就支持强大的多边形建模功能,而Poly插件进一步扩展了这些功能,为3dsmax用户提供了更多创建复杂模型的方法。 7. 增强插件的重要性: 在3D建模和设计行业中,增强插件对于提高工作效率和作品质量起着至关重要的作用。随着技术的不断发展和客户对视觉效果要求的提高,插件能够帮助设计师更快地完成项目,同时保持较高的创意和技术水准。 综上所述,Rappatools3.3.rar资源包对于3dsmax用户来说是一个很有价值的工具,它能够帮助用户在进行复杂的3D建模时提升效率并得到更好的模型质量。通过使用这个插件,用户可以在保持工作流程的一致性的同时,利用额外的工具集来优化他们的设计工作。
recommend-type

【R-Studio技术路径】:从RAID 5数据恢复基础到高级操作

![【R-Studio技术路径】:从RAID 5数据恢复基础到高级操作](https://www.primearraystorage.com/assets/raid-animation/raid-level-3.png) # 摘要 随着信息技术的发展,数据丢失问题日益突出,RAID 5作为常见的数据存储解决方案,其数据恢复技术显得尤为重要。本文首先介绍了RAID 5数据恢复的基础知识,然后详细解析了R-Studio软件的界面和核心功能,重点探讨了其在RAID 5数据恢复中的应用实践,包括磁盘镜像创建、数据提取、数据重组策略及一致性验证。进一步,本文还涉及了R-Studio的进阶技术,如脚本编
recommend-type

``` 定义1个圆类,成员有:1个半径成员变量,1个构造方法给成员变量赋初值,1个求面积方法。```定义1个圆类,成员有:1个半径成员变量,1个构造方法给成员变量赋初值,1个求面积方法。

当然,我们可以定义一个简单的`Circle`类,如下所示: ```java public class Circle { // 定义一个私有的半径成员变量 private double radius; // 构造方法,用于初始化半径 public Circle(double initialRadius) { this.radius = initialRadius; } // 求圆面积的方法 public double getArea() { return Math.PI * Math.pow(radiu
recommend-type

Ruby实现PointInPolygon算法:判断点是否在多边形内

资源摘要信息:"PointInPolygon算法的Ruby实现是一个用于判断点是否在多边形内部的库。该算法通过计算点与多边形边界交叉线段的交叉次数来判断点是否在多边形内部。如果交叉数为奇数,则点在多边形内部,如果为偶数或零,则点在多边形外部。库中包含Pinp::Point类和Pinp::Polygon类。Pinp::Point类用于表示点,Pinp::Polygon类用于表示多边形。用户可以向Pinp::Polygon中添加点来构造多边形,然后使用contains_point?方法来判断任意一个Pinp::Point对象是否在该多边形内部。" 1. Ruby语言基础:Ruby是一种动态、反射、面向对象、解释型的编程语言。它具有简洁、灵活的语法,使得编写程序变得简单高效。Ruby语言广泛用于Web开发,尤其是Ruby on Rails这一著名的Web开发框架就是基于Ruby语言构建的。 2. 类和对象:在Ruby中,一切皆对象,所有对象都属于某个类,类是对象的蓝图。Ruby支持面向对象编程范式,允许程序设计者定义类以及对象的创建和使用。 3. 算法实现细节:算法基于数学原理,即计算点与多边形边界线段的交叉次数。当点位于多边形内时,从该点出发绘制射线与多边形边界相交的次数为奇数;如果点在多边形外,交叉次数为偶数或零。 4. Pinp::Point类:这是一个表示二维空间中的点的类。类的实例化需要提供两个参数,通常是点的x和y坐标。 5. Pinp::Polygon类:这是一个表示多边形的类,由若干个Pinp::Point类的实例构成。可以使用points方法添加点到多边形中。 6. contains_point?方法:属于Pinp::Polygon类的一个方法,它接受一个Pinp::Point类的实例作为参数,返回一个布尔值,表示传入的点是否在多边形内部。 7. 模块和命名空间:在Ruby中,Pinp是一个模块,模块可以用来将代码组织到不同的命名空间中,从而避免变量名和方法名冲突。 8. 程序示例和测试:Ruby程序通常包含方法调用、实例化对象等操作。示例代码提供了如何使用PointInPolygon算法进行点包含性测试的基本用法。 9. 边缘情况处理:算法描述中提到要添加选项测试点是否位于多边形的任何边缘。这表明算法可能需要处理点恰好位于多边形边界的情况,这类点在数学上可以被认为是既在多边形内部,又在多边形外部。 10. 文件结构和工程管理:提供的信息表明有一个名为"PointInPolygon-master"的压缩包文件,表明这可能是GitHub等平台上的一个开源项目仓库,用于管理PointInPolygon算法的Ruby实现代码。文件名称通常反映了项目的版本管理,"master"通常指的是项目的主分支,代表稳定版本。 11. 扩展和维护:算法库像PointInPolygon这类可能需要不断维护和扩展以适应新的需求或修复发现的错误。开发者会根据实际应用场景不断优化算法,同时也会有社区贡献者参与改进。 12. 社区和开源:Ruby的开源生态非常丰富,Ruby开发者社区非常活跃。开源项目像PointInPolygon这样的算法库在社区中广泛被使用和分享,这促进了知识的传播和代码质量的提高。 以上内容是对给定文件信息中提及的知识点的详细说明。根据描述,该算法库可用于各种需要点定位和多边形空间分析的场景,例如地理信息系统(GIS)、图形用户界面(GUI)交互、游戏开发、计算机图形学等领域。
recommend-type

【R-Studio恢复工具解析】:RAID 5恢复的功能优势与实际应用

![【R-Studio恢复工具解析】:RAID 5恢复的功能优势与实际应用](https://www.stellarinfo.com/blog/wp-content/uploads/2023/10/RAID-5-Advantages-and-Disadvantages.jpg) # 摘要 RAID 5技术因其高效的数据存储和容错能力被广泛应用。然而,数据丢失问题仍时有发生,R-Studio作为一种功能强大的恢复工具,为解决这一问题提供了有效的技术方案。本文概述了RAID 5的基本概念、R-Studio的理论基础及其数据恢复原理。通过分析R-Studio的主要功能和恢复流程,本文还探讨了该工具