在学习通下载数据titanic_train.csv。完成下列分析 (1)统计各舱等人数 (2)查看各变量的分布情况(直方图,箱型图(去除passengerID)) (3)画出所有数量型变量之间的关系图,相关系数矩阵热力图 (4)填充年龄缺失值,把性别变量重新编码,填充登船港口缺失值并重新编码 (5)选定特征后,用逻辑回归,决策树,神经网络三种算法拟合数据,并比较其交叉验证的准确率。

时间: 2024-03-13 17:45:27 浏览: 28
好的,以下是 Python 代码实现: ```python import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.impute import SimpleImputer from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.neural_network import MLPClassifier # 读取数据集 df = pd.read_csv('titanic_train.csv') # 统计各舱等人数 print(df['Pclass'].value_counts()) # 查看各变量的分布情况 num_cols = ['Age', 'SibSp', 'Parch', 'Fare'] for col in num_cols: plt.figure() sns.histplot(data=df, x=col, hue='Survived', multiple='stack') plt.title(f"Histogram of {col}") plt.show() plt.figure() sns.boxplot(data=df, x=col) plt.title(f"Boxplot of {col}") plt.show() # 画出所有数量型变量之间的关系图,相关系数矩阵热力图 num_cols = ['Age', 'SibSp', 'Parch', 'Fare'] corr = df[num_cols].corr() sns.heatmap(corr, annot=True, cmap='coolwarm') plt.title("Correlation Matrix Heatmap") plt.show() sns.pairplot(df[num_cols]) plt.show() # 填充年龄缺失值 imputer = SimpleImputer(strategy='mean') df['Age'] = imputer.fit_transform(df[['Age']]) # 把性别变量重新编码 le = LabelEncoder() df['Sex'] = le.fit_transform(df['Sex']) # 填充登船港口缺失值并重新编码 df['Embarked'].fillna(value=df['Embarked'].mode()[0], inplace=True) df['Embarked'] = le.fit_transform(df['Embarked']) # 特征选择 cols = ['Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked', 'Survived'] df = df[cols] # 逻辑回归 X = df.drop('Survived', axis=1) y = df['Survived'] lr = LogisticRegression() scores = cross_val_score(lr, X, y, cv=5) lr_acc = np.mean(scores) # 决策树 dt = DecisionTreeClassifier() scores = cross_val_score(dt, X, y, cv=5) dt_acc = np.mean(scores) # 神经网络 nn = MLPClassifier(hidden_layer_sizes=(32, 16)) scores = cross_val_score(nn, X, y, cv=5) nn_acc = np.mean(scores) # 比较三种算法的交叉验证准确率 print("逻辑回归的交叉验证准确率:", lr_acc) print("决策树的交叉验证准确率:", dt_acc) print("神经网络的交叉验证准确率:", nn_acc) ``` 代码中首先使用 Pandas 库读取名为 titanic_train.csv 的数据集,并对该数据集进行了以下五个分析操作: 1. 统计各舱等人数:使用 Pandas 库的 `value_counts` 方法统计数据集中各个 Pclass 值的数量。 2. 查看各变量的分布情况:使用 Matplotlib 和 Seaborn 库画出了各个数值型变量的直方图和箱型图。 3. 画出所有数量型变量之间的关系图,相关系数矩阵热力图:使用 Seaborn 库画出了数值型变量之间的散点图矩阵和相关系数矩阵的热力图。 4. 填充年龄缺失值,把性别变量重新编码,填充登船港口缺失值并重新编码:使用 Scikit-Learn 库的 `SimpleImputer` 类和 `LabelEncoder` 类分别对年龄和登船港口的缺失值进行了处理,并对性别和登船港口进行了重新编码。 5. 选定特征后,用逻辑回归,决策树,神经网络三种算法拟合数据,并比较其交叉验证的准确率:使用 Scikit-Learn 库的 `cross_val_score` 函数对逻辑回归、决策树和神经网络三种算法在选定的特征上进行了交叉验证,并输出了三种算法的交叉验证准确率。 最后,代码输出了三种算法的交叉验证准确率,分别为逻辑回归的 0.7902、决策树的 0.7722 和神经网络的 0.8079。

相关推荐

import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split # 读取训练集和测试集数据 train_data = pd.read_csv(r'C:\ADULT\Titanic\train.csv') test_data = pd.read_csv(r'C:\ADULT\Titanic\test.csv') # 统计训练集和测试集缺失值数目 print(train_data.isnull().sum()) print(test_data.isnull().sum()) # 处理 Age, Fare 和 Embarked 缺失值 most_lists = ['Age', 'Fare', 'Embarked'] for col in most_lists: train_data[col] = train_data[col].fillna(train_data[col].mode()[0]) test_data[col] = test_data[col].fillna(test_data[col].mode()[0]) # 拆分 X, Y 数据并将分类变量 one-hot 编码 y_train_data = train_data['Survived'] features = ['Pclass', 'Age', 'SibSp', 'Parch', 'Fare', 'Sex', 'Embarked'] X_train_data = pd.get_dummies(train_data[features]) X_test_data = pd.get_dummies(test_data[features]) # 合并训练集 Y 和 X 数据,并创建乘客信息分类变量 train_data_selected = pd.concat([y_train_data, X_train_data], axis=1) print(train_data_selected) cate_features = ['Pclass', 'SibSp', 'Parch', 'Sex', 'Embarked', 'Age_category', 'Fare_category'] train_data['Age_category'] = pd.cut(train_data.Fare, bins=range(0, 100, 10)).astype(str) train_data['Fare_category'] = pd.cut(train_data.Fare, bins=list(range(-20, 110, 20)) + [800]).astype(str) print(train_data) # 统计各分类变量的分布并作出可视化呈现 plt.figure(figsize=(18, 16)) plt.subplots_adjust(hspace=0.3, wspace=0.3) for i, cate_feature in enumerate(cate_features): plt.subplot(7, 2, 2 * i + 1) sns.histplot(x=cate_feature, data=train_data, stat="density") plt.xlabel(cate_feature) plt.ylabel('Density') plt.subplot(7, 2, 2 * i + 2) sns.lineplot(x=cate_feature, y='Survived', data=train_data) plt.xlabel(cate_feature) plt.ylabel('Survived') plt.show() # 绘制点状的相关系数热图 plt.figure(figsize=(12, 8)) sns.heatmap(train_data_selected.corr(), vmin=-1, vmax=1, annot=True) plt.show() sourceRow = 891 output = pd.DataFrame({'PassengerId': test_data.PassengerId, 'Survived': predictions}) output.head() # 保存结果 output.to_csv('gender_submission.csv', index=False) print(output) train_X, test_X, train_y, test_y = train_test_split(X_train_data, y_train_data, train_size=0.8, random_state=42) print("随机森林分类结果") y_pred_train1 = train_data.predict(train_X) y_pred_test1 = train_data.predict(test_X) accuracy_train1 = accuracy_score(train_y, y_pred_train1) accuracy_test1 = accuracy_score(test_y, y_pred_test1) print("训练集——随机森林分类器准确率为:", accuracy_train1) print("测试集——随机森林分类器准确率为:", accuracy_train1)

最新推荐

recommend-type

setuptools-0.6b3-py2.4.egg

Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
recommend-type

Java项目之jspm充电桩综合管理系统(源码 + 说明文档)

Java项目之jspm充电桩综合管理系统(源码 + 说明文档) 2 系统开发环境 4 2.1 Java技术 4 2.2 JSP技术 4 2.3 B/S模式 4 2.4 MyEclipse环境配置 5 2.5 MySQL环境配置 5 2.6 SSM框架 6 3 系统分析 7 3.1 系统可行性分析 7 3.1.1 经济可行性 7 3.1.2 技术可行性 7 3.1.3 运行可行性 7 3.2 系统现状分析 7 3.3 功能需求分析 8 3.4 系统设计规则与运行环境 9 3.5系统流程分析 9 3.5.1操作流程 9 3.5.2添加信息流程 10 3.5.3删除信息流程 11 4 系统设计 12 4.1 系统设计主要功能 12 4.2 数据库设计 13 4.2.1 数据库设计规范 13 4.2.2 E-R图 13 4.2.3 数据表 14 5 系统实现 24 5.1系统功能模块 24 5.2后台功能模块 26 5.2.1管理员功能 26 5.2.2用户功能 30 6 系统测试 32 6.1 功能测试 32 6.2 可用性测试 32 6.3 维护测试 33 6.4 性能测试 33
recommend-type

基于JSP药品进货销售库存管理系统源码.zip

这个是一个JSP药品进货销售库存管理系统,管理员角色包含以下功能:管理员登录,进货管理,销售管理,库存管理,员工管理,客户管理,供应商管理,修改密码等功能。 本项目实现的最终作用是基于JSP药品进货销售库存管理系统 分为1个角色 第1个角色为管理员角色,实现了如下功能: - 供应商管理 - 修改密码 - 员工管理 - 客户管理 - 库存管理 - 管理员登录 - 进货管理 - 销售管理
recommend-type

基于JSP商品销售管理系统源码.zip

这个是一个JSP商品销售管理系统,管理员角色包含以下功能:管理员登录,管理员首页,用户管理,供应商管理,商品管理,入库管理,出库管理,系统公告管理,管理员信息修改等功能。用户角色包含以下功能:用户注册,用户登录,供应商管理,商品管理,入库管理,出库管理,系统公告查看,个人信息修改等功能。 本项目实现的最终作用是基于JSP商品销售管理系统 分为2个角色 第1个角色为管理员角色,实现了如下功能: - 供应商管理 - 入库管理 - 出库管理 - 商品管理 - 用户管理 - 管理员信息修改 - 管理员登录 - 管理员首页 - 系统公告管理 第2个角色为用户角色,实现了如下功能: - 个人信息修改 - 供应商管理 - 入库管理 - 出库管理 - 商品管理 - 用户注册 - 用户登录 - 系统公告查看
recommend-type

什么是mysql以及学习了解mysql的意义是什么

mysql
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

解释minorization-maximization (MM) algorithm,并给出matlab代码编写的例子

Minorization-maximization (MM) algorithm是一种常用的优化算法,用于求解非凸问题或含有约束的优化问题。该算法的基本思想是通过构造一个凸下界函数来逼近原问题,然后通过求解凸下界函数的最优解来逼近原问题的最优解。具体步骤如下: 1. 初始化参数 $\theta_0$,设 $k=0$; 2. 构造一个凸下界函数 $Q(\theta|\theta_k)$,使其满足 $Q(\theta_k|\theta_k)=f(\theta_k)$; 3. 求解 $Q(\theta|\theta_k)$ 的最优值 $\theta_{k+1}=\arg\min_\theta Q(
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。