对Superstore.xls进行高斯分布的异常检测代码

时间: 2024-03-26 14:35:18 浏览: 18
好的,以下是基于Python的对Superstore.xls进行高斯分布的异常检测的代码示例: ```python import pandas as pd import numpy as np from scipy import stats # 读取数据 data = pd.read_excel('Superstore.xls') # 提取需要进行异常检测的特征列 feature_cols = ['Sales', 'Profit'] X = data[feature_cols] # 数据预处理,对数据进行归一化 X = (X - X.mean()) / X.std() # 建立高斯分布模型 mu = X.mean(axis=0) sigma = X.cov() # 计算每个样本点的异常得分 p = stats.multivariate_normal(mu, sigma).pdf(X) scores = -np.log(p) # 设定阈值,将得分低于该阈值的样本点判定为异常点 threshold = np.percentile(scores, 5) anomalies = X[scores > threshold] # 可视化展示 print('异常点个数:', len(anomalies)) print(anomalies) ``` 这段代码中,我们首先读取了Superstore.xls文件中的数据,然后提取了需要进行异常检测的两个特征列(Sales和Profit)进行预处理,即进行了归一化操作。接着,我们根据预处理后的数据建立了高斯分布模型,然后利用该模型计算了每个样本点的异常得分。根据设定的阈值,将得分低于该阈值的样本点判定为异常点,并进行了可视化展示。

相关推荐

数据来源为kaggle平台,这是一份全球大型超市四年的零售数据集,数据详尽。数据集为 “superstore_dataset2011-2015.csv”,共有51290条数据,共24个特征。数据集字段说明如下: Row ID Order ID Order Date Ship Date Ship Mode Customer ID 行号 订单号 订单日期 发货日期 运送方式 客户号 Customer Name Segment City State Country Postal Code 客户姓名 市场细分 城市 州 国家 邮编 Market Region Product ID Category Sub-Category Product Name 市场 地区 产品ID 商品类别 子类别 商品名称 Sales Quantity Discount Profit Shipping Cost Order Priority 销售额 销量 折扣 利润 运费 订单优先级 任务一 数据清洗 1.读取superstore_dataset2011-2015.csv,查看数据记录总条数、总字段数,并输出前5条数据; 2.对列名进行一下重命名,采用下划线命名法,使其符合Python的命名规范; 3.为了方便数据统计,将销量额、折扣、利润改为浮点型,销量改为整数; 4.下单日期改为日期类型; 5.为了便于分析每年和每月的销售情况,增加年份列和月份列; 6.创建销售统计数据集,包含订单号、下单日期、客户ID、地区、销售额、销量、利润、年份、月份信息,并将数据保存到superstore.db数据库中sales表; 7.创建商品统计数据集,包含订单号、商品ID、商品类别、商品子种类、销售额、销量、利润,并将数据保存到superstore.db数据库中products表; 8.创建用户统计数据集,包含订单号、订单日期、用户ID、类别、销售额、销量、利润、年、月,将数据保存到superstore.db数据库中customer表。

请在在以下代码中添加可以标准化新字段“R”、“F”、“M”数据的代码:import numpy as np import pandas as pd import matplotlib.pyplot as plt from datetime import datetime plt.rcParams["font.sans-serif"]=["Microsoft YaHei"] #设置字体 plt.rcParams["axes.unicode_minus"]=False #解决"-"负号乱码问题 import warnings warnings.filterwarnings('ignore') import pandas as pd # 读取Excel文件,并将“订单”工作表读取为数据框 df = pd.read_excel('/home/mw/input/superstore8223/商城详细销售数据.xls', sheet_name='订单') # 输出数据框的基本信息 print("数据框的行数:", df.shape[0]) # 行数 print("数据框的列数:", df.shape[1]) # 列数 print("数据框的字段名称:", df.columns.tolist()) # 字段名称 print("数据框的字段类型:", df.dtypes.tolist()) # 字段类型 print("数据框的前5行:\n", df.head()) # 前5行数据 df = pd.read_excel('/home/mw/input/superstore8223/商城详细销售数据.xls') df_rfm = df.groupby('客户 ID').agg({'销售额':sum,'订单日期':[pd.Series.nunique,'max']}) ##计算 F、M df_rfm.columns = df_rfm.columns.droplevel() df_rfm.columns = ['Amount','Frequency','Time'] df_rfm['Amount'] = df_rfm['Amount'].map(lambda x:round(x,2)) statistics_date = datetime.strptime('2019-01-06',"%Y-%m-%d") df_rfm['Last_purchase'] = df_rfm['Time'].map(lambda x:(statistics_date - x).days) ##计算 R data = df_rfm[['Last_purchase','Frequency','Amount']] data.columns = ['R','F','M'] data.to_excel('RFM_data.xlsx')

最新推荐

recommend-type

setuptools-33.1.1-py2.py3-none-any.whl

Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
recommend-type

超级简单的地图操作工具开发可疑应急,地图画点,画线,画区域,获取地图经纬度等

解压密码:10086007 参考:https://blog.csdn.net/qq_38567039/article/details/138872298?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22138872298%22%2C%22source%22%3A%22qq_38567039%22%7D 获取地图经纬度等 超级简单的地图操作工具开发可疑应急,echars的地图画点,画线,画区域 <script type="text/javascript" src="echarts.min.js"></script> <!-- Uncomment this line if you want to use map--> <script type="text/javascript" src="china.js"></script> <script type="text/javascript" src="world.js"></script>
recommend-type

java进销存管理系统(jsp+mssql).zip

java进销存管理系统(jsp+mssql)
recommend-type

launcher (1).apk

launcher (1).apk
recommend-type

setuptools-38.4.0-py2.py3-none-any.whl

Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

解释minorization-maximization (MM) algorithm,并给出matlab代码编写的例子

Minorization-maximization (MM) algorithm是一种常用的优化算法,用于求解非凸问题或含有约束的优化问题。该算法的基本思想是通过构造一个凸下界函数来逼近原问题,然后通过求解凸下界函数的最优解来逼近原问题的最优解。具体步骤如下: 1. 初始化参数 $\theta_0$,设 $k=0$; 2. 构造一个凸下界函数 $Q(\theta|\theta_k)$,使其满足 $Q(\theta_k|\theta_k)=f(\theta_k)$; 3. 求解 $Q(\theta|\theta_k)$ 的最优值 $\theta_{k+1}=\arg\min_\theta Q(
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。