![](https://csdnimg.cn/release/download_crawler_static/85577205/bg1.jpg)
从互联网巨头数据挖掘类招聘笔试题目看我们还差多少知识
1 从阿里数据分析师笔试看职业要求
以下试题是来自阿里巴巴招募实习生的一次笔试题,从笔试题的几个要求我们一
起来看看数据分析的职业要求。
一、异常值是指什么?请列举 1 种识别连续型变量异常值的方法?
异常值(Outlier) 是指样本中的个别值,其数值明显偏离所属样本的其余观测
值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定
值。
Grubbs’ test(是以 Frank E. Grubbs 命名的),又叫 maximum normed residual
test,是一种用于单变量数据集异常值识别的统计检测,它假定数据集来自正态
分布的总体。
未知总体标准差σ,在五种检验法中,优劣次序为:t 检验法、格拉布斯检验法、
峰度检验法、狄克逊检验法、偏度检验法。
点评:考察的内容是统计学基础功底。
二、什么是聚类分析?聚类算法有哪几种?请选择一种详细描述其计算原理和步
骤。
聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)
的统计分析技术。 聚类分析也叫分类分析(classification analysis)或数值分
类(numerical taxonomy)。聚类与分类的不同在于,聚类所要求划分的类是未知
的。
聚类分析计算方法主要有:层次的方法(hierarchical method)、划分方法
(partitioning method)、基于密度的方法(density-based method)、基于
网格的方法(grid-based method)、基于模型的方法(model-based method)
等。其中,前两种算法是利用统计学定义的距离进行度量。
k-means 算法的工作过程说明如下:首先从 n 个数据对象任意选择 k 个对象作
为初始聚类中心;而对于所剩下其它对象,则根据它们与这些聚类中心的相似度
(距离),分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然 后
再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一
过程直到标准测度函数开始收敛为止。一般都采用均方差(标准差)作为标准测度