第 1,2 章
1.Apache Spark 包含哪些重要的库?
SQL, MLlib, GraphX, SparkStreaming。
2.Scala 语言是基于哪一门语言的?
Java。
3.Scala 语言中的 val 和 var 有什么区别?
val 是值,程序运行中不能改变,var 是变量。程序运行过程中值可能改变。
4.简述 Spark 的数据核心技术 RDD 的概念,其全称和中文翻译,用那个方法可以将 Scala 的
数据对象转化成 RDD 格式?
RDD 全称为 Resilient Distributed Dataset。中文翻译为弹性分布式数据集,指分布在不同
机器上的数据的汇总,这个数据集允许某些机器上的数据出现问题,通过其他机器上的数据拷
贝来重现构建。
例如读取外部文件创建:或者用 parallelize 方法
val distData=sc.textFile( “data.txt")
val numbers=List(1,2,3,4,5)
val rddExample=sc.parallelize(numbers)
5. RDD 类的 count,first,take 方法分别有什么作用?
Count 计算 RDD 中元素个数,first 返回 RDD 第一个元素,take(n)返回 RDD 前 n 个元素。
6. 运用 Breeze 包的类创建长为 10 的双精度稠密零向量和 2*3 的整数型列密矩阵
val a= DenseVectoy. zeros[Double](10)
val b =DenseMatrix. zeros[Int](2,3)
7.使用 Breeze 的哪个包可以产生常用的分布?写出引用包的语句.写出程序语句完成以下功
能:产生 100 个满足泊松分布的随机数.
解
distribution 包.
import breeze.stats.distributions.
val MyPoisson = new Poisson(2.0)
val RandNumbers = MyPoisson.sample(100)
8.举出 Breeze 的程序包支持的 3 个常用分布
Bernoulli(p)、Beta(a,b)、二项 Binomial(n,p),狄利克雷 Dirichlet(T),正态 Gaussian
(μ,σ²),多元正态 MultivariateGaussian(μ,∑),泊松 Poission(λ),幂分布,均匀分
布 Unif(a,b),学生分布 StudentT(d)
第 3 章
9.陈述逆累积分布法的主要定理,并证明它.