Spark并行计算框架提出的技术有

Spark并行计算框架提出的技术有自适应缓存管理策略(SACM)和自动检查点策略。其中，自适应缓存管理策略可以自动识别并缓存高重用度数据，采用更细致的度量方法和缓存替换算法，提高了任务的执行效率；自动检查点策略通过对RDD属性的分析，提出了权重生成算法和检查点自动选择算法，可以自动选择检查点，避免了手动选择检查点的风险和随机性，减小了恢复开销。

相关问题

spark并行计算 推荐书

推荐的关于Spark并行计算的书籍是《Advanced Analytics with Spark》。这本书涵盖了Spark技术栈的应用，包括Spark SQL、Spark Streaming和Spark机器学习。特别是其中提到的第九章到十一章，讲述了Spark技术在场景应用中的具体应用。如果想要深入学习Spark机器学习，可以结合第二本书一起阅读，这两本书可以相互补充，帮助读者更好地理解Spark的核心编程知识。此外，《Advanced Analytics with Spark》还有关于推荐系统的设计的章节，可以作为推荐系统入门经典的参考。

如何搭建hadoop+Spark大数据计算框架

搭建Hadoop和Spark大数据计算框架需要以下步骤：

1. 安装VMware虚拟机软件并创建虚拟机
首先需要下载并安装VMware虚拟机软件，并创建一个虚拟机，可以选择Linux操作系统，如CentOS、Ubuntu等。

2. 安装JDK和配置环境变量
Hadoop和Spark都需要Java环境支持，因此需要先安装JDK，并配置JAVA_HOME环境变量。

3. 下载Hadoop和Spark安装包
在官网下载Hadoop和Spark的安装包，分别解压到指定目录。

4. 配置Hadoop集群
配置Hadoop集群需要修改Hadoop的配置文件，如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，以及创建Hadoop用户、格式化HDFS等。

5. 配置Spark集群
配置Spark集群需要修改Spark的配置文件，如spark-env.sh、spark-defaults.conf等，以及启动Spark集群的master和worker节点。

6. 测试Hadoop和Spark集群
首先需要启动Hadoop集群的NameNode和DataNode节点，并测试HDFS是否能正常工作。然后启动Spark集群的master和worker节点，并测试Spark是否能正常工作。

以上是搭建Hadoop和Spark大数据计算框架的基本步骤，具体实现过程可能会因为环境和版本的不同而有所差异，需要根据具体情况进行调整。