spark local 使用
时间: 2023-11-14 19:03:28 浏览: 87
Spark的Local运行模式是指在本地一台机器的虚拟机中运行Spark的所有进程,无需任何资源管理器。它主要用于测试目的,使用单机的多个线程来模拟Spark分布式计算。在本地模式下,可以直接使用Spark的Local运行模式,无需启动Hadoop。如果需要使用HDFS,需要先启动Hadoop/HDFS。在终端窗口中,可以使用以下命令来运行Spark自带的示例程序:
1. 进入Spark安装目录:cd /data/bigdata/spark-2.3.2
2. 运行示例程序:./bin/run-example SparkPi
这样就可以验证Spark是否安装成功,并在本地模式下运行Spark任务。
#### 引用[.reference_title]
- *1* [Spark Local模式安装](https://blog.csdn.net/feizuiku0116/article/details/122687814)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [Spark源码阅读04-Spark运行架构之Local运行模式](https://blog.csdn.net/weixin_44480968/article/details/121892966)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [Spark本地环境搭建(local模式)](https://blog.csdn.net/qq_44807756/article/details/125551698)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文