spark shell 初始化为sqlcontext

Spark shell是一个交互式的命令行工具，可以用来开发Spark应用程序。通过Spark shell，用户可以交互式地探索数据，测试Spark API，并快速地开发和测试Spark应用。

在Spark shell初始化为sqlcontext，意味着在Spark shell中可以使用SQL API进行分析和处理数据。SQLContext是Spark SQL的主要入口点，它可以用来与结构化数据进行交互，并执行SQL查询。

要初始化Spark shell为sqlcontext，可以在shell中输入以下命令：

$ spark-shell --packages com.databricks:spark-csv_2.10:1.5.0 --conf spark.sql.shuffle.partitions=8 --conf spark.default.parallelism=480 --driver-memory 1g --executor-memory 2g --executor-cores 2 --num-executors 20 --master yarn --deploy-mode client --queue xxx --name test-spark

其中，--packages参数指定导入的包，这里导入的是Databricks提供的spark-csv包，用于处理CSV格式的数据。--conf参数用于设置配置信息，例如我们可以设置spark.sql.shuffle.partitions参数来控制shuffle操作的并行度，从而提高Spark SQL的性能。其他参数则是通用的Spark参数，可以根据具体需求进行设置。

初始化完成后，我们就可以使用Spark SQL来处理数据了。例如，可以使用以下代码读取CSV格式的数据：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("path/to/csv")

通过以上代码，我们使用Spark SQL提供的read方法读取CSV格式的数据，并通过option方法设置读取参数。最后，我们将数据加载到DataFrame中。

总之，Spark shell初始化为sqlcontext，可以让我们使用Spark SQL来处理数据，从而更方便地进行数据分析和管理。