Scala实现SparkSQL：数据查询与操作

sparkSQL 有两种方式：

1、case class方式

对于case class方式，首先要定义case class，在RDD的transform过程中使用case class可以隐式转化成SchemaRDD，然后再使用registerTempTable注册成表。注册成表后就可以在sqlContext对表进行 操作，如select 、insert、join等。注意，case class可以是嵌套的，也可以使用类似Sequences 或 Arrays之类复杂的数据类型。

       //首先创建sqlContext，并引入sqlContext.createSchemaRDD以完成RDD隐式转换成SchemaRDD
        val?sqlContext=?new?org.apache.spark.sql.SQLContext(sc)??
         import?sqlContext.createSchemaRDD?? //引入sqlContext.createSchemaRDD

      //定义case class 类，，相当于实于类，与装载的文件的内容字段相对应
      case class Person (phone:String,name:String,age:Int,sex:String,arpu:Int)
     
     //装载文件，注意兰色部分字段内容的对应
     val rddpeople=sc.textFile("C:\\2out\\spar.txt").map(_.split(",")).map(p=>Person(p(0),p(1),p(2).trim.toInt,p(3),p(4).trim.toInt))
     
     //注册成表名为：rddTable 的表
    rddpeople.registerTempTable("rddTable")

   //执行表查询
    sqlContext.sql("SELECT name FROM rddTable WHERE age >= 13 AND age <= 50").map(t => "Name: " + t(0)).collect().foreach(println)
    
  执行上条词句就在控制台打印结果，如不需要打印结果，而是将结果输出到文件，就执行如下语句：
    
    val  result1=sqlContext.sql("SELECT name FROM rddTable WHERE age >= 13 AND age <= 50").map(t => "Name: " + t(0))     //不需要collect提交

   //保存到文件
   result1.saveAsTextFile("C:\\cal\\222")   //注意：这个与hadoop一样，输出目录是不存在的，程序自己创建，如果存在就报错