各节点共享SQLContext问题。

[brockpeng]

object Test {
  def main(array: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("测试测试")
      //.setMaster("spark://192.168.2.232:7077")
     // .setJars(Array[String]("file://D:/ideaWorkspace/GDBigDAtaSpark_2/out/artifacts/GDBigDAtaSpark_2_jar/GDBigDAtaSpark_1.jar"))
    val sc = new SparkContext(conf)
    val sparkSQL = new SQLContext(sc)
    val schema = StructType(
      StructField("id", StringType, false) ::
        StructField("name", StringType, false) :: Nil
    )
    val rdd = sc.textFile("hdfs://192.168.2.232:8020/user/hive/warehouse/t_test").map(x => x.split("\u0001")).map(r => Row(r(0), r(1)))
    sparkSQL.createDataFrame(rdd, schema).registerTempTable("t_test")
    val df = sparkSQL.sql("select * from t_test")
    //val df = sparkSQL.value.sql("select * from t_test")
    df.foreach(row => {
      println(s"主键=${row(0).toString}")
      import sparkSQL.implicits._
      sparkSQL.sql(s"select * from t_test where id=${row(0).toString}")
    })
  }
}

各位spark大神帮看看， 我在DataFrame遍历时想读取另一个表的数据，但SQLContext会报空指针，请问这该如何解决。
sparkSQL.sql(s"select * from t_test where id=${row(0).toString}")
这一行 会报空指异常。

[brockpeng]

有大神指点一下吗，还是我编程方式和思维不对。

[qq_36722219]

ssssss

[LinkSe7en]

不能在算子里引用SparkContext（包括SQLContext）。换个思路，你这需求可以简单的用SQL join来实现

[qq_25729999]

RDD里不能引用RDD，如果另一个表不大，用广播变量，否则用join来实现