spark streaming 用到mysql数据怎么加载?
spark streaming需要用到mysql的数据,将查询到的mysql数据转换成数据集和实时数据进行连接,mysql数据时刻变动,所以不用广播变量
应该怎么做呢?
结合sparksql,用sparksql从mysql中读取?
在dstream的transform/transformToPair中进行jdbc加载,然后再用SparkContext将其parallelize?
还是什么其他方法?
大神们路过请给小弟解答一下。。。。。。