spark map

[u013067749]

Spark 中map(func)中的算子，如何做好一个模板，配置文件
def func()={config}，程序调用的config文件，然后map(func)就可以使用了

[爱学习的旺旺]

只是传入的是一个func，自己编译的时候没有编译通过

[LinkSe7en]

引用 2 楼 u013067749 的回复:

只是传入的是一个func，自己编译的时候没有编译通过

你直接写的lambda表达式，实际上是一个函数接口的匿名类。编译器自动给你完成了，所以你感觉丢进去的是代码。 比如rdd.map( row -> row.toString() ) 实际上是rdd.map(new Function<T,R>() { public R call(T row) { return row.toString();} }); 你要实现的，就是动态生成一个实现Function接口的类的Java或Scala代码，然后运行时编译，动态类装载，然后通过反射获得这个类的实例

[爱学习的旺旺]

def func() = { config[String]("map", _configParams) } override def result(alg: util.List[Processor[T]], ref: util.List[Strategy[T]], middleResult: util.List[T], params: util.Map[Any, Any]): util.List[T] = { val dstream = middleResult(0).asInstanceOf[DStream[S]] val _num = func().get val newDstream = dstream.map(_num) List(newDstream.asInstanceOf[T]) }

[LinkSe7en]

Java可以运行时编译代码，然后通过ClassLoader装载你的生成类，然后通过反射获得类实例，丢进去就可以了

[爱学习的旺旺]

您有没有写过类似的哈，自己写的，感觉没理解反射的感念，没写对。