sparkstream 接收处理多数据源

2014-08-20 11:46:11 404 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

AXI VIP配置全指南：从报错到成功仿真的完整流程（Vivado 2023版）本文详细解析了在Vivado 2023环境中配置AXI Verification IP（VIP）进行协议仿真的完整流程。针对常见的include和import报错问题，提供了具体的解决方案和代码示例，指导用户从IP核创建、参数化配置，到构建可工作的仿真测试平台，最终实现成功仿真。阅读详情

spark新手，如何在driver 中接收多个stream，比如spark example中JavaNetworkWordCount例子



  SparkConf sparkConf = new SparkConf().setAppName("JavaNetworkWordCount");

    JavaStreamingContext ssc = new JavaStreamingContext(sparkConf,  new Duration(10000));

    JavaReceiverInputDStream<String> lines = ssc.socketTextStream(

    		host, ip,  StorageLevels.MEMORY_ONLY);

这个只接收了一个数据源的流，在官网上有查到可以支持多源接收，但是没有给出例子，本以为可以按如下实现



  SparkConf sparkConf = new SparkConf().setAppName("JavaNetworkWordCount");

    JavaStreamingContext ssc = new JavaStreamingContext(sparkConf,  new Duration(10000));

    JavaReceiverInputDStream<String> lines = ssc.socketTextStream(

    		host1, ip1,  StorageLevels.MEMORY_ONLY);

    JavaReceiverInputDStream<String> lines2 = ssc.socketTextStream(

    		host2, ip2,  StorageLevels.MEMORY_ONLY);

   

 JavaDStream<String> words = lines.union(lines1);//利用union来合并

但发现这种方式不行，union后的transform操作都不再执行。
另外发现csdn上spark模块问题好少，有没有其他论坛可以交流，stackoverflow需要翻墙才能体问，dt！

...全文