如何把RDD转换成可以广播的变量

林重言 2015-08-03 10:54:40

我把 SparkContext instance 转成RDD 经过处理得到想要的中间数据，而这中间数据需要被各节点共享，我该如何操作，才能把它广播出去？详细点说是，我们根据log文件读取出所有被冻结的账户，而这些被冻结的账户需要被共享，这样的话好进行判断。

谢谢各位，小弟初入门庭，还望大家不吝指导。

...全文

490 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

人生偌只如初见 2015-09-05

打赏
举报

回复

sc.broadcast

wingerliwei 2015-08-31

打赏
举报

回复

就看你各个机器是想怎么用这个数据，比如可以把他输出到HDFS中，这样每个机器再从HDFS里读取就行了。还是需要具体看你怎么用数据

在 Spark 中，广播变量可以通过 broadcast 方法创建，例如 `val broadcastVar = sc.broadcast(Array(1, 2, 3))`。广播变量可以用来实现数据共享和同步。四、使用累加器实现聚合操作在 Spark 中，累加器可以用来...

- **Broadcast（广播变量）**: 用于将只读的大变量广播到每个工作节点，而不是复制到每个任务中。这对于需要频繁访问的大型只读数据集来说是非常有用的优化手段。 - **Accumulators（累加器）**: 累加器是一种只能...

当执行 RDD 的转换操作时，这些操作会被记录在 `DAGScheduler` 中，并在此处构建出整个计算流程的 DAG 图。 #### 三、RDD 生成位置 - **知识点**：RDD (Resilient Distributed Dataset) 是 Spark 中的主要抽象，...

reduceByKey和groupByKey是RDD转换操作中的两个典型Shuffle操作。reduceByKey是对每个键的值集合进行合并操作，而groupByKey则是将所有相同键的值集合在一起，形成键值对的集合。两者都能够实现数据的聚合处理，但...

- 广播变量：广播大但不经常改变的变量到所有工作节点，减少数据传输。 -累加器：用于在工作节点上聚合信息，只允许添加操作，且结果仅返回给驱动程序。 - 避免shuffle操作，因为它们可能导致大量的网络通信和...

1,275

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章