Spark Streaming的checkpoint和transform操作问题

其他技术论坛 > 分布式计算/Hadoop
收藏 回复
[问题点数：40分]
更多帖子
私信 空间 博客
lc_1123
等级
本版专家分：0
结帖率 0% 
#encoding=utf8

import sys

reload(sys)

import datetime

from pyspark import SparkConf,SparkContext,StorageLevel

from pyspark.sql import SQLContext,Row

from pyspark.streaming import StreamingContext



sc = SparkContext('local[2]',appName="transformtest")

sqlContext = SQLContext(sc)

ssc = StreamingContext(sc, 90)



data = ssc.textFileStream('file:///input/testdata')

ssc.checkpoint('file:///input/checkpoint')



rdd1 = ssc.sparkContext.parallelize((123,True))



data.transform(lambda rdd: rdd.leftOuterJoin(rdd1)).pprint()



ssc.start()

ssc.awaitTermination()


代码中同时有ssc.checkpoint('file:///input/checkpoint')和
data.transform(lambda rdd: rdd.leftOuterJoin(rdd1)).pprint()就会报错

17/04/17 00:11:02 ERROR streaming.StreamingContext: Error starting the context, marking it as stopped
java.io.IOException: org.apache.spark.SparkException: An exception was raised by Python:
Traceback (most recent call last):
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/streaming/util.py", line 104, in dumps
    func.func, func.rdd_wrap_func, func.deserializers)))
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/serializers.py", line 428, in dumps
    return cloudpickle.dumps(obj, 2)
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 646, in dumps
    cp.dump(obj)
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 107, in dump
    return Pickler.dump(self, obj)
  File "/usr/lib64/python2.7/pickle.py", line 224, in dump
    self.save(obj)
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.7/pickle.py", line 548, in save_tuple
    save(element)
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 193, in save_function
    self.save_function_tuple(obj)
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 236, in save_function_tuple
    save((code, closure, base_globals))
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.7/pickle.py", line 548, in save_tuple
    save(element)
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.7/pickle.py", line 600, in save_list
    self._batch_appends(iter(obj))
  File "/usr/lib64/python2.7/pickle.py", line 636, in _batch_appends
    save(tmp[0])
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 193, in save_function
    self.save_function_tuple(obj)
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 241, in save_function_tuple
    save(f_globals)
  File "/usr/lib64/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib64/python2.7/pickle.py", line 649, in save_dict
    self._batch_setitems(obj.iteritems())
  File "/usr/lib64/python2.7/pickle.py", line 686, in _batch_setitems
    save(v)
  File "/usr/lib64/python2.7/pickle.py", line 306, in save
    rv = reduce(self.proto)
  File "/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/python/lib/pyspark.zip/pyspark/rdd.py", line 206, in __getnewargs__
    "It appears that you are attempting to broadcast an RDD or reference an RDD from an "
Exception: It appears that you are attempting to broadcast an RDD or reference an RDD from an action or transformation. RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(lambda x: rdd2.values.count() * x) is invalid because the values transformation and count action cannot be performed inside of the rdd1.map transformation. For more information, see SPARK-5063.

at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1208)
at org.apache.spark.streaming.api.python.TransformFunction.writeObject(PythonDStream.scala:100)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:1028)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1496)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:1378)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1174)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.defaultWriteObject(ObjectOutputStream.java:441)
at org.apache.spark.streaming.DStreamGraph$$anonfun$writeObject$1.apply$mcV$sp(DStreamGraph.scala:180)
at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1205)
at org.apache.spark.streaming.DStreamGraph.writeObject(DStreamGraph.scala:175)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:1028)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1496)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:348)
at org.apache.spark.streaming.Checkpoint$$anonfun$serialize$1.apply$mcV$sp(Checkpoint.scala:141)
at org.apache.spark.streaming.Checkpoint$$anonfun$serialize$1.apply(Checkpoint.scala:141)
at org.apache.spark.streaming.Checkpoint$$anonfun$serialize$1.apply(Checkpoint.scala:141)
at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1251)
at org.apache.spark.streaming.Checkpoint$.serialize(Checkpoint.scala:142)
at org.apache.spark.streaming.StreamingContext.validate(StreamingContext.scala:554)
at org.apache.spark.streaming.StreamingContext.liftedTree1$1(StreamingContext.scala:601)
at org.apache.spark.streaming.StreamingContext.start(StreamingContext.scala:600)
at org.apache.spark.streaming.api.java.JavaStreamingContext.start(JavaStreamingContext.scala:624)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
at py4j.Gateway.invoke(Gateway.java:259)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:209)
at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.spark.SparkException: An exception was raised by Python:

  
主要应该是这个问题吧
 It appears that you are attempting to broadcast an RDD or reference an RDD from an action or transformation
  
   


但是，设置了checkpoint，没有transform操作时不报错；不加checkpoint，有transform操作时也不报错

希望有遇到过的大神和知道怎么解决的帮忙看下 谢谢
只看楼主 引用 举报 楼主 收起
展开阅读全文
收起
收藏 回复
lc_1123

等级：

关注 私信 TA的帖子
关于SparkStreaming的checkpoint的弊端

当使用sparkstreaming处理流式数据的时候，它的数据源搭档大部分都是Kafka，尤其是在互联网公司颇为常见。 当他们集成的时候我们需要重点考虑就是如果程序发生故障，或者升级重启，或者集群宕机，它究竟能否做到数据...

spark从入门到放弃五十四:Spark Streaming(14)checkpoint

1.概述每一个spark streaming 应用正常来说都要7*24小时运转的...如果要实现这个目标，spark streaming 程序就必须将足够的信息checkpoint 到容错的存储系统上，从而让他能够从失败中进行恢复。有两种数据需要进行chec

Spark Streaming重复消费,多次输出问题剖析与解决方案

Spark在运行出错时不能保证输出也是事务级别的。在Task执行一半的时候出错了，虽然在语义上做了事务处理，数据仅被处理一次，但是如果是输出到数据库中，那有空能将结果多次保存到数据库中。Spark在任务失败时会进行...

spark createDirectStream保存kafka offset(JAVA实现)

问题描述最近使用spark streaming处理kafka的数据，业务数据量比较大，使用了kafkaUtils的createDirectStream()方式，此方式跳过了zookeeper，并且没有receiver，能保证消息恰好一次语意。但是此种方式因为没有经过...

【秒懂StructuredStreaming】StructuredStreaming是何方神圣

目录 一、为何要有StructuredStreaming 二、Structured...Structured Streaming是Spark新提出的一种实时流的框架，以前是Spark Streaming。那么这两者有什么区别呢，为什么有了Spark Streaming，还要提出S...

Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html DStream Transformation操作 1. Transformation操作 Transformation Meaning map(func) 对...

Spark 定制版：004~Spark Streaming事务处理彻底掌握

上节回顾:上节课通过案例透视了Spark Streaming Job架构和运行机，并结合源码进行了详细解说；同时也了解了Spark Streaming Job的容错机制，包括 Executor 与 Driver两方面的容错机制。也就是说Job的事务处

spark学习笔记六：Spark Streaming

Spark的streaming机制简单来说，就是将连续的时间序列切割成不同的离散时间段。针对某个时间段，将该时间段内的所有输入数据组成一个RDD，接下来的工作就如同一个传统的sprark应用一样，对这个RDD进行各种变换，直到...

spark streaming窗口函数的使用和理解

spark streaming中的窗口函数虽然不如flink那么丰富，但是特别有用，看下面例子： kafkaStream.transform { rdd => offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges rdd}.map(_._2).map((_, 1))...

Spark定制班第4课：Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

本期内容 1 Exactly Once 2 输出不重复 ...　银行转帐为例，A用户转笔账给B用户，如果B用户没收到账，或者收到多笔账，都是破坏事务的一致性。...　从事务视角解密SparkStreaming架构： 　S

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis ...

Flink项目实战系列(Spark项目实战系列)

本人的知识星球内发布了大量的Flink和Spark的项目实战,文章的目录如下: 初识Flink Flink读取Kafka源码解读 Flink的状态后端 Flink的runtime Flink系列之数据流编程模型 Flink系列之checkpoint Flink系列之...

pyspark-Spark Streaming编程指南

参考： 1、http://spark.apache.org/docs/latest/streaming-programming-guide.html 2、https://github.com/apache/spark/tree/v2.2.0 ...Spark Streaming Programming Guide OverviewA Quick ExampleBa

SparkStreaming采用直连方式（Direct Approach）获取Kafka数据的研究心得

使用SparkStreaming的直连方式来进行流式处理，并且这个程序要可靠性，并且具有一致性（原子性），那么我心中就产生了如下的疑问： 1、如何保证直连方式中Kafka的offset的精准度 2、如何保证StreamingContext信息...

第4课 ：Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

第4课 ：Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握 /* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/   Exactly Once的事务处理： 1，数据零...

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1： spark-submit 提交任务报错如下： 分析：起初我的spark 集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。最后我想使用spark standalone模式跑程序，就把spark-env和spark-...

Spark Streaming 新手指南（原始文章已经发布表在IBM Developworks）

本文首先通过运行 Spark Streaming 自带的 WordCount 示例开始带领读者进入 Spark Streaming 领域，然后再对 WordCount 代码逐条解释，逐渐让读者了解 DStream 等 Spark Streaming 特有组件定义，最后对 Spark ...

Spark Streaming 教程文档--概述、基本概念、性能调优

SparkStreaming教程 本文章主要讲述SparkStreaming概念原理、基本概念、以及调优等一些知识点。 1 概述 1.1 SparkStreaming是什么 Spark Streaming 是个批处理的流式（实时）计算框架。其基本原理是把输入数据以某...

基于Python的Spark Streaming+Kafka编程实践

说明Spark Streaming的原理说明的文章很多，这里不做介绍。本文主要介绍使用Kafka作为数据源的编程模型,编码实践,以及一些优化说明 spark streaming:...

Spark Streaming的Exactly-One的事务处理和不重复输出详解

本篇博文组织形式如下： 一：Exactly-One的事务处理 二：输出不重复一：Exactly-One的事务处理 一：Exactly-One的事务处理 1. 什么是事务处理： a) 能够处理且只被处理一次...可能性不大，Spark是批处理的方式来进

spark流数据处理：Spark Streaming的使用

本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。 文中对Spark Streaming的讲解主要使用到Scala语言，其他语言请参考官方文档...

SparkStreaming整合Kafka-0.8的官方文档要点翻译

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.8.2.1 or higher) Note: Kafka 0.8 support is deprecated as of Spark 2.3.0.   Here we explain how to configure Spark Streaming to ...

kafka对接SparkStreaming的方式详解

环境 kafka_2.11-0.10.0.1 hadoop-2.6.0-cdh5.7.0 spark-2.2.0-bin-2.6.0-cdh5.7.0 Receiver方式 ...构造函数中的numThreads参数，对应提高sparkstreaming的并行度并没有关系，提高只有kafka的分区...

Spark 定制版：005~贯通Spark Streaming流计算框架的运行源码

基于案例贯通Spark Streaming的运行源码注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课主要从事务视角为大家探索Spark Streaming架构机制；Spark Streaming程序分成而...

Spark Streaming 读取Kafka数据写入Elasticsearch

目前项目中已有多个渠道到Kafka的数据处理，本文主要记录通过Spark Streaming 读取Kafka中的数据，写入到Elasticsearch，达到一个实时（严格来说，是近实时，刷新时间间隔可以自定义）数据刷新的效果。

SparkStreaming（SparkSQL）+Kafka+Oracle 使用SQL完成的实时累加统计

Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在SparkStreaming...

Spark Streaming编程指南

本文基于Spark Streaming Programming Guide原文翻译， 加上一些自己的理解和小实验的结果。 　一、概述　Spark Streaming是基于Core Spark API的可扩展，高吞吐量，并具有容错能力的用于处理实时数据流的一个组件...

[Spark streaming举例]-- 统计一段时间内的热搜词

如下 ...import org.apache.spark.streaming.{Durations, StreamingContext} /**  *  * 使用开窗函数实现spark streaming，版本统计一段时间内前三的热搜词汇  *  * 测试结果：测试成功  *...

实时流计算Spark Streaming原理介绍

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis ...

Visio_2016

visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用

相关热词 c# 指定打印机名称 c# 在调试窗口输出信息 c# 点对点即时通讯 c#判断数字是否为空 c# 小端 浮点数 c# typeof返回值 c#初始化字符串 c#dataset用法 c#实现凝聚层次聚类 c#最简单线程