spark 操作hbase报org.apache.hadoop.hbase.client.Put没有序列化

ghhg 2014-06-18 03:25:03

我擦了个大姨妈！我看Put这个类的源码到所有父类都没有序列化这是个什么意思？求大神指教

...全文

1336 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

baidu_18206839 2014-10-22

打赏
举报

回复

楼主问题解决了吗？可以分享下代码么？

ghhg 2014-08-26

打赏
举报

回复

这只是因为我的object没有实现序列化么？我是在foreach里面进行插入的而且单机由于内存不足大部分shuffle在disk 所以报这个错的

人生偌只如初见 2014-08-08

打赏
举报

回复

http://blog.csdn.net/fighting_one_piece/article/details/38437647 可以参考下这个

本文介绍了如何在Apache Spark中配置使用Kryo序列化器来提高应用性能。通过两种方式展示如何设置序列化器：一是通过系统属性设置，二是通过SparkConf对象进行配置。

（1）hadoop是一个由Apache基金会所开发的分布式计算基础框架。（2）主要解决，海量数据的存储和海量数据的分析计算问题。（3）广义上来讲，Hadoop通常是指一个更广泛的概念--Hadoop生态圈。②Hadoop根据是Google的三篇论文实现HDFS → GFS（1）HDFS：Hadoop Distributed File System,是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。

1.Hadoop是一个由Apache基金会所开发的分布式计算基础框架。2.主要解决海量数据的存储和分析计算问题。3.广义上来讲，Hadoop通常是指一个更广泛的概念--Hadoop生态圈。NameNode：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所爱的DataNode等。DataNode：在本地文件系统存储文件块数据，以及块数据的校验和。Secondary NameNode：每隔一段时间对NameNode元数据备份。

（2）多样化（来源多（搜索引擎、社交网络、通话记录、传感器...）、格式多（结构化的数据、非结构化的数据）半结构化数据：具有一定的层次结构，介于结构化数据与非结构化数据之间（json文件、xml文件、电子邮件）TB 太字节 1TB=1024GB 数据库（25张高清图片）B(Byte) 字节 1B=8b 汉字占2个字节。hadoop 分布式计算系统+分布式数据库+Spark。非结构化数据：无固定格式（文本文件、图片、音乐）（1）大量化（存储量大、增量大）

TB PB EB结构化数据：固定格式关系型数据库，excel半结构化数据：具有一定的层次结构，介于结构化数据与非结构化数据之间 json文件，xml文件，电子邮件非结构化数据：无固定格式文本文件，图片，音乐快速化价值密度低大数据技术要面对的基本问题，也是最核心的问题：就是海量数据如何可靠存储和高效计算。leetcode（1）Hadoop是一个由Apache基金会所开发的分布式计算基础框架。（2）主要解决，海量数据的存储和海量数据的分析计算问题。

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章