Kryo能序列化Map对象吗

SaintTinyBoy 2015-08-08 04:01:55

如题，如果不能，是否有其他折中的办法

...全文

240 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

java_彬 2016-10-14

打赏
举报

回复

可以的用子类 hashmap Map是接口

Jack_222 2015-08-08

打赏
举报

回复

这个不是很清楚，

高性能java序列化框架，比kryo的性能还要强上三分之一。目前还不支持多维数组以及Map类。框架正在持续开发演进中。

高性能java序列化框架。序列速度及大小强于kryo。目前暂不支持map类型数据。后续会开放支持

Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：目录第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark历史 4 4 BDAS生态系统 4 5 Spark与Hadoop的差异 5 6 Spark的适用场景 6 7 Spark成功案例 6 第二章 Spark开发环境搭建 8 1 Spark运行模式 8 2 Spark环境搭建 8 2.1Scala的安装 8 2.2Spark的单节点配置 9 2.3Spark-Standalone集群配置 9 2.4Spark-on-Yarn模式配置 12 2.5Spark-on-Mesos模式配置 13 2.6Hive-on-Spark配置 13 第三章 Spark计算模型 15 1 RDD编程 15 1.1弹性分布式数据集RDD 15 1.2构建RDD对象 15 2RDD操作 15 2.1将函数传递给Spark 16 2.2了解闭包 16 2.3Pair RDD模型 17 2.4Spark常见转换操作 18 2.5Spark常见行动操作 20 2.6RDD持久化操作 21 2.7注意事项 23 2.7并行度调优 24 2.8分区方式 25 3Examle:PageRank 27 第四章 Spark编程进阶 29 1共享变量 29 1.1累加器 30 1.2广播变量 31 2基于分区进行操作 32 3与外部程序间的管道 33 4数值RDD的操作 34 5 Spark Shuffle机制 34 第五章 Spark调优与调试 39 1开发调优： 40 1.1调优概述 40 1.2原则一：避免创建重复的RDD 40 1.3原则二：尽可能复用同一个RDD 41 1.4原则三：对多次使用的RDD进行持久化 42 1.5原则四：尽量避免使用shuffle类算子 43 1.6原则五：使用map-side预聚合的shuffle操作 44 1.7原则六：使用高性能的算子 45 1.8原则七：广播大变量 46 1.9原则八：使用Kryo优化序列化性能 47 1.10原则九：优化数据结构 48 2资源调优 48 2.1调优概述 48 2.2 Spark作业基本运行原理 49 2.3资源参数调优 50 第六章 Spark架构和工作机制 52 1 Spark架构 52 1.1 Spark架构组件简介 52 1.2 Spark架构图 54 2 Spark工作机制 54 2.1 Spark作业基本概念 54 2.2 Spark程序与作业概念映射 55 2.3 Spark作业运行流程 55 3 Spark工作原理 55 3.1 作业调度简介 55 3.2 Application调度 56 3.3 Job调度 56 3.4 Tasks延时调度 56 第七章 Spark运行原理 57 1 Spark运行基本流程 57 2 Spark在不同集群中的运行架构 58 2.1 Spark on Standalone运行过程 59 2.2 Spark on YARN运行过程 60

百度地图毕业设计源码 Spark调优思路 0.优化点 1、增加硬件资源 2、充分利用资源 1、spark-submit时设置 2、设置task数量 3、减化计算 1、持久化RDD 2、使用fastutil类集 4、减少网络传输 1、广播变量 2、kryo序列化 3、shuffle的map端调优 5、优化等待时间 1、调节数据调度等待时间 6、减少GC 1、堆内存调优 2、堆外内存调优 3、kryo序列化 4、广播变量开发调优 1.1避免创建重复的RDD // 需要对名为“hello.txt”的HDFS文件进行一次map操作，再进行一次reduce操作。也就是说，需要对一份数据执行两次算子操作。 // 错误的做法：对于同一份数据执行多次算子操作时，创建多个RDD // 这里执行了两次textFile方法，针对同一个HDFS文件，创建了两个RDD出来，然后分别对每个RDD都执行了一个算子操作。 // 这种情况下，Spark需要从HDFS上两次加载hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的。 val rdd1

克莉丝·哈泽斯特（Clj-Hazelcast）用于Hazelcast的Clojure库，一个用于Java的开源集群和高度可扩展的数据分发平台。 TravisCI状态用法 Clj hazelcast是开箱即用的预配置，并允许添加成员作为选项。例如，init函数采用一个映射{：peers [hostname1 hostname2 ...]}，并在其上启动一个对等节点作为集群的成员。该库支持跨网络同步clj-kryo（来自Runa Labs的另一个开源库）可序列化的数据结构。它还支持它们之间的事件驱动通信。典型的用例是在同级之间同步键/值对。例如：假设您在所有节点中都有以下数据：（def test-map（atom nil））您可以在主机1上将此映射中的新值放入：（hazelcast / put！@ test-map：baz“ foobar”）然后，您可以从主机2中检索

50,545

社区成员

85,620

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章