如何使用java给序列化数据做统计？

weiyinze1996 2017-03-03 05:45:45

请教，我想统计第5列同一个探针设备MAC地址中有多少个终端mac（第六列）应该如何写java代码？

...全文

142 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文详细介绍了如何使用Java的MapReduce框架，配合Writable接口，对包含电话号码和流量的数据进行统计，涉及序列化、反序列化方法的重写以及Mapper和Reducer类的编写。

本文介绍了如何实现自定义Java Bean的序列化以适应Hadoop MapReduce框架，包括实现Writable接口，确保有空参构造，以及重写序列化和反序列化方法。此外，还展示了如何在Mapper和Reducer中使用这些序列化对象进行数据处理，以统计电话号码的上行、下行和总流量。

本文介绍了Hadoop序列化的重要性，包括节省存储空间、提高传输效率和跨语言交互的特点。详细讲解了为什么Hadoop不使用Java的序列化，并展示了如何自定义bean对象实现Hadoop的Writable接口进行序列化，包括实现序列化和反序列化方法、空参构造、toString方法以及Comparable接口（如果作为key使用）。此外，还提供了一个流量统计的MapReduce案例，通过Bean对象在Mapper和Reducer中传递数据，实现了手机号码流量的统计功能。

本文详细介绍了Hadoop序列化的基本概念，包括序列化与反序列化的概念、目的，以及Hadoop特有的序列化特点。通过实例演示如何使用Java类型和HadoopWritable类型进行数据序列化，并解决了电话流量统计问题。还涵盖了Map和Reduce阶段的处理，以及Driver类的实现和log文件的重要性。

本文介绍了Hadoop序列化的重要性，解释了为什么避免使用Java序列化，并详细阐述了如何自定义bean对象实现Hadoop的Writable接口进行序列化和反序列化操作，包括7个关键步骤。同时，提供了序列化案例，统计手机号的流量数据，通过MapReduce程序实现。

62,620

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章