20,811
社区成员
发帖
与我相关
我的任务
分享hive统计QQ空间爬虫数据遇到的问题
我用爬虫爬取了QQ空间5000条QQ用户记录，数据放在文本文件里边，一个用户就是一行，每一行都是json格式的，我现在想用hive做数据统计以及数据去重操作，Hadoop，mysql服务已有，万能的吧友，我该怎么处理这些数据，列出个处理流程给小弟参考可否。。。。
...全文
请发表友善的回复…
发表回复
chengchengwoheni 2016-12-18
- 打赏
- 举报
我也在做这方面的研究，加我qq吧，qq1147841113，可以一起交流互相学习
chengchengwoheni 2016-12-18
- 打赏
- 举报
大神，可否把您爬虫的代码发我邮箱啊，或者爬虫的数据发我一份啊，邮箱1147841113@qq.com
