hive统计QQ空间爬虫数据遇到的问题

魔鬼_ 2016-09-15 09:45:59

我用爬虫爬取了QQ空间5000条QQ用户记录，数据放在文本文件里边，一个用户就是一行，每一行都是json格式的，我现在想用hive做数据统计以及数据去重操作，Hadoop，mysql服务已有，万能的吧友，我该怎么处理这些数据，列出个处理流程给小弟参考可否。。。。

...全文

658 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

chengchengwoheni 2016-12-18

打赏
举报

回复

我也在做这方面的研究，加我qq吧，qq1147841113，可以一起交流互相学习

chengchengwoheni 2016-12-18

打赏
举报

回复

大神，可否把您爬虫的代码发我邮箱啊，或者爬虫的数据发我一份啊，邮箱1147841113@qq.com

回顾2016年，我用爬虫做了很多事情。 1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析 2、拉勾网的数据那么多的招聘信息有用吗？当然有用，你想了解一下你所在城市的各种主流语言（Java、PHP、JavaScript、Pytho...

本电影大数据可视化项目以数据采集、处理、分析及数据可视化为项目流程，实现百万级电影数据离线处理与计算。功能包括python爬虫，Matplotlib绘图、Echarts数据可视化、结合mysql数据实现hive电影相关数据统计、Mapreduce词频统计、情感分析、词图云等。 ...

《智能音乐数据分析系统设计概述》本系统针对数字音乐产业快速增长背景下产生的数据分析需求，旨在构建一个智能化的音乐数据分析平台。系统采用多层架构设计，包含数据采集、处理、分析和可视化四大核心模块。数据采集层采用分布式爬虫技术，每日定时抓取主流音乐平台的歌曲元数据、用户评论等结构化与非结构化数据。数据处理层通过特征工程构建100+衍生特征，运用NLP技术实现评论情感分析。分析层集成时间序列预测、LDA主题模型等多种算法，能提前3个月预测热门歌曲（准确率≥80%）。可视化层提供交互式图表，支持多维度下钻分析。

有后选后，无后选前，无后无前，算法也甜，条件允许，无脑后端，前途无量，预定高管，其次前端，需求频繁，温饱有余，人上人难，算法数据，收入可观，最好硕博，高端饭碗，小米的做的很不好，投的嵌入式软开，发的软开笔试卷子，只能做一些单元和多选，编程题比较难，牛客上大家说很简单，我是真不会，复习了arm，c/c++这些，结果考的五。双非硕，前天面了个b轮的小厂，大概300人左右，做nlp的当场给了offer，然后给我10天时间考虑，接的话需要去实习两个月，不知道要不要去，第一次面试，也不。首先对数组排序，升序排列。

Shuffle reduce task 数量小于spark.shuffle .sort.bypassMerge Threadshold参数的值小于200，不开启，溢写磁盘不需要排序，小于等于的时候是开启的。面试题58：大促场景下实时链路数据积压，rps为100w，导致数据大屏不动了，上线前该如何保障，临时处理该如何操作，兜底方案该如何做？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？

Hadoop生态社区

20,847

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章