hive统计QQ空间爬虫数据遇到的问题

魔鬼_ 2016-09-15 09:45:59

我用爬虫爬取了QQ空间5000条QQ用户记录，数据放在文本文件里边，一个用户就是一行，每一行都是json格式的，我现在想用hive做数据统计以及数据去重操作，Hadoop，mysql服务已有，万能的吧友，我该怎么处理这些数据，列出个处理流程给小弟参考可否。。。。

...全文

653 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

chengchengwoheni 2016-12-18

打赏
举报

回复

我也在做这方面的研究，加我qq吧，qq1147841113，可以一起交流互相学习

chengchengwoheni 2016-12-18

打赏
举报

回复

大神，可否把您爬虫的代码发我邮箱啊，或者爬虫的数据发我一份啊，邮箱1147841113@qq.com

回顾2016年，我用爬虫做了很多事情。 1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析 2、拉勾网的数据那么多的招聘信息有用吗？当然有用，你想了解一下你所在城市的各种主流语言（Java、PHP、JavaScript、Pytho...

本电影大数据可视化项目以数据采集、处理、分析及数据可视化为项目流程，实现百万级电影数据离线处理与计算。功能包括python爬虫，Matplotlib绘图、Echarts数据可视化、结合mysql数据实现hive电影相关数据统计、Mapreduce词频统计、情感分析、词图云等。 ...

有后选后，无后选前，无后无前，算法也甜，条件允许，无脑后端，前途无量，预定高管，其次前端，需求频繁，温饱有余，人上人难，算法数据，收入可观，最好硕博，高端饭碗，小米的做的很不好，投的嵌入式软开，发的软开笔试卷子，只能做一些单元和多选，编程题比较难，牛客上大家说很简单，我是真不会，复习了arm，c/c++这些，结果考的五。双非硕，前天面了个b轮的小厂，大概300人左右，做nlp的当场给了offer，然后给我10天时间考虑，接的话需要去实习两个月，不知道要不要去，第一次面试，也不。首先对数组排序，升序排列。

Shuffle reduce task 数量小于spark.shuffle .sort.bypassMerge Threadshold参数的值小于200，不开启，溢写磁盘不需要排序，小于等于的时候是开启的。面试题58：大促场景下实时链路数据积压，rps为100w，导致数据大屏不动了，上线前该如何保障，临时处理该如何操作，兜底方案该如何做？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？

各平台数据概览模块包美妆各类商品数量、美妆各类商品销量、美妆各类商品平均价格、美妆商品销量Top10、淘宝平台商品销量Top、美妆Top10销量店铺，类目分析模块包括美妆各类商品价格区间、美妆各类商品销量占比、销量和价格对比等。功能：数据维度包括焦虑水平、自尊程度、心理健康史、抑郁程度、头痛、血压等内容，最后实现的功能包括相关性分析、登录、不同压力等级人数分布、睡眠质量分布、抑郁和焦虑情况分布、头痛问题分布、心理健康病史比例、自尊水平分布、血压问题分布、未来职业担忧分布、师生关系分布、呼吸问题分布。

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章