数据分析的路该怎么走?新手上路,求指点.

_BennyTian 2013-03-07 06:29:13

目前公司的数据库是几百个G 的 MySQL, 但是数据挖掘/分析这块还是空白,想趁这个机会自己学习下.也为公司数据提炼出点价值..

首先日志分析之类的,一想到就是 Hadoop 及周边类似产品...

但如果是MySQL呢?需要怎么去处理呢?

目前公司过亿记录的表有好几张,出于业务需求,需要对这表进行多纬度的分析处理,出报表.

对于这样亿级别的MySQL,直接查询分析性能吃不消.
如果分表分库,那对各类列表查询又是致命的.....

对于这样的需求. 有什么好的方法么? 有什么像Hadoop分析日志那样的解决方案吗?

...全文

191 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

_BennyTian 2013-03-08

打赏
举报

回复

引用 1 楼 rucypli 的回复:

才这么点数据先用mysql数据仓库解决方案infobright来试试看

谢谢 @rucypli . 查阅了 infobright 相关信息. 发现他比较适合处理离线的,非web的的一些数据. 目前我的需求是: 可以离线处理,但是需要web对外提供查询接口.并且元数据是一直都在增加的(不涉及修改),infobright 似乎不太适合.

rucypli 2013-03-07

打赏
举报

回复

才这么点数据先用mysql数据仓库解决方案infobright来试试看

本课程是《Python数据可视化：入门、实践、进阶》系列课程的入门篇-Python新手上路：基础入门、Numpy、Pandas。本课程适合零基础学员学习，从Python的安装、常用工具的介绍开始，让学员能掌握如何在自己电脑上部署学习环境；通过快速入门掌握python基础语法；通过对数据对象的学习，掌握列表和字典的创建及常用方法；并深入学习了Numpy和Pandas数据分析的三方库，对Numpy数组、Pandas的序列和数据框的常见和处理有深刻的认知。为后续利用Python进行数据分析和处理打下坚实的基石。

在我的职业生涯过程中，发现很多人会跑来问我这样的问题，前端能做什么？这条路怎么走。然后他们会分开来问一些子问题，例如说到底我进入了前端我应该做产品呢？我应该做基础架构呢？还是应该做产品基础架构呢？可能有些公司不存在产品基础架构这样的概念，通常来说的定义就是在于产品和基础架构之间。有点像是做一些框架、AB测试平台，测试工具等等的方案。其实一个更好的问题应该是问到底我想服务于什么样的客户？因为想要服务...

在我的职业生涯过程中，发现很多人会跑来问我这样的问题，前端能做什么？这条路怎么走。然后他们会分开来问一些子问题，例如说到底我进入了前端我应该做产品呢？我应该做基础架构呢？还是应该做产品基础架构呢？可能有些公司不存在产品基础架构这样的概念，通常来说的定义就是在于产品和基础架构之间。有点像是做一些框架、AB测试平台，测试工具等等的方案。其实一个更好的问题应该是问到底我想服务于什么样的客户？因为想要服务...

引子这几天一直在忙一个可滑动的转盘的demo，网上也有类似的例子，但是根据老板的需求来改他们的代码，还不如重新写个完全符合需求的插件。想法很美好，但是新手上路... 效果链接文末需求image 这个demo给的非常简单，能转动的地方有三处，内盘、外盘和指针，这三个上的集合的交集产生一个链接，通过中间的按钮跳转。这个需求乍一看老简单老简单的，但是作为一个菜鸡第一次上道，堪比开碰碰车，头破血流...

没什么面经，全程拷打，感觉面试官都不想说话，一直兜着个脸，还跟别人聊天，惜字如金，感觉就差把你咋这么垃圾这几个字说出来了，时隔一个半月捞起来就这样么？秋招的面试到现在......就没有面试了又回到了最初的起点快手挂了后，又穿上了复活甲QAQ，笔试还在9.22真离谱许愿一个团子的oc吧，今天面试的小姐姐真的好温。压力拉闷了，基本全不会，网上搜的考书上基础知识，问一下人资问题，根本不是。我对象荣耀笔试满分，都过了一周多了，怎么还没有面试呀，另外一个同学同一批次笔试的，已经约二面了，怎么回事呀，有uu了解吗？

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章