小型数据分析系统的什么样的架构合适？

[hainanjianli]

最近遇到一个高端元器件制造厂商 需要建设一套元件质控数据分析系统，项目情况需求是这样的：

1.每天产生的元件质检原始信息记录大概有 3千万条，日志文件1G左右 （质检信息记录 内容比较简单）；

2.最低需求 隔天产生 各时间段、 各生产线、 各种质检问题类型 统计报表信息（有限几种纬度 统计数量 百分比 ） 实时性要求不高 ；

3.目前可用数据 来源有 质检系统的日志 相应的 数据库文件。

这样的项目如何架构 ？ 请大家 给些建议 。。

是否上大数据平台？ 数据库如何选择 ？

传统数据库 如MYsql 是否能驾驭？ 数据导入的问题？

[oh_Maxy]

如果你产生的日志，都是供查看用的（没有更新），这是比较典型的大数据模型。 传统MySQL应该也能胜任，只是需要分库、分表，设计上稍微复杂点，但是设计好了，对数据的更新操作也会很高效。

[lost_rivers]

路过帮顶

[加油馒头]

1、关系型数据可以满足，读写分离 分库分表 2、服务程序每晚上自动跑当天数据，并插入统计分表中 3、系统展示统计分析表中的数据

[joyhollo]

看不明白

[liangtu]

实时要求不高，分表就行：日表、月表、年表，定时统计。

[puler]

感觉关键也就是分库，跟存储 分析感觉没那么复杂啊

[cattpon]

learning~

[blue_water_919]

好复杂的感觉

[laoer_2002]

learning

[wanzhuanqd]

帮顶！！！！！！！

[cattpon]

MYSQL~

[arecaiz]

跟我现在数据量差不多，我们一天可能也就几千万记录。但我们及时性要求比较高。基基本每次写放都有一些读取。我现在做的基本分库，分表，读写分离。一些报表直接在写入时进行计算等。（因为我们数据太大如果直接用统计非常慢）

[迷林]

mysql 完全能胜任

[qq_30268937]

这是比较典型的大数据模型。

[Inhibitory]

Hadoop挺合适的。

[伊顺鸣]

真的不错的撒

[David&Tea]

有没有考虑oracle？

[才子无言]

实现这个，外包个项目，也就几万

[tianfang]

kettle+mysql足够 每天上传文件，然后用kettle做导入批处理进日临时表（可以采用内存表），统计后（可以用存储过程，kettle也可以做）数据进日报表，月/季度/年报表的中间表，定时跑批处理，生成月/季度/年报表 上大数据平台的优点是可以实时导入数据，实时生成报表。做法是： 日志实时进大数据存储（自己写，或者调用kettle，它也可以用于导入到hive/pig），写mr做数据分析，生成报表。数据一直在大数据平台中，可以做的分析比较多

[worldchinalee]

hadoop和mysql