信令数据的架构设计
我在处理20亿的信令数据,有几个问题想问下大家,谢谢】
目前数据文件是文本文件,就是文本文件的数据。
------------------------------------------------------------------------
1 数据源如何获取和组织存储到HDFS上
2 数据清洗、规则XML配置
3 ETL具体过程有
抽取,清洗,转换,加载,存储等环节
4 MapReduce关键组件设计
5 详表如果存到hbase里,如何汇总统计,分层的逻辑模型分别是如何组织和存储的。
6 上层应用和报表工具怎么获取数据。
7 请考虑技术上的数据规模/汇总、详单查询、切片汇总查询的效率如何考虑和满足。