信令数据的架构设计

[zhangsanwhereboy]

我在处理20亿的信令数据，有几个问题想问下大家，谢谢】


目前数据文件是文本文件，就是文本文件的数据。
------------------------------------------------------------------------
1 数据源如何获取和组织存储到HDFS上
2 数据清洗、规则XML配置
3 ETL具体过程有
抽取，清洗，转换，加载，存储等环节
4 MapReduce关键组件设计
5 详表如果存到hbase里，如何汇总统计，分层的逻辑模型分别是如何组织和存储的。
6 上层应用和报表工具怎么获取数据。
7 请考虑技术上的数据规模/汇总、详单查询、切片汇总查询的效率如何考虑和满足。