复杂业务类型的数据提取与定时处理讨论
谈论个解决方案,描述:
WEB程序提供对外接口收集数据,有3种业务类型数据分别存储在3张单独表中,并跟系统中的其他业务逻辑关联。
现在的处理方式是存储过程每晚定时处理这3种数据生成各种维度报表数据。弊端在于要每晚定时处理,不能看到实时或准实时数据;数据量不断增加,预处理的时间也相应增加;需求不断变化,不断修改存储过程。
刚开始想做成数据仓库,但没这方面的技术,并且对外数据接口暂不考虑修改。所以只能考虑在每天定时循环将3种业务数据分解成更细粒度的原子数据,以应对不断提出的报表数据需求。
想请问一下:
1.这种方式可行否?
2.在提取分解数据时数据库表设计时需求注意什么?
3.其他?