数据仓库系统--欢迎大家讨论
我是今年毕业的,3月出来工作的,做到是金融方面的数据分析系统,DB2数据库,我们的数据量不是很大,应该算是一个小型的数据分析系统,我们的ETL这一个模块是用大量的存储过程来完成数据的清洗,转换的,我想问下各位前辈,在你们的数据分析系统中是怎么去处理这些数据的,也是用存储过程吗,听有人说,如果有可能,能不能把这些模块用配置的方式去完成跑批,就是类似一套框架,设立好几个模块,像工作流一样自己去订制模块,配置sql,完成我们数据的处理,但是我感觉即使配置也要去写大量编写sql,而且在很多地方,客户需求不是一样的,数据分析系统在大部分情况下是会变化的,不像前台那样可以去抽样出几个模块,去开发完善,希望大家能说说自己的看法。