8,028
社区成员
发帖
与我相关
我的任务
分享求教数据处理问题，求方案推荐，谢谢
数据库：oracle
语言：java
业务场景是这样的，首先从数据库查询出100万级别的数据，然后有一系列的 规则
，将查询出来的数据，按规则进行分析处理，过滤出一部分符合规则的数据，但是这个过程很慢；
其实这个更像一个数据分析的场景，现在 java代码都已经稳定了，业务很复杂，在按规则过滤的过程中，涉及很多的查询数据库的操作，而且是一条一条数据进行处理的。
有没有一个大数据的解决方案来解决这个问题？
语言：java
业务场景是这样的，首先从数据库查询出100万级别的数据，然后有一系列的 规则
，将查询出来的数据，按规则进行分析处理，过滤出一部分符合规则的数据，但是这个过程很慢；
其实这个更像一个数据分析的场景，现在 java代码都已经稳定了，业务很复杂，在按规则过滤的过程中，涉及很多的查询数据库的操作，而且是一条一条数据进行处理的。
有没有一个大数据的解决方案来解决这个问题？
...全文
请发表友善的回复…
发表回复
tianfang 2017-06-12
- 打赏
- 举报
ETL是否够用？
开源的kettle，可以独立使用。也写好脚本，可以用java调用
