大数据云计算项目解决方案求助

my12us 2016-01-11 10:41:53
需求如下:

前提:
mysql数据库里面有3000万条数据,有效数据(需要处理的数据)约为10%,月增长率为300万条

需求:
1、需求是一次性查询出源数据中有效数据300万条逐条执行,根据表中具体某一字段去三方(三方接口包括Dubbo接口以及Rest接口)请求执行条件,三方接口返回数据后判断本条数据是否满足执行条件,满足则触发执行规则,不满足则执行下一条
2、第一批执行结束后,继续执行第二遍,二十四小时不停顿

当前处理方案:
Tomcat 2台服务器集群 每个tomcat 十条线程 合计二十个线程 while循环执行,执行至本条数据时锁定,其他线程执行到时忽略

现状:
随着数据量越来越大这种方案的时效性越来越差 执行一遍所花的时间越来越长,需要找出一个更加合理的解决方案,需要服务器扩展方便

推测可用Storm或者Spark集群来完成,目前没有合适的实现方式


请各位大牛给点思路,小弟在此拜谢了
...全文
3653 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
桥王 2016-01-22
  • 打赏
  • 举报
回复
先占个位,感觉以后我也会遇到类似的问题
my12us 2016-01-11
  • 打赏
  • 举报
回复
项目补充:框架中需要集成Spring和Dubbo

915

社区成员

发帖
与我相关
我的任务
社区描述
华为云计算论坛,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算!
社区管理员
  • 华为云计算社区
  • 海洋 之心
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧