社区
数据库开发
帖子详情
求教数据处理问题,求方案推荐,谢谢
casxiazai
2017-06-08 08:36:32
数据库:oracle
语言:java
业务场景是这样的,首先从数据库查询出100万级别的数据,然后有一系列的 规则
,将查询出来的数据,按规则进行分析处理,过滤出一部分符合规则的数据,但是这个过程很慢;
其实这个更像一个数据分析的场景,现在 java代码都已经稳定了,业务很复杂,在按规则过滤的过程中,涉及很多的查询数据库的操作,而且是一条一条数据进行处理的。
有没有一个大数据的解决方案来解决这个问题?
...全文
1071
1
打赏
收藏
求教数据处理问题,求方案推荐,谢谢
数据库:oracle 语言:java 业务场景是这样的,首先从数据库查询出100万级别的数据,然后有一系列的 规则 ,将查询出来的数据,按规则进行分析处理,过滤出一部分符合规则的数据,但是这个过程很慢; 其实这个更像一个数据分析的场景,现在 java代码都已经稳定了,业务很复杂,在按规则过滤的过程中,涉及很多的查询数据库的操作,而且是一条一条数据进行处理的。 有没有一个大数据的解决方案来解决这个问题?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
tianfang
2017-06-12
打赏
举报
回复
ETL是否够用? 开源的kettle,可以独立使用。也写好脚本,可以用java调用
数据处理
救星降世Power Query
0/ Excel
数据处理
新利器来了,准备好了吗? 1/ 比网红函数VLOOKUP还全面的功能。——查(查询) 2/ 取其精华,去其糟粕。——筛(筛选) 3/ 拆分就像同学会,拆散一对是一对。——拆(拆分) 4/ 天下大势,合久必分...
关于跨平台数据库统一解决
方案
求
教
?
打算封装数据库操作,包括数据连接,查询,删除等功能.可以跨平台访问,也可以在任何平台上做应用,至少能访问几个主流数据库服务器.由于对unix和其他系统不熟,想问一下,用纯c++做的话 是对什么进行封装(odbc? ole db? ), 查了一下好像没有这种类似的处理,是否这种想法本身不合理? 请了解的朋友解答,
谢谢
java输入的字符代码_[
求
助]
求
教
JAVA中单个字符输入
问题
[
求
助]
求
教
JAVA中单个字符输入
问题
Scanner 类中 可用Scanner cin = new Scanner(new BufferedInputStream(System.in));String a = cin.next(); // == scanf("%s",a);cin.nextLine(); //读一行cin.nextInt(); //读整型cin.nextLong();cin.n...
数据库设计的一个难题的解决
数据库设计难题的
求
教
最近在设计一个数据库,但是碰到这样一个难题,一直找不到合适的解决
方案
,希望有过类似经验的高手能够帮忙分析下,看有没有好的处理策略。 举个管道建设中的例子吧,同样有三个对象: 管道:起点连接对象,结束点连接对象,管道的其他属性信息 管件:管件名称、管件类型 设备:设备名称、设备编号、设备所属单位 关系是:管道的起...
oracle未找到远程连接,数据泵导出大表出现--未找到远程数据库的连接说明
我用数据泵通过dblink导远程服务器上的数据,导出对象为某个schema下面的表对象,一共几十张表,小表(数据量几千)可以正常导出,大表(数据量为几百万)则无法导出错误信息:ORA-31693: 表数据对象 "VEMS"."TESTDATA" 无法加载/卸载并且被跳过, 错误如下:ORA-02019: 未找到远程数据库的连接说明但是有时候是可以导出来的,远程库为生产库.导出时间为晚上,数据库空闲...
数据库开发
8,028
社区成员
1,361
社区内容
发帖
与我相关
我的任务
数据库开发
高性能数据库开发
复制链接
扫一扫
分享
社区描述
高性能数据库开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章