关于处理大数据量的问题

chamson 2003-10-13 10:42:22

表中记录数大概3、4百万条;

从Sybase迁移到Oracle，考虑速度，用什么方法最好？

我用pb的pipeline怎么才50000条/分钟，太慢了呀...

...全文

34 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

地狱余烬 2003-10-14

打赏
举报

回复

我感觉挺快的

klbt 2003-10-13

打赏
举报

回复

50000条/分钟 = 800多条/秒，够快的了。
3、4百万需要一个多小时，也应该可以接受。

目前数据分析已经深入到各个行业中，尤其以Python为工具的数据分析和数据挖掘将越来越流行，但在数据分析和挖掘中，最消耗时间的就是数据处理了，高效的数据处理技能已经成为工作中必不可少的技能之一了。熟练掌握和运用Python对数据进行高效的处理，可以大大提高数据分析和数据挖掘的效率。 Python数据处理实战: 基于真实场景的数据(Python数据处理和特征工程)作为Python数据清洗实战入门课程的升级版，本课程以真实的场景数据为案例进行教学，包括征信，电商，零售数据等, 本课程由浅入深详细讲解Python数据处理和特征工程在真实项目中的运用, 本课程专门针对想深入学习Python数据处理而量身定做的课程，是讲师在多年真实项目和实践工作的总结，涵盖实际项目中主要的知识点，内容详尽，代码可读性及实操性强。掌握好数据处理和特征工程，有利于今后从事或者转行数据分析或者数据挖掘，以及解决工作和项目中遇到的各种数据处理问题。课程目标：1.熟悉数据处理的流程和方法 2.熟练掌握pandas和numpy的运用 3.举一反三,能够独立完成数据分析中数据处理阶段的任务 4.提高数据处理能力，在项目中能够事半功倍课程定位: 1. 零基础学员或者有一定基础学员、大中院校学生；2. 在职从事数据分析相关工作以及打算转行Python数据分析人员； 3. 对Python有兴趣人群。课程特色 1. 相关代码老师课堂上全部打出，方便理解和记忆; 2. 提供源代码和数据方便同学们预习和复习; 3. 使用真实的数据进行教学，紧贴实战，避免枯燥的理论; 4. 在教学过程中，尽可能多的使用图表教学; 5. 每一个章节后面都配有相关练习题目以及习题答案，方便同学们进行自我测试。课程学习环境: Python3.7版本讲师介绍: Peter，某科技公司高级量化分析师，金融数学硕士毕业，擅长数据分析和数据挖掘，在公司长期从事机器学习建模，拥有多家银行，消费金融和互联网金融风控建模经验。熟练掌握Python编程软件和数据库等软件.

大数据量的业务场景：excel 导出百万数据，操作百万数据的数组，从数据库表中取出百万数据。两个解决思路:1.从环境配置上，比如调高php脚本的内存限制。ini_set('memory_limit','');2.从代码层面，比如前两种，都是数据先写到内存后输出，大数据量的情况下，内存非常容易写爆。解决思路就是分批次处理。excel导出解决方案可以看我之前博文，有相应的代码示例。操作...

关于Execl导入大数据量文件的处理思路（实战经验） Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右，但是会关联其他表，查询出100万级别的数据量，插入到值表。并且这个过程是系统管理人员每月不定期在页面导入的。系统设计的要求是10秒内完成。简单说一下我们的

1.大数据量重一个系统同步到另一个系统，在数据量过大的情况下，需要全量覆盖或增量更新，代码按照之前那种逻辑写的话就会出现脏数据的问题。 1.1：无需验证重复【全量覆盖】第一次代码：在代码的逻辑里面，我直接再serviceimpl里面写了，先删除后插入的操作 for循环{ delete(数据库老数据); insert(新数据); } ---出现的问题：前端超时，后端代码运行也会超时第二次代码重构：这次把插入的方法加了异步注解 for循环{ delete(数据库老数据); this.insert(新数

最近公司需要一个新的需求，需要一个接口去跑数据。数据量还蛮大的，大约50-60万数据（一条一条执行），其中还涉及到与其他接口的交互，因此这些数据跑下来要耗时很久，因此设计了一个方案，使用多线程的方式进行处理。方案1 每次重数据库表中取一定量的数据（自己按实际情况定义）放在线程池缓存队列里，启动10个线程去线程池里去取数据。（相当于生产者和消费者的关系），这里需要有一个触发点，当我缓存里没有数据时，需要再次从数据库中再次获取数据。方案2 在数据库表中添加一个线程号字段，用来记录该条数据...

数据库相关

752

社区成员

12,763

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章