如何提高读取数据的速度

liyuncdc 2007-04-25 11:26:08

假如我有300个表，需要读取这些表来取得相关的数据。选择1：一个个表来读
选择2：通过一个SQL语句把这些表连接，再读取相关的数据

...全文

194 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

西山小月 2007-04-26

打赏
举报

回复

减少冗余数据。
每新建一个表会浪费很多空间的，读取的效率也会下降的。
尽量使用底层操作读取

liyuncdc 2007-04-26

打赏
举报

回复

有道理！！！！

zaodt 2007-04-25

打赏
举报

回复

300个表进行关联，语句怎么写啊？

我看，还是设计上有问题，重新设计一下吧。

在数据挖掘探索、机器学习流程中，数据读取及清洗为关键的第一步；如今时代，普通职场朋友也避免不了需要处理大量数据的情况，python的易学、易用以及强大的工具库，提供了很好的解决方案。本课程专注于python数据...

首先，缓冲区概念：一片内存存储空间，在读写数据的程序需要之前，数据存储在这里，这样就不用每次去物理硬盘上的数据源取了。（快嘛！）缓冲输入流（BufferedInputStream）：顾名思义，是在缓冲区取数据的输入...

在5000条数据量和16000条数据量下读取数据的速度可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍在5000条数据量和16000条数据量下读写操作的速度这里读写操作的数据量差异之所以会这么大，是...

在dataset中，会将数据从磁盘读入内存中，如果启用了dataloader中的pin_memory，就会让数据常驻内存，同时设置num_workers还能实现多进程读取数据，但即使设置了这些，数据加载速度依然没有质的提升。数据读取的速度...

在读取文件时怎样做才能提高读取文本文件的速度呢？个人目前只是想到： 1。read时读到大缓冲区，减少io次数。 2。起多个线程，分段读取。能否实现多个线程读时线性提高速度呢？我试了一下，不是很理想。我的做法是...

4,011

社区成员

39,816

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章