社区
基础编程
帖子详情
php大数据量问题,请教
Cesc
2015-05-27 09:46:48
在网站上用户要下载历史记录,有几百万条记录,一旦用户选择全部条件搜索后下载,数据库和服务器就好像挂掉了,请问有哪些方法可以解决这类问题?
...全文
220
3
打赏
收藏
php大数据量问题,请教
在网站上用户要下载历史记录,有几百万条记录,一旦用户选择全部条件搜索后下载,数据库和服务器就好像挂掉了,请问有哪些方法可以解决这类问题?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xuzuning
2015-05-29
打赏
举报
回复
这取决于你打算将什么样格式的数据给用户 如果是在查询后逐条组装,显然是很慢的 如果格式比较简单,可用 INTO OUTFILE 子句直接将查询结果保存于文件。再将该文件的连接发给用户 INTO OUTFILE 子句默认产生的文件是以 Tab 做字段分隔符(很普通的 csv 格式),当然你还可以指定 INTO OUTFILE 产生的文件,可以用 LOAD DATA INFILE 指令导回表中。 不失为一种数据备份的方法
Suckor
2015-05-29
打赏
举报
回复
数据库做个主从,这种查询就直接走从数据库好了,如果实时性 不强的话,也可以考虑在空闲时段打包好(可以增量打包如果用户可接受的话)提供给用户下载, 最重要的一点 优化你下载的程序。
夏之冰雪
2015-05-27
打赏
举报
回复
php打包,分割成几个文件,最后zip下载。 点击下载后,异步处理,后台启动一个php进程处理,避免服务器受到影响。
php
无法返回
大数据
量
到前端的
问题
(
PHP
中的memory_limit设置)
起因: 当我web前端向
php
请求数据时,几千条记录都能正常获取,但是要请求几万条记录的时候
php
就不响应了。 找
问题
: 既然是请求
php
失败,那就去服务端手动执行该
php
看下,执行结果给出了如下报错(
php
报错): Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 128 bytes)...
php
大数据
量
查询时内存持续增长
问题
php
进行数据库查询时会默认使用Buffer。当查询数据
量
较大时,需要使用Unbuffered Queries.
php
导出
大数据
量
excel 解决方法 秒出 并不会出现
PHP
Excel内存溢出
问题
最近公司需要每天生成亚马逊广告调价报告报表 并且文件格式必须为excel 数据
量
超过10w+ 使用
PHP
Excel组件 加上生成器yield 并且设置单元格对象缓存 还是会导致内存爆掉 最后使用了
PHP
_XLSXWriter 轻
量
级组件 直接解决内存
问题
数据秒出 先介绍一下
PHP
_XLSXWrite 再贴代码
PHP
_XLSXWriter 是一个小而强悍的 Excel 读写插件...
php
3.2.3导入一个
大数据
量
的excle到数据库中出现的
问题
。
首先把excle导入到数据库中,分三步走,第一excle上传服务器,第二服务器解析数据,第三插入数据库。 在think
php
中有封装好的upload() 和
php
excle,看起来
问题
不大,实际上
问题
一大堆,首先上传文件到指定目录,需要注意的是文件后缀,文件大小,文件名,文件路径等。 上传到服务器之后运用
php
excle打开文件,将每一行的数据插入到数据库之中去,看起来
问题
不大,由于列数过于庞
PHP
解决session 死锁
今天在开发碰到个棘手的
问题
。 当异步请求后台处理一个
大数据
量
操作时 请求其他控制器都没返回信息了。。起初以为是Ext 框架设置了ajax同步造成的。 后来发现时session 死锁造成其他控制器在等待session 完成后才能操作。(主要是用户登录判断需要更新session) 当
PHP
处理
大数据
量
操作时 不能及时操作完成 这时候又有访问其他控制...
基础编程
21,889
社区成员
140,337
社区内容
发帖
与我相关
我的任务
基础编程
从PHP安装配置,PHP入门,PHP基础到PHP应用
复制链接
扫一扫
分享
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章