大数据量插入问题

stive_x 2009-06-22 03:45:58
以前开发的系统，目前要大数据插入操作。3万多条数据，每一条数据20个字段。数据表按月分配。一月一表。

数据库设计时，知道要大量插入，所以没有加主键，只对一个唯一字段修改为unique类型。

代码逻辑。
读取csv文件一行数据 用fgetcsv函数读取
插入该条数据，
判断返回值
if==0
代表本月有重复，不理。
if==1
代表本月没重复，根据ID查找上个表。看是否有值。

结果==0
上表无重复 跳过

结果==1
修改上表内容，并删除刚插入数据。

这样的逻辑 在上月表中有5W数据，本月表7W数据时。插入3W数据时，IE会出现404错误。不知道如何进一步优化数据库，能让添加更快呢？或者如何能避免IE死掉的问题。
先感谢耐心看完的前辈们。等待高手指点一二。
...全文
158 22 打赏 收藏 转发到动态 举报
写回复
用AI写文章
22 条回复
切换为时间正序
请发表友善的回复…
发表回复
十三月二十一 2009-06-25
  • 打赏
  • 举报
 回复
限制每次处理的条数，500到1000好点，还有跳转时用JS好点
yctin 2009-06-25
  • 打赏
  • 举报
 回复
生成 .sql 档案或直接用 .csv
再用 LOAD DATA INFILE , 或者 mysql 命令行加载才是最快的方法

设定了unique key 字段就不需要再在程序中判断是否重复
mysql 会自己根据index跳过重复记录

phptripper 2009-06-24
  • 打赏
  • 举报
 回复
先生成SQL语句,然后再执行就OK了,3万条小菜了.几秒钟搞定.
sindel 2009-06-24
  • 打赏
  • 举报
 回复
$sql="insert into testdb (va,vb,vc,vd,ve,vf,vgg,vh,vi,vj,vk,vl,vm,vn,vo,vp,vq,vr,vs,vt) values('$va','$vb','$vc','$vd','$ve','$vf','$vgg','$vh','$vi','$vj','$vk','$vl','$vm','$vn','$vo','$vp','$vq','$vr','$vs','$vt')";
$db->query($sql);

不要执行 30000次$db->query($sql)
1次可以了，sql写成insert into testdb (va,vb,vc,vd,ve,vf,vgg,vh,vi,vj,vk,vl,vm,vn,vo,vp,vq,vr,vs,vt) values('$va','$vb','$vc','$vd','$ve','$vf','$vgg','$vh','$vi','$vj','$vk','$vl','$vm','$vn','$vo','$vp','$vq','$vr','$vs','$vt')，('$va','$vb','$vc','$vd','$ve','$vf','$vgg','$vh','$vi','$vj','$vk','$vl','$vm','$vn','$vo','$vp','$vq','$vr','$vs','$vt')。。。。。。。。。。。。。。。
stive_x 2009-06-23
  • 打赏
  • 举报
 回复
[Quote=引用 12 楼 iwantnet 的回复:]
刚才我在本机试了一下，insert 30000记录，
$db = new mysqli('127.0.0.1','root','123456','testdb');
for($i=1;$i <=30000;$i++)
{
$va="abcdefghigklmn";
$vb="abcdefghigklmn";
$vc="abcdefghigklmn";
$vd="abcdefghigklmn";
$ve="abcdefghigklmn";
$vf="abcdefghigklmn";
$vgg="abcdefghigklmn";
$vh="abcdefghigklmn";
$vi="abcdefghigklmn";
$vj="abcdefghigklmn";
$vk="abcdefghigklmn";
…
[/Quote]
辛苦了。今天着手试一下，有结果会告诉你的。呵呵。谢谢
stive_x 2009-06-23
  • 打赏
  • 举报
 回复
恩。这个方法是很新鲜，受益了，但是我要对数据与另外一张表进行判断，重复的修改等。用那个方法就不容易做到了吧？
iwantnet 2009-06-23
  • 打赏
  • 举报
 回复
因为我是用的二种方法。一个是prepared,一个是mysqli,普通的我没有试过.

stive_x 2009-06-23
  • 打赏
  • 举报
 回复
[Quote=引用 12 楼 iwantnet 的回复:]
刚才我在本机试了一下，insert 30000记录，
$db = new mysqli('127.0.0.1','root','123456','testdb');
for($i=1;$i <=30000;$i++)
{
$va="abcdefghigklmn";
$vb="abcdefghigklmn";
$vc="abcdefghigklmn";
$vd="abcdefghigklmn";
$ve="abcdefghigklmn";
$vf="abcdefghigklmn";
$vgg="abcdefghigklmn";
$vh="abcdefghigklmn";
$vi="abcdefghigklmn";
$vj="abcdefghigklmn";
$vk="abcdefghigklmn";
…
[/Quote]
抽空试了下。sqli比普通的sql要慢。。本地机时这样的。
铁马渡江河 2009-06-22
  • 打赏
  • 举报
 回复
关注中，若这问题解决了，请楼主分享下哈，嘿嘿
ACMAIN_CHM 2009-06-22
  • 打赏
  • 举报
 回复

为什么不直接用 LOAD DATA INFILE 直接把数据加载到数据库表中
iwantnet 2009-06-22
  • 打赏
  • 举报
 回复
刚才我在本机试了一下，insert 30000记录，
$db = new mysqli('127.0.0.1','root','123456','testdb');
for($i=1;$i<=30000;$i++)
{
$va="abcdefghigklmn";
$vb="abcdefghigklmn";
$vc="abcdefghigklmn";
$vd="abcdefghigklmn";
$ve="abcdefghigklmn";
$vf="abcdefghigklmn";
$vgg="abcdefghigklmn";
$vh="abcdefghigklmn";
$vi="abcdefghigklmn";
$vj="abcdefghigklmn";
$vk="abcdefghigklmn";
$vl="abcdefghigklmn";
$vm="abcdefghigklmn";
$vn="abcdefghigklmn";
$vo="abcdefghigklmn";
$vp="abcdefghigklmn";
$vq="abcdefghigklmn";
$vr="abcdefghigklmn";
$vs="abcdefghigklmn";
$vt="abcdefghigklmn";
$sql="insert into testdb (va,vb,vc,vd,ve,vf,vgg,vh,vi,vj,vk,vl,vm,vn,vo,vp,vq,vr,vs,vt) values('$va','$vb','$vc','$vd','$ve','$vf','$vgg','$vh','$vi','$vj','$vk','$vl','$vm','$vn','$vo','$vp','$vq','$vr','$vs','$vt')";
$db->query($sql);
页面执行时间: 7427.5 毫秒
我是就是普通的pc机呀。感觉不慢，还可以！
TR@SOE 2009-06-22
  • 打赏
  • 举报
 回复
这样的操作，还是在服务器端用cron在后台操作算了……
iwantnet 2009-06-22
  • 打赏
  • 举报
 回复
你可以不改其它的模块.就把这个模块单独的改一下.看一看效果如果.如果效果好,可以以使用呀
.
stive_x 2009-06-22
  • 打赏
  • 举报
 回复
[Quote=引用 6 楼 iwantnet 的回复:]
mysqli 支持prepared语句的使用，它们对于大量具有不同数据的相同查询和插入时可以提高执行速度.不知道这个对楼主有没有用! 下面是一个例子,你可查一下php手册
<?php
$mysqli = new mysqli("localhost", "my_user", "my_password", "world");

if (mysqli_connect_errno()) {
printf("Connect failed: %s\n", mysqli_connect_error());
exit();
}

/* prepare statement */
if ($stmt = $mysqli->prep…
[/Quote]
就是最好不要改写过的东西。。太多而且这系统用的都是公司的db类，换起来有点。。。不过还是谢谢。
stive_x 2009-06-22
  • 打赏
  • 举报
 回复
恩。谢谢。sqli到是听说过。研究下。
stive_x 2009-06-22
  • 打赏
  • 举报
 回复
恩。。是。就是都设置过了。 一时概念混淆了。。呵呵
iwantnet 2009-06-22
  • 打赏
  • 举报
 回复
mysqli 支持prepared语句的使用，它们对于大量具有不同数据的相同查询和插入时可以提高执行速度.不知道这个对楼主有没有用! 下面是一个例子,你可查一下php手册
<?php
$mysqli = new mysqli("localhost", "my_user", "my_password", "world");

if (mysqli_connect_errno()) {
printf("Connect failed: %s\n", mysqli_connect_error());
exit();
}

/* prepare statement */
if ($stmt = $mysqli->prepare("SELECT Code, Name FROM Country ORDER BY Name LIMIT 5")) {
$stmt->execute();

/* bind variables to prepared statement */
$stmt->bind_result($col1, $col2);

/* fetch values */
while ($stmt->fetch()) {
printf("%s %s\n", $col1, $col2);
}

/* close statement */
$stmt->close();
}
/* close connection */
$mysqli->close();

?>
tfxg 2009-06-22
  • 打赏
  • 举报
 回复
[Quote=引用 3 楼 tfxg 的回复:]
大量數據插入可能PHP會執行超時引各種問題，先設置PHP
max_execution_time = 600 ;每个PHP页面运行的最大时间值(秒)，默认30秒

max_input_time = 600 ;每个PHP页面接收数据所需的最大时间，默认60秒

memory_limit = 128M ;每个PHP页面所吃掉的最大内存，默认8M
[/Quote]
這是php.ini的設置
stive_x 2009-06-22
  • 打赏
  • 举报
 回复
哦。对，忘了补充了。apache里该设置的都设置了。
tfxg 2009-06-22
  • 打赏
  • 举报
 回复
大量數據插入可能PHP會執行超時引各種問題，先設置PHP
max_execution_time = 600 ;每个PHP页面运行的最大时间值(秒)，默认30秒

max_input_time = 600 ;每个PHP页面接收数据所需的最大时间，默认60秒

memory_limit = 128M ;每个PHP页面所吃掉的最大内存，默认8M

加载更多回复（2）
java算法大全（含源码包）
java算法大全，有近100多种常见算法的源代码，是学习JAVA算法的难得资料。
JAVA近百种算法大全
最近找到的JAVA近百种算法大全 分享一下 java算法大全,有近100多种常见算法的源代码,是学习JAVA算法的难得资料，需要的童鞋来下载吧！
Hive 插入大量数据
在大数据领域中，Hive是一个常用的数据仓库工具，可以方便地对大规模数据进行管理和分析。当需要将大量数据插入到Hive表中时，我们需要考虑一些优化策略，以提高插入性能和效率。通过以上优化策略，我们可以提高在Hive中插入大量数据的效率和性能，加快数据处理过程。在实际应用中，根据数据量大小和业务需求，可以灵活选择合适的优化方式，以达到最佳的数据处理效果。
Redis大量数据插入
有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。我们称之为大量数据插入(mass insertion)，本文档的目标就是提供如下信息：Redis如何尽可能快的处理数据。 本文参考网上方案特意整理总结如下： 方式一：使用Luke协议，通过redis-cli –pipe发送数据到服务器 使用正常模式的Redis 客户端执行大量数据插入不是一个好主意：因为一个个的插入会有大量的时间浪费在每一个命令往返时间上。使用管道（pipelining）是一种可行的办法，但是
oracle大量数据插入优化
在学习Oracle中，我们使用SQL和ODBC链接进行数据插入，单独插入少量数据时，没有问题。但是在插入大量数据时，就会出现异常，内存溢出错误。 　　如何解决在进行大量数据插入时，java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。 　　为什么要进行性能优化。 　　首先，在大量数据处理中 一般常规的方式会造成程序处理效率和时间低下。达不到产品上线要求。 ...
基础编程

21,891

社区成员

140,342

社区内容

发帖
与我相关
我的任务
社区描述
从PHP安装配置，PHP入门，PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章