4,250
社区成员
发帖
与我相关
我的任务
分享求采集页数多里，怎样分开一部分一部分采
连接$url=array()里面一共有1000个页面的URL地址，
我写了一个采集类
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}
像这样循化出来的$excel_contetns 就是我要采集的内容。
当我采集50页以下，还好，当页数多了，就采集超时了，还请大侠指点一下，我怎么处理一下？？？
我写了一个采集类
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}
像这样循化出来的$excel_contetns 就是我要采集的内容。
当我采集50页以下，还好，当页数多了，就采集超时了，还请大侠指点一下，我怎么处理一下？？？
...全文
请发表友善的回复…
发表回复
xiachao2008 2011-12-13
- 打赏
- 举报
经典[Quote=引用 4 楼 xuzuning 的回复:]
不要拘泥于“存不存数据库”，问题的实质是将单一的任务分解成多个任务来完成
[/Quote]
不要拘泥于“存不存数据库”，问题的实质是将单一的任务分解成多个任务来完成
[/Quote]
xuzuning 2011-12-13
- 打赏
- 举报
不要拘泥于“存不存数据库”，问题的实质是将单一的任务分解成多个任务来完成
xiachao2008 2011-12-13
- 打赏
- 举报
不存数据库，可以操作吗？[Quote=引用 2 楼 xuzuning 的回复:]
将 $url 存入数据库
逐次从数据库读取 $value 执行采集，如遇新的 url，重复第一步
[/Quote]
将 $url 存入数据库
逐次从数据库读取 $value 执行采集，如遇新的 url，重复第一步
[/Quote]
xuzuning 2011-12-13
- 打赏
- 举报
将 $url 存入数据库
逐次从数据库读取 $value 执行采集，如遇新的 url，重复第一步
逐次从数据库读取 $value 执行采集，如遇新的 url，重复第一步
xiachao2008 2011-12-13
- 打赏
- 举报
