求采集页数多里,怎样分开一部分一部分采

xiachao2008 2011-12-13 12:54:09
连接$url=array()里面一共有1000个页面的URL地址,

我写了一个采集类

foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}

像这样循化出来的$excel_contetns 就是我要采集的内容。

当我采集50页以下,还好,当页数多了,就采集超时了,还请大侠指点一下,我怎么处理一下???
...全文
158 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
xiachao2008 2011-12-13
  • 打赏
  • 举报
回复
经典[Quote=引用 4 楼 xuzuning 的回复:]

不要拘泥于“存不存数据库”,问题的实质是将单一的任务分解成多个任务来完成
[/Quote]
xuzuning 2011-12-13
  • 打赏
  • 举报
回复
不要拘泥于“存不存数据库”,问题的实质是将单一的任务分解成多个任务来完成
xiachao2008 2011-12-13
  • 打赏
  • 举报
回复
不存数据库,可以操作吗?[Quote=引用 2 楼 xuzuning 的回复:]

将 $url 存入数据库
逐次从数据库读取 $value 执行采集,如遇新的 url,重复第一步
[/Quote]
xuzuning 2011-12-13
  • 打赏
  • 举报
回复
将 $url 存入数据库
逐次从数据库读取 $value 执行采集,如遇新的 url,重复第一步
xiachao2008 2011-12-13
  • 打赏
  • 举报
回复

4,250

社区成员

发帖
与我相关
我的任务
社区描述
国内外优秀PHP框架讨论学习
社区管理员
  • Framework
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧