程序是用PHP 写的，方法就是简单的file_get_content ,但是循环读取的时候，总提示超时，上网查了一下，这是PHP本身的问题。
我现在应该用什么办法？
-
等级
本版专家分：0结帖率 99.61% -
现在正在做一个商城，需要每天定时从一号店获取商品价格来更新本地价格，大概5000条左右。
程序是用PHP 写的，方法就是简单的file_get_content ,但是循环读取的时候，总提示超时，上网查了一下，这是PHP本身的问题。
我现在应该用什么办法？展开阅读全文
-
等级
本版专家分：7667勋章
-
-
蓝花
2015年3月 PHP大版内专家分月排行榜第三
2015年2月 PHP大版内专家分月排行榜第三
-
-
查一下curl的多线程
-
等级
本版专家分：4542勋章
-
- 签到新秀
-
-
你是通过Web的方式来执行？还是CLI？
设置好相应的超时时间。
PHP脚本里可以用set_time_limit函数来设置最大执行时间。如果是通过Web的方式，可能还要设置相应服务器的超时时间。
-
等级
本版专家分：64985勋章
-
- 优秀版主 2016年10月优秀小版主
-
- 铜牌 2017年1月 总版技术专家分月排行榜第三
-
-
红花
2017年2月 PHP大版内专家分月排行榜第一
2017年1月 PHP大版内专家分月排行榜第一
-
-
黄花
2017年7月 PHP大版内专家分月排行榜第二
2017年6月 PHP大版内专家分月排行榜第二
2017年5月 PHP大版内专家分月排行榜第二
2017年4月 PHP大版内专家分月排行榜第二
2017年3月 PHP大版内专家分月排行榜第二
2016年12月 PHP大版内专家分月排行榜第二
2016年11月 PHP大版内专家分月排行榜第二
2016年10月 PHP大版内专家分月排行榜第二
2016年9月 PHP大版内专家分月排行榜第二
2016年7月 PHP大版内专家分月排行榜第二
2016年6月 PHP大版内专家分月排行榜第二
2016年3月 PHP大版内专家分月排行榜第二
2016年2月 PHP大版内专家分月排行榜第二
2016年1月 PHP大版内专家分月排行榜第二
2015年11月 PHP大版内专家分月排行榜第二
2015年10月 PHP大版内专家分月排行榜第二
2015年8月 PHP大版内专家分月排行榜第二
2015年7月 PHP大版内专家分月排行榜第二
2015年6月 PHP大版内专家分月排行榜第二
2015年4月 PHP大版内专家分月排行榜第二
2015年3月 PHP大版内专家分月排行榜第二
2015年2月 PHP大版内专家分月排行榜第二
2015年1月 PHP大版内专家分月排行榜第二
2014年12月 PHP大版内专家分月排行榜第二
2014年11月 PHP大版内专家分月排行榜第二
2014年10月 PHP大版内专家分月排行榜第二
2014年9月 PHP大版内专家分月排行榜第二
2014年8月 PHP大版内专家分月排行榜第二
2014年7月 PHP大版内专家分月排行榜第二
2014年6月 PHP大版内专家分月排行榜第二
-
-
可以设置超时时间大一些。
-
等级
本版专家分：50
-
可以加大服务器和Php的超时时间，php是set_time_limit(0);服务器的apache和nginx的不一样，你可以百度一下。
最后需要重启一下服务器
-
等级
本版专家分：0
-
是通过 WEB 来处理的。
-
等级
本版专家分：396078勋章
-
- 签到新秀
-
- 名人 2019年 荣获名人称号
-
- 状元 2018年总版新获得的技术专家分排名第一
-
-
进士
2017年 总版技术专家分年内排行榜第四
2014年 总版技术专家分年内排行榜第四
2013年 总版技术专家分年内排行榜第四
2012年 总版技术专家分年内排行榜第六
-
-
用多道 curl 或用 socket 启用多进程
-
等级
本版专家分：10勋章
-
- 签到新秀
-
-
用php写个脚本 不要在脚本里写循环 然后在linux下执行计划任务
-
等级
本版专家分：3886勋章
-
- 黄花 2015年9月 PHP大版内专家分月排行榜第二
-
- 蓝花 2015年8月 PHP大版内专家分月排行榜第三
-
-
1、Linux或者windows的计划任务可以做定时任务
2、phpquery是一款强大的采集库，可以满足你的采集需求
3、ignore_user_abort和set_time_limit函数可以让php脚本不超时执行
-
等级
本版专家分：30
-
把php和服务器容器超时限制设为无限，php可用内存加大。就不会再出现此问题
-
等级
本版专家分：1918 -
我个人觉得开发一个小软件，处理会更快，更容易些，例如弄个C# 多线程，5000条价格数据，10分钟以内就能完成。
当然，软件还可以放在服务器上，更是高枕无忧啊。。
- php数据采集源码,PHP实现数据采集的三种方法
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。PHP制作采集的技术：从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。1. 使用socket技术采集：socket采集是最...
- 消息中间件MQ与RabbitMQ面试题（2020最新版）
文章目录为什么使用MQ？MQ的优点消息队列有什么优缺点？RabbitMQ有什么优缺点？你们公司生产环境用的是什么消息中间件？Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？MQ 有哪些常见问题？...
- php数据采集源码,3种PHP实现数据采集的方法
本文主要和大家分享的是3种PHP实现数据采集的方法，希望能帮助到大家。PHP制作采集的技术：从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。1. 使用socket技术采集：socket采集是最底层的，它只是...
- php怎么采集,PHP怎么采集页面数据？
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。PHP制作采集的技术：从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。1. 使用socket技术采集：socket采集是最...
- PHP使用3种方法实现数据采集
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。 PHP制作采集的技术： 从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。 1. 使用socket技术采集： socket...
- php批量采集电视剧,如何通过PHP多线程批量采集下载远程网站图片代码实例
/***curl多线程*@authorhttp://www.lai18.com*@paramarray$array并行网址*@paramint$timeout超时时间*@returnmix*/publicfunctionCurl_http($array,$timeout='15'){$res=array();$mh=curl_multi_init();//创...
- 浅谈php处理后端&接口访问超时的解决方法
如果碰到对方服务器一直没有响应的时候，我们就悲剧了，很容易把整个服务器搞死，所以在访问http的时候也需要考虑超时的问题。 [ CURL 访问HTTP] CURL 是我们常用的一种比较靠谱的访问HTTP协议接口的lib库，性能高，...
- php curl 批量,关于用php的curl批量抓取内容
先上个单个采集的curl访问案例$curl = curl_init();curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);curl_setopt...
- PHP数据采集常用的方法
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。 PHP制作采集的技术： 从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。 1. 使用socket...
- mysql 批量修改超时_MySQL连接超时关闭问题解决
最常见的就是采集或者新旧数据转化。SHOW VARIABLES LIKE '%timeout%’解决方案：在my.ini文件中添加或者修改以下两个变量：wait_timeout=2880000interactive_timeout =2880000关于两个变量的具体说明可以google或者...
- php怎么开启采集,PHP实现数据采集的三种方法
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。PHP制作采集的技术：从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。1. 使用socket技术采集：socket采集是最...
- 简数采集平台在数据发布常见疑问及对应解决办法
我们总结了大家在使用简数采集平台在数据发布时提问频率比较高的一些疑问，供大家进行查阅，希望大家能有更好的体验。详细的疑问及解决办法如下： 在发布目标的 ‘设置发布对应字段’ 中 ‘来源值1’ 无法选择对应...
- PHP多线程批量采集下载图片
使用curl的多线程，另外curl可以设置请求时间，遇到很慢的url资源，可以果断的放弃，这样没有阻塞，另外有多线程请求，效率应该...Php代码 /** * curl 多线程 * * @param array $array 并行网址 * @
- PHP采集页面的四种方法
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。可以通过三种方法来使用PHP访问到网页 1. 使用file_get_contents() 前提：在php.ini中设置允许打开一个网络的url地址。 使用...
- PHP Curl高性能采集类
* Curl高效率采集类 * Author: 浩瀚星空 * Mail: ljz@3ghh.cn * Date: 2018-1-7 */ class Curl { //$curl = new Curl(); //$curl->setopt([CURLOPT_USERAGENT=>'Curl']); //echo ...
- php怎么开启采集,PHP采集页面的四种方法-Go语言中文社区
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。可以通过三种方法来使用PHP访问到网页1. 使用file_get_contents()前提：在php.ini中设置允许打开一个网络的url地址。使用这个...
- 同步数据太多php网页卡死_curl_multi网页假死/卡死的解决方法
curl_multi 多线程批量下载非常方便。不过curl_multi有时候并发下载的数量过多就会出现CPU过高，网页假死/卡死现象。通过查询资料测试终于找到了一个解决问题的方法。通常我们是这样使用curl_multi的:$connomains = ...
- PHP抓取数据的3中形式
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。 PHP制作采集的技术： 从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。 1. 使用socket技术采集： ...
- 基于PHP的cURL入门教程 (小偷采集程序）
URL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。很多小偷程序都是使用这个函数。 最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用...
- PHP的502报错
**** nginx+php 出现502 bad gateway，一般这都不是nginx的问题，而是由于 fastcgi或者php的问题导致的 服务器出现 502 的原因是连接超时 我们向服务器发送请求 由于服务器当前链接太多，导致服务器方面无法给于正常...
- 使用PHP提供的CURL模块采集任意网页 已经封装一个类超级好用
<?php /** * 类名称:curl * 1.支持单个get,post请求 * 2.支持多个目标未登录get请求 * 3.... * 4.... * 5.... * 6.支持自定义编码数据请求（该情况比较特殊） * 7.... * 8.... * 9.支持自定义超时 ...
- 大数据项目之电商数仓（用户行为数据采集）
第1章 数据仓库概念 第2章 项目需求 2.1 项目需求分析 2.2 项目框架 2.2.1 技术选型 2.2.2 系统架构图设计 2.2.3 系统数据流程设计 2.2.4 框架版本选型 产品 版本 ...
- 以太坊ETH挖矿图文教程2.0
本教程页数不多，7页，主要描述如何使用以太坊ETH挖矿，图文并茂的展示和流程细节的体现，基本看了一遍就肯定能够学会了。
- python大作业--爬虫（完美应付大作业）.zip
python大作业分享--30多个项目任你选（由于上传大小限制分多个文件上传。爬虫：https://download.csdn.net/download/weixin_43960044/12533382小游戏：https://download.csdn.net/download/weixin_43960044/12533379），应付大作业完全没问题。内涵30多个项目，随意挑选。爬虫（爬抖音视频、下载B站视频、怕天气预报等）小游戏（五子棋、坦克大战、贪吃蛇、拼图等）。
- LABVIEW入门与实战开发100例.pdf
LABVIEW入门与实战开发100例，从基础到入门的基本实例。
- Python 3.9 安装包
Python是一种编程语言，可让您快速工作 无论您是编程新手还是经验丰富的开发人，都可以轻松学习和使用Python
- 新型冠状病毒疫情_2020年东三省数学建模A题_论文展示
2020年东三省数学建模A题_论文展示。 采用了topsis和lstm长短期记忆人工神经网络深度学习模型。 研究新冠病毒疫情传播和世界主要国家疫情聚类和疫情管控评价。
- SpringCloud微架构
SpringCloud是现在热门的RPC开发框架，也是以后的RPC开发趋势。在本套课程之中将为读者详细的讲解分布式技术的发展历史、以及各种分布式开发优缺点，同时详细的分析了整个SpringCloud中所涉及到的技术点以及相关作用。 本课程将基于Rest服务、SpringSecurity访问进行讲解，详细的讲解了Eureka注册发现服务、Eureka-HA机制、服务部署处理、Ribbon负载均衡、Feign接口映射、Hystrix熔断处理、Zuul代理访问等SpringCloud核心内容。随后在基础内容的讲解基础上又为读者讲解了SpringCloudConfig、GITHUB服务配置、消息服务、服务监控等辅助内容。
- SEIR代码新冠肺炎模型.zip
建模比赛刚刚用完亲测有效可出图出数据有分析有数据可直接运行
- 100个精彩网页设计案例
源自国外优秀设计师的100个设计案例，打包放送