请教一个关于curl请求并下载图片的问题!

itvine 2017-11-11 08:23:36

请问大家一个问题，谢谢。
想要在某一个网站去下载一些图片，但是该网站的图片名称是从服务器端生成并且一起返回的。

我通过Curl请求这个地址并且获得了HTML文档，通过解析文档得到了图片的地址，然后我在用CURL去下载每张图片的时候，图片就不存在了。

第一次发送请求的时候，服务器端已经把所有的图片名称生成好了。通过curl请求列表然后在解析其中的地址时，这个地址已经不能不用了。[/u]

但是客户端浏览器就没有这个问题，感觉就像是浏览器访问服务器的时候同时就像把图片文件下载缓存到了本地一样。

按照我的理解浏览器的过程应该是，客户端浏览器对这个地址发送请求，服务器端返回html文档，客户端浏览器对返回的HTML文档解析，在解析的时候的时候如果遇到IMG标签，会对IMG标签发送get请求(下载图片)，但是我CURL也是这样做的，可是为什么就是不行呢？

...全文

420 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

szuzsq 2017-11-21

打赏
举报

回复

也许仅仅是相对路径绝对路径的问题?

傲雪星枫 2017-11-18

打赏
举报

回复

估计对方验证了来源，可以模拟一下指定 CURLOPT_REFERER

xuzuning 2017-11-11

打赏
举报

回复

指定 CURLOPT_REFERER

先不说房价，堵车，雾霾。。。先说说我这半年使用 Node.js 的经验吧。。。都是工作上遇到的问题，血的教训。。 1.精确版本号 “一定要精确到具体版本号！使用*直接滚，^和~都不行！”，早上刚到公司，我们服务器的头头满眼血丝（估计又凌晨几点睡的），对我抱怨道：“妈蛋，以前写的代码package.json里的版本和服务器正在运行的版本不一样。安装最新的又咣咣一顿报错。”此处省略几千字。。。好吧。我先打自己脸。以前只会用*。。。大多时候也没必要写死版本号，使用^和~也可以。扫一下盲： semver node.js 中的版本管理 2.测试一定要写测试用例。就拿我来说，我负责的那块包含过滤部分（

直接详细说明下场景：服务器A会通过 curl 将数据转发到服务器B 上，服务器A 每小时转发量在百万级。curl 请求的是服务器B上的一个 0字节的文件，只要把请求记录在服务器B的nginx日志里就可以了。现在通过两边的数据比对，发现数据一天会丢几千条，一小时会丢一两百条。服务器A 用curl_errno()，甚至加了curl_getinfo()判断返回的是否是200 都没有记录到curl...

接手的新项目，使用 Laravel 框架 ,有一个接口请求控制器使用的是GuzzleHTTP客户端请求组件，开始用的时候，发现一直处于卡死，直到 nginx 返回504 Time Out，并且请求的本地 api 服务器，也没有请求日志，api 是可以确保在正常运行的。同时，线上的 api 地址就可以正常请求。所以，可以判断出代码是正常的，同时请求没有发出。一开始...

一、引言最近在工作中，遇到了这么一个需求：我们希望拥有一个高性能的 http 请求处理客户端程序，这个客户端要求有这样的架构：它拥有两个线程一个线程接收业务程序通过消息队列发来的批量的 http 请求信息，进行批量的 http 请求另一个线程接收外部的 http 应答，并将应答信息放到本地的消息队列中供业务程序使用要求在 http 请求的处理过程中，尽量保持不阻塞高性能处理这...

昨天要模拟请求去登录路由器，结果使用无论是使用Go模拟请求，还是curl发送请求，都无法获得想要的resp，但是使用ApiFox发送请求却可以拿到正确的resp，之后即使使用ApiFox或者是Postman生成的代码模拟请求依然无法获得正确resp。今天来了之后，请教了前辈，前辈研究了一个小时发现正常访问这个链接时会被重定向到另外一个链接，并且直接返回200，而不是302，需要手动禁止。

21,893

社区成员

140,347

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章