wget下载防盗链文件

css基地 2014-01-14 12:18:28

在centos中，通过wget来下载华为网盘的文件会出现这样子的错误：
wget -c http://61.157.124.149/file/MDAwMDAwMDGuKztgd-pAXIVdSZQLlxl_apUw1GwNGQ1usEEupoLf7g../05c44b1bb2b4805dd0275926f4fa252d1607c5/Unity3DJavaScript%E5%9F%BA%E7%A1%80.pdf?key=AAABQFLUJVeBEJpG&p=&a=34348718-e911087-48049-0/010100&mode=download

打开文件说是为了防盗链，但是我用wget伪装成浏览器下载，也是不行：
wget --user-agent="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" http://61.157.124.149/file/MDAwMDAwMDGuKztgd-pAXIVdSZQLlxl_apUw1GwNGQ1usEEupoLf7g../05c44b1bb2b4805dd0275926f4fa252d1607c5/Unity3DJavaScript%E5%9F%BA%E7%A1%80.pdf?key=AAABQFLUJVeBEJpG&p=&a=34348718-e911087-48049-0/010100&mode=download
结果还是一样，请问有无办法下载到这个文件？

...全文

403 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

beginning1126 2014-01-27

打赏
举报

回复

貌似发生了302跳转，看看下载下来的是个啥东西，如果被防盗链防住，正常应该返回403才对

niniec 2014-01-27

打赏
举报

回复

加入referer字段，一般防盗链都是检查这个参数。如正常你是在down.xx.com/d.php点击下载文件，用wget就加入referer:down.xx.com/d.php

css基地 2014-01-16

打赏
举报

回复

不知道咋搞滴，求指引

qq120848369 2014-01-15

打赏
举报

回复

防盗链手段太多，检查referer，检查cookie以及服务端session里的信息验证，会有一定的复杂度。

1.访问http页面内容，输出到标准输出 curl http://www.neocanable.com 2.生成文件 curl -o index.html http://www.neocanable.com 以远程文件名保存 curl -O http://www.neocanable.com 参数-o为输出到某个文件，上面的命令等同于wget http://www.neocanable.com或者curl http://www.neocanable.com > index.html 3.添加proxy curl -x xxx.xxx.xxx.xxx http://www.neocanable.com 通过代理ip访问网页 4.添加浏览器信息通常服务器的日志会记录客户端浏览器的信息 curl -A “浏览器信息” http://www.neocanable.com 5.批量下载文件 curl http://www.xxx.com/action/[1-100].html > /dev/null 这个最适合爬自己网站的缓存了文件下载后重新命名和类正则使用,下载后的文件是demo1-001.html curl -o #1_#2 http://www.xxx.com/~{demo1,demo2}/[1-100].html 创建需要的目录 curl -o –create-dirs http://www.xxx.com/~{demo1,demo2}/[1-100].html 6.分块下载 curl -r 0-1024 http://www.xxx.com/aa.zip curl -r 1025- http://www.xxx.com/aa.zip 先下1M,然后再下剩下的 7.curl ftp 访问ftp地址 curl -u username:password ftp://www.xxx.com curl -u ftp://www.xxx.com 添加端口 curl -u username:password -P8899 ftp://www.xxx.com 上传文件到ftp curl -T /home/neo/demo.jpg -u username:password ftp://www.xxx.com 8.测试参数测试站点相应时间 curl -o /dev/null -s -w %{time_connect}:%{time_starttransfer}:%{time_total} www.google.com 查看http_code curl -o /dev/null -s -w %{http_code} http://www.neocanable.com 网页或文件大小 curl -o /dev/null -s -w %{size_header} http://www.neocanable.com http_code:http返回类似404,200,500等 time_total:总相应时间 time_namelookup:域名解析时间 time_connect:连接到目标地址耗费的时间 time_pretransfer:从执行到开始传输文件的时间间隔 time_starttransfer:从执行到开始传输文件的时间间隔 size_download:下载网页或文件大小 size_upload:上传文件大小 size_header:响应头 size_request:发送请求参数大小 speed_download：传输速度 speed_upload:平均上传速度 content_type:下载文件类型. (Added in 7.9.5) 9.post和get请求 get请求 curl “param1=name¶ms2=pass” http://www.xxx.com post请求 curl -d “param1=name¶ms2=pass” http://www.xxx.com 10.响应超时 curl -m 40 http://www.xxx.com curl –timeout 40 http://www.xxx.com 11.破解网站的防盗链 curl -e “http://www.a.net” http://www.b.net/acion 12.网站头部信息 curl -I http://www.neocanable.com 13.更总url跳转 curl -L http://url.cn/2yQFfd 14.正确的给url编码 curl –data-urlencode http://www.xxx.com/action?name=张三&sex=男 15.限制url的传输速度 curl –limit-rate http://www.xxx.com/action 16.限制下载文件大小 curl –max-filesize 1024 http://www.xxx.com/action 超过1M将不执行操作，并且返回出错 17.curl错误代码 1:未支持的协议。此版cURL不支持这一协议。 2:初始化失败。 3:URL格式错误。语法不正确。 5:无法解析代理。无法解析给定代理主机。 6:无法解析主机。无法解析给定的远程主机。 7:无法连接到主机。 8:FTP非正常的服务器应答。cURL无法解析服务器发送的数据。 9:FTP访问被拒绝。服务器拒绝登入或无法获取您想要的特定资源或目录。最有可能的是您试图进入一个在此服务器上不存在的目录。 11:FTP 非正常的PASS回复。cURL无法解析发送到PASS请求的应答。 13:FTP 非正常的的PASV应答，cURL无法解析发送到PASV请求的应答。 14:FTP非正常的227格式。cURL无法解析服务器发送的227行。 15:FTP无法连接到主机。无法解析在227行中获取的主机IP。 17:FTP无法设定为二进制传输。无法改变传输方式到二进制。 18:部分文件。只有部分文件被传输。 19:FTP不能下载/访问给定的文件， RETR (或类似)命令失败。 21:FTP quote错误。quote命令从服务器返回错误。 22:HTTP 找不到网页。找不到所请求的URL或返回另一个HTTP 400或以上错误。此返回代码只出现在使用了-f/–fail选项以后。 23:写入错误。cURL无法向本地文件系统或类似目的写入数据。 25:FTP 无法STOR文件。服务器拒绝了用于FTP上传的STOR操作。 26:读错误。各类读取问题。 27:内存不足。内存分配请求失败。 28:操作超时。到达指定的超时期限条件。 30:FTP PORT失败。PORT命令失败。并非所有的FTP服务器支持PORT命令，请尝试使用被动(PASV)传输代替！ 31:FTP无法使用REST命令。REST命令失败。此命令用来恢复的FTP传输。 33:HTTP range错误。range “命令”不起作用。 34:HTTP POST错误。内部POST请求产生错误。 35:SSL连接错误。SSL握手失败。 36:FTP 续传损坏。不能继续早些时候被中止的下载。 37:文件无法读取。无法打开文件。权限问题？ 38:LDAP 无法绑定。LDAP绑定(bind)操作失败。 39:LDAP 搜索失败。 41:功能无法找到。无法找到必要的LDAP功能。 42:由回调终止。应用程序告知cURL终止运作。 43:内部错误。由一个不正确参数调用了功能。 45:接口错误。指定的外发接口无法使用。 47:过多的重定向。cURL达到了跟随重定向设定的最大限额跟 48:指定了未知TELNET选项。 49:不合式的telnet选项。 51:peer的SSL证书或SSH的MD5指纹没有确定。 52:服务器无任何应答，该情况在此处被认为是一个错误。 53:找不到SSL加密引擎。 54:无法将SSL加密引擎设置为默认。 55:发送网络数据失败。 56:在接收网络数据时失败。 58:本地证书有问题。 59:无法使用指定的SSL密码。 60:peer证书无法被已知的CA证书验证。 61:无法辨识的传输编码。 62:无效的LDAP URL。 63:超过最大文件尺寸。 64:要求的FTP的SSL水平失败。 65:发送此数据需要的回卷(rewind)失败。 66:初始化SSL引擎失败。 67:用户名、密码或类似的信息未被接受，cURL登录失败。 68:在TFTP服务器上找不到文件。 69:TFTP服务器权限有问题。 70:TFTP服务器磁盘空间不足。 71:非法的TFTP操作。 72:未知TFTP传输编号(ID)。 73:文件已存在(TFTP) 。 74:无此用户(TFTP) 。 75:字符转换失败。 76:需要字符转换功能。 77:读SSL证书出现问题(路径？访问权限？ ) 。 78:URL中引用的资源不存在。 79:SSH会话期间发生一个未知错误。 80:未能关闭SSL连接。 82:无法加载CRL文件，丢失或格式不正确(在7.19.0版中增加 ) 。 83:签发检查失败(在7.19.0版中增加 ) 。

一般防盗链措施都是判断访问来路，也就是referer，这种防盗链措施只对转载/转贴有效，对于采集程序来讲，referer很容易伪造。下面简单介绍一下使用wget和php脚本采集有防盗链措施网站的图片。 1、使用wget wget是linux下非常好用的下载工具， --help可以看到提供了大量的参数，可以很方便自定义下载，伪造来路的参数是： -E --referer，如采集www.xxx...

1.linux系统介绍以windows为内核的操作系统有哪些：win10 win8 win7 xp 系统 windows server 以linux为内核的操作系统有哪些：centos ubuntu debian windows和linux linux:服务器安全稳定高效 windows:办公家用 2.安装linux注意事项对centos系统的基本使用有哪些文件夹对文件/文件夹进行操作创建删除修改移动复制写入 home 存放所有用户文件的根目录 soft :安装软件 cd ll mkdir 创建文件 touch 空文件 echo sdsd>a.txt vi a.txt vi c.txt 打开文件按下i键改为写入的模式写完之后保存：先按下esc 按键再按下:w 保存 :q退出 :wq 写完之后不想保存强制退出 esc :q! 删除文件/文件夹 rm -rf a.txt b.txt rm -rf soft 复制如果复制文件 cp 要复制的文件名复制出来的文件名子 cp a.txt a1.txt 如果复制的是文件夹的 cp -r soft/ soft1 展示一个文件中的内容 cat 移动文件 mv temp1 temp2 重命名 mv temp1 temp2 查找： find /（查找的路径） -name *.txt b 清屏 clear tab 按键可以帮助我们把输入的内容补全 3.配置局域网需要通过ssh软件远程操作linux系统远程操作centos系统在windows操作系统中通过一款软件来远程操作虚拟电脑中的centos系统 ssh软件： xshell secureCRT 第一步在win10系统中下载并且安装ssh软件 secureCRT 第二步：只要知道centos系统所在电脑的公网IP 登录账户和密码 / win10和centos系统所在的两台电脑在同一个局域网内局域网IP 登录账户和密码第三步：centos系统进行局域网的设置往网卡中写入一些数据 win10写入的方式：桌面的化操作和centos系统写入的方式是不一样的 ip 网关子网掩码 NM_conteolle。。。命令找到往网卡写入数据的文件重新启动网络服务开启22端口重启防火墙服务网络桥接网络 *************************端口是否开启 4.配置外网下载软件1.下载并且安装到系统中 node.js环境 npm install bootstrap 默认的镜像库 centos系统 yum install 服务名默认的镜像库 2.自己下载服务 wget 服务的网络地址自己单独安装比较灵活安装难度大 windows系统 exe文件 linux rpm包

防盗链是猫和老鼠的游戏。热链接的目的是利润。它会窃取他人的流量，并利用客户获利，以查看和点击其网站上的广告。防盗链是创建访问规则并通过通过规则识别请求的“合法”来确定如何响应请求。如果要通过水ech保护来保护资源本身，则通常不属于水ech保护类别。通过以上介绍，资源可以分为两类：具有低带宽值的资源，例如网站徽标图像，js脚本和其他资源。其他类别是具有更高带宽值的应用程序，多媒体文件等。对于具有不同价值的资源，防止盗窃链的方法变得越来越先进和复杂。 3.2水Lee预防策略和方法基于HTTP请求标头中引荐

squid防盗链配置14 November 2009做网站的，谁愿意自己辛辛苦苦的成果就被别人轻松转载，如果是文字的，一般也就禁鼠标右键，再没什么好办法（当然，名人好打官司另说），但如果是图片，影音的文件，大可以利用http协议的header信息进行控制，这就是大多数web服务器日志要记录的referer。公司新进一测试客户，就要求CDN方配合做防盗链。公司自然有规范，直接...

系统维护与使用区

19,612

社区成员

74,603

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章