怎样遍历internet某个网站上的某个url路径下的全部文件

tmoonlight 2010-04-24 02:29:19

背景是这样的：

我想编一个程序，能获取某一个url下的比如： http://www.okok.com//d/478/
这个 url下的所有文件。
因为它下面的文件时以数字来命名的，所以我明前是程序自动加1的去获取，比如
http://www.okok.com//d/478/1.jpg , http://www.okok.com//d/478/2.jpg .....

可是我突然发现，有些是6-7.jpg 所以就没法用一个通用的算法获取了。说不定下次可能是 3-8.jpg
而且后缀名也是有 jpg或者 png等

所以与其自己写很多if来判断，不如让程序能像遍历本地计算机上的某个文件夹下的文件那样去遍历该多好！！

所以想问下有人知道怎么遍历吗？

谢谢啦

url是
http://www.narutom.com/comic/8708.html?p=15

...全文

712 13 打赏收藏转发到动态举报

写回复

13 条回复

切换为时间正序

请发表友善的回复…

发表回复

x_pengcheng 2010-04-27

打赏
举报

htmlParse 开源包可以很方便的解析。

zhujunyu123456 2010-04-27

打赏
举报

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

zhujunyu123456 2010-04-27

打赏
举报

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

蒋晟 2010-04-27

打赏
举报

你可以找一个调试用的代理服务器抓一下点下一页的时候和服务器之间的HTTP通讯
然后判断一下HTML和HTTP通讯之间的关系，以便于自己模拟HTTP请求

franva008 2010-04-24

打赏
举报

谢谢上面的朋友们的思路

但是要说一下的是正则表达式一定不行。

说用正则的朋友们估计还没去看过那个网页。

请打开网页看一下。那个是个漫画连载的网页。每个网页上只有1个漫画的图片和多个不相干的非漫画图片。

而通往下一页漫画图片的那个DropDownList 是由服务器动态生成的。所以在那个网页的内容里是没有其他漫画页面的 url的。

您用正则表达式的基础是在这个网页的内容上要有接着动画网页的 url。但是这里没有

所以说前提都不符合。所以就用不了正则表达式了。

看来思路方向不对。

请大家想想还有其他方法吗？还有所有一切和网页解析得到可用url的方法都应该不使用本网站

所以请大家想想别的思路吧

谢谢啦

yueguangkai001 2010-04-24

打赏
举报

我看是算了,这样的程序估计不是你那样简单的弄几下就OK了的

不是有一个工具,叫做网页整荡器什么的,应该就是你所要的程序了

零起跑线 2010-04-24

打赏
举报

理论上来用枚举是万能的，可是这开销。。。。。

蒋晟 2010-04-24

打赏
举报

http协议不支持。再说很多文件下载不到的，比如web.config,index.aspx等等。还是分析页面上的链接比较靠谱。

zfq642773391 2010-04-24

打赏
举报



Pattern pattern = Pattern.compile("href=\"(.+?)\""); 

Matcher matcher = pattern.matcher("<a href=\"index.html\">主页</a>"); 

if(matcher.find()) 

  System.out.println(matcher.group(1)); 

}

这个正则用来获得href=""里的网址