如何获取网页源代码中被隐藏的内容

[hunter12345654]

网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&limit=50
对网页不是太懂。
在这个网页中的那些搜索结果，我使用chrome里右键的“inspect element”能看到那些结果的连接。但是查看源代码就找不到那些连接。比如说第一个结果的链接是“http://www.imamuseum.org/art/collections/artwork/joy-waters-frishmuth-harriet-whitney”
，但是源代码里面没有这些内容，如何把这些网址链接提取出来？

最好能提供一些代码。急用，谢谢了！

[爱若如梦]

引用 楼主 hunter12345654 的回复:

网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&limit=50 对网页不是太懂。 在这个网页中的那些搜索结果，我使用chrome里右键的“inspect element”能看到那些结果的连接。但是查看源代码就找不到那些连接。比如说第一个结果的链接是“http:……

实际使用ajax请求的 请求地址为http://www.imamuseum.org/mercury/ajax/search?department=American&limit=50 返回html部分中包含你需要的链接，可以在浏览器栏直接输入此地址。

[hunter12345654]

引用 1 楼 datiexiong 的回复:

引用 楼主 hunter12345654 的回复:网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&limit=50 对网页不是太懂。 在这个网页中的那些搜索结果，我使用chrome里右键的“inspect element”能看到那些结果的连接。但是查看源……

太谢谢了！是怎么看出请求地址是“http://www.imamuseum.org/mercury/ajax/search?department=American&limit=50” 的呢？能稍微和我一提下么？ 不好意思，还有一个问题， http://www.imamuseum.org/art/collections/artwork/love-song-rockwell-norman 在这个网页最下面有个“TELL US WHAT YOU SEE”一栏，里面有不少标签比如“musicalinstruments”，“ cuckooclock”，“normanrockwell”这些个信息和连接怎么提取呢？网页源代码里面也没有。

[rayyu1989]

引用 4 楼 hunter12345654 的回复:

引用 3 楼 datiexiong 的回复:引用 2 楼 hunter12345654 的回复:引用 1 楼 datiexiong 的回复:引用 楼主 hunter12345654 的回复:网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&am……

除非你模拟js所有动作，否则你做不到

[爱若如梦]

引用 2 楼 hunter12345654 的回复:

引用 1 楼 datiexiong 的回复:引用 楼主 hunter12345654 的回复:网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&limit=50
对网页不是太懂。
在这个网页中的那些搜索结果，我使用chrome里右键的“inspec……

其实就是用控制台进行抓包
看请求的地址以及返回的结果
你需要的标签是是调用jsonp从另一个公共的api获取的
http://tagger.steve.museum/api/term/getfrequencybyobject?jsoncallback=jsonp1360632328772&_=1360632329914&api_key=ad6b6076333b417a0ded807377530173&identifier=irn-60631&format=jsonp&threshold=2&limit=-1&context=sia_normalization_s
使用chrome的控制台的network可以一目了然

[hunter12345654]

引用 3 楼 datiexiong 的回复:

引用 2 楼 hunter12345654 的回复:引用 1 楼 datiexiong 的回复:引用 楼主 hunter12345654 的回复:网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&limit=50 对网页不是太懂。 在这个网……

哦，这样呀。谢谢了！ 但是我想用PHP代码从网页抓取这些标签的信息，能做到么？ 能给些提示吗？

[cde32]

楼主基础知识太少，还是就事论事的好！

[hunter12345654]

引用 4 楼 hunter12345654 的回复:

引用 3 楼 datiexiong 的回复:引用 2 楼 hunter12345654 的回复:引用 1 楼 datiexiong 的回复:引用 楼主 hunter12345654 的回复:网址在这儿：http://www.imamuseum.org/art/collections/search#department=American&am……

我大体弄完了，这是我们的一个作业，谢谢1楼！

[yaoszs]

楼主对于查看页面源码中没有出现的内容都是如何获取的？是去处理页面中用js返回的结果么？如果是的话，能不能给个参考样例？多谢~如果可以，能不能围观一下你的那个作业？可以的话可以发邮箱~[e-mail]