采集程序的原理是什么?

php_wsd PHP高级工程师  2011-07-13 02:33:28
Function getHTTPPage(url,language)
'On Error Resume Next
dim http
set http=Server.createobject("Microsoft.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate<>4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,language)
set http=Nothing
If Err.number<>0 then
Response.Write "<p align='center'><font color='red'><b>服务器获取文件内容出错</b></font></p>"
Err.Clear
End If
End Function

Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function

这是采集常用的两个函数。请问在采集的时候,程序是使用什么身份打开要采集的页面的?是使用哪个浏览器打开的吗?
...全文
35 点赞 收藏 5
写回复
5 条回复
一把编程的菜刀 2011年07月13日
采集,用简单通俗的话来说,就是服务端远程打开某个页面进行读取。

也就是说与用什么浏览器无关
回复 点赞
php_wsd 2011年07月13日
谢谢大家,我已经成功模拟搜索引擎,采集到我要的页面了。
回复 点赞
gingerkang 2011年07月13日
请求的内容在不同的浏览器上表现的效果可能不一样,但内容是一样的。你获取的是内容。
不知道我理解对或者说明白了没?
回复 点赞
php_wsd 2011年07月13日
我在注册表中修改了一个地方,改后,我的IE就可以模拟搜索引擎打开页面效果一样,但是我和程序却没有得到这样的效果。
所以想了解一下采集使用的是哪个浏览器打开的,为什么?
回复 点赞
挨踢直男 2011年07月13日
就是像浏览器请求一个页面一样,一个是地址栏
你那个是通过程序
回复 点赞
发动态
发帖子
ASP
创建于2007-09-28

1.9w+

社区成员

35.7w+

社区内容

ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区公告
暂无公告