采集网页的几个问题

sudawei123 2008-11-08 01:21:38
我是先把网页用HttpWebRequest读出网页的源代码,再把原代码转成WebBrowser.document
现在有两个问题
1.当程序第一次采集的时候采不到我需要的内容,但在webbrowser里网页显示正常
document里显示的连接数也正常,但在判断我需要的连接为0

2.以下是采级的主控制代码
Dim filepath = "c:\1.txt"
getPage("http://www.clickbank.com/marketplace.htm?" & "method=Sort&c=1&subc=2&keywords=&sortBy=popularity&billingType=ALL&locale=EN&i=50", "c:\1.txt")
While weburl1 <> ""
filepath = "c:\" & weburl1.substring(weburl1.LastIndexOf("=") + 1) & ".txt"
MsgBox(filepath & "," & weburl1)
getPage(weburl1, filepath)
End While
MsgBox("采集完成")

getpage我是写的一个采集网页的方法
这个代码通过while采集多个网页
如果注释掉红字部分的时候采集到第二个网页就不动了,也不报错,程序就假死了
如果不注释的话就能正常采集下去

请问各位大大是哪里的问题啊
...全文
94 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
qshzf 2008-11-13
  • 打赏
  • 举报
回复
sleep等待一下
0暖沙0 2008-11-12
  • 打赏
  • 举报
回复
看来应该是你的While造成了主线程阻塞使程序假死
试试在循环中加入system.Threading.Thread.Sleep(10)或者Application.DoEvents()
或者干脆为你的while循环单独开一个线程执行
cookies10wen 2008-11-10
  • 打赏
  • 举报
回复
帮顶..

16,552

社区成员

发帖
与我相关
我的任务
社区描述
VB技术相关讨论,主要为经典vb,即VB6.0
社区管理员
  • VB.NET
  • 水哥阿乐
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧