21,893
社区成员
发帖
与我相关
我的任务
分享phpwind 6.0 论坛的 数据采集 问题请教大家
想采集一个需要登录的 phpwind 6.0 论坛的数据（只需要采集到本地数据库，不需要发布到别的论坛） ，在采集时无法采集到数据(相关的规则都正确)。
请问各位兄弟姐妹：是什么原因？有什么解决办法吗？有什么采集器可以采集需要登录的 phpwind 6.0 论坛数据吗（好像火车头，小蜜蜂等等的不行）？
ps: 可能跟 phpwind 6.0采用的动态Cookies技术有关。
谢谢大家！期待大家的指教。
请问各位兄弟姐妹：是什么原因？有什么解决办法吗？有什么采集器可以采集需要登录的 phpwind 6.0 论坛数据吗（好像火车头，小蜜蜂等等的不行）？
ps: 可能跟 phpwind 6.0采用的动态Cookies技术有关。
谢谢大家！期待大家的指教。
...全文
请发表友善的回复…
发表回复
Newdew 2008-05-05
- 打赏
- 举报
[Quote=引用 26 楼 lvjx125 的回复:]
顶起
[/Quote]
谢谢帮顶，期待高人指点。
顶起
[/Quote]
谢谢帮顶，期待高人指点。
Newdew 2008-05-04
- 打赏
- 举报
奇怪，23楼我怎么看不到啊？
Newdew 2008-05-04
- 打赏
- 举报
顶起来等高手指点！顶起来等高手指点！
lvjx125 2008-05-04
- 打赏
- 举报
顶起
meiZiNick 2008-05-01
- 打赏
- 举报
等待牛人来答.
Newdew 2008-04-27
- 打赏
- 举报
顶起来等高手指点！
Newdew 2008-04-26
- 打赏
- 举报
顶起来等高手！
Newdew 2008-04-25
- 打赏
- 举报
[Quote=引用 19 楼 fxs_2008 的回复:]
看了一下,共有六个cookie其中一个是动态cookie,
不好采集,对方可能验证cookie,也可能验证你是否是从网站上来的而不是浏览器直接请求!
这种情况下不好采集!必须能模拟cookie才行!
估计curl能行!请高手试试吧!
[/Quote]
期待有高手能搞定phpwind的动态cookie
看了一下,共有六个cookie其中一个是动态cookie,
不好采集,对方可能验证cookie,也可能验证你是否是从网站上来的而不是浏览器直接请求!
这种情况下不好采集!必须能模拟cookie才行!
估计curl能行!请高手试试吧!
[/Quote]
期待有高手能搞定phpwind的动态cookie
fxs_2008 2008-04-24
- 打赏
- 举报
看了一下,共有六个cookie其中一个是动态cookie,
不好采集,对方可能验证cookie,也可能验证你是否是从网站上来的而不是浏览器直接请求!
这种情况下不好采集!必须能模拟cookie才行!
估计curl能行!请高手试试吧!
不好采集,对方可能验证cookie,也可能验证你是否是从网站上来的而不是浏览器直接请求!
这种情况下不好采集!必须能模拟cookie才行!
估计curl能行!请高手试试吧!
panxuan 2008-04-24
- 打赏
- 举报
[Quote=引用 16 楼 Newdew 的回复:]
最关键的地方就是：phpwind 6.0采用的是动态Cookies。
[/Quote]
最关键的地方就是：phpwind 6.0采用的是动态Cookies。
[/Quote]
Newdew 2008-04-24
- 打赏
- 举报
最关键的地方就是：phpwind 6.0采用的是动态Cookies。
Newdew 2008-04-24
- 打赏
- 举报
有人能搞定这个问题吗？
Newdew 2008-04-23
- 打赏
- 举报
[Quote=引用 12 楼 fxs_2008 的回复:]
随便给个网址，用户密码，俺测测（可发消息）
[/Quote]
已经给你站内短消息，谢谢你！
随便给个网址，用户密码，俺测测（可发消息）
[/Quote]
已经给你站内短消息，谢谢你！
Newdew 2008-04-23
- 打赏
- 举报
[Quote=引用 14 楼 fxs_2008 的回复:]
看了一下,不是不能采集,而是你没有权限,没有权限就看不到,看不到就采集不到
采集,只能采集你能看到的
你看到的那个可能是自已,但别人的不行
[/Quote]
我能看到的全部采集不到。个人资料我只能看到自己的，但自己的个人资料也无法采集到，其它的普通帖子（我能看到）也采集不到。
看了一下,不是不能采集,而是你没有权限,没有权限就看不到,看不到就采集不到
采集,只能采集你能看到的
你看到的那个可能是自已,但别人的不行
[/Quote]
我能看到的全部采集不到。个人资料我只能看到自己的，但自己的个人资料也无法采集到，其它的普通帖子（我能看到）也采集不到。
fxs_2008 2008-04-23
- 打赏
- 举报
看了一下,不是不能采集,而是你没有权限,没有权限就看不到,看不到就采集不到
采集,只能采集你能看到的
你看到的那个可能是自已,但别人的不行
采集,只能采集你能看到的
你看到的那个可能是自已,但别人的不行
fxs_2008 2008-04-22
- 打赏
- 举报
随便给个网址，用户密码，俺测测（可发消息）
Newdew 2008-04-22
- 打赏
- 举报
补充一点：使用采集器或者9楼的方法采集Discuz论坛的数据一切正常。采集phpwind论坛的数据就不行了。
Newdew 2008-04-22
- 打赏
- 举报
[Quote=引用 9 楼 fxs_2008 的回复:]
先用浏览器登录，不关闭，正常采集
——————————
这个，只要是用iE的程序均可正常采集的
如flashget,微软的xmlhttp等，但如果你不用ie,不行！因为原理不一样！
curl和socket是直接调用http协议,可能不行！
[/Quote]
先谢谢你的热心帮助！
使用IE浏览器登录（Cookies期限选的是永久），不关闭，使用Flashget下载后发现仍然是提示未登录（下载的是源文件，查看源文件发现仍然未登录状态）。在Flashget里加入登录名称和密码仍然不行（该网站登录时有验证码校验）。
先用浏览器登录，不关闭，正常采集
——————————
这个，只要是用iE的程序均可正常采集的
如flashget,微软的xmlhttp等，但如果你不用ie,不行！因为原理不一样！
curl和socket是直接调用http协议,可能不行！
[/Quote]
先谢谢你的热心帮助！
使用IE浏览器登录（Cookies期限选的是永久），不关闭，使用Flashget下载后发现仍然是提示未登录（下载的是源文件，查看源文件发现仍然未登录状态）。在Flashget里加入登录名称和密码仍然不行（该网站登录时有验证码校验）。
fxs_2008 2008-04-22
- 打赏
- 举报
先用浏览器登录，不关闭，正常采集
——————————
这个，只要是用iE的程序均可正常采集的
如flashget,微软的xmlhttp等，但如果你不用ie,不行！因为原理不一样！
curl和socket是直接调用http协议,可能不行！
Newdew 2008-04-22
- 打赏
- 举报
[Quote=引用 7 楼 junp2007 的回复:]
curl，模拟登录
[/Quote]
谢谢！
curl非常博大，短时间内搞不透。有没有现成的采集器可以用的？
curl，模拟登录
[/Quote]
谢谢！
curl非常博大，短时间内搞不透。有没有现成的采集器可以用的？
加载更多回复（7）
