关于采集器的几个问题

zhonwei123 2010-05-19 04:03:24

我现在在做一个采集器，现在的成果是可以采集本网页的内容，但是我老大要求要我获得其他几个页码的内容，但是那网站的链接是用AJAX，用的POST传值。我怎么才能获得它传的URL是多少？听说要抓包啊用到这个CookieContainer，我也不知道改怎么做。希望大家能提点下我。。谢谢

...全文

94 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

zhangweiit 2010-05-19

打赏
举报

回复

对于这种情况，只能去猜测他的页面地址了
比如你获取到第一个页面
看看是否有规则通过这个获取到其它页面

zhangweiit 2010-05-19

打赏
举报

回复

额，如果用的是ajax，那还真的难
因为，采集器，不是浏览器，不能运行js,那么，根本就不会发包，
你怎么可能收包呢

1、如果您是新手，请务必先看一下官网视频讲解教程。视频教程是由我们官方培训讲师给大家讲解后羿采集器的使用方法，每一篇教程其实都很简短，如果大家在开始采集之前先看一下这些视频讲解教程，大部分问题都能得到解答。2、XX 网站能不能采集？XX 数据能不能采集？请先参考第一条。官网视频讲解教程中我们已经介绍过，后羿采集器是一款通用网页采集软件，只要是有网址，可以通过网页浏览，您能看得见的内容，大多都是可以...

后羿采集器是一款高效、便捷的网络数据采集工具，它通过自动化和智能化技术，帮助用户快速获取互联网上的数据资源。无论你是数据分析师、市场研究员还是普通的网络用户，后羿采集器都能提供简洁的操作界面与强大的功能，极大地提高了数据采集的效率和准确性。后羿采集器允许用户根据自身需求设定不同的导出模板，以便于从抓取到的数据中提取有价值的信息。创建一个导出格式模板的过程如下：打开后羿采集器，进入“导出模板”管理界面。点击“新建模板”按钮，输入模板名称，选择适用的数据类型。

好多朋友不知道关关采集器如何进行代理ip地址进行采集，今天给大家分享下关于关关采集器的代理ip设置方法。首先打开关关采集器的代理页面（有些关关版本不一样可能位置不同，几个选项都看看，有一个就是代理ip设置的地方）如上图所示说明： ①：ip端口，输入代理ip地址，一般为ip地址，也有提供的是域名。 ②：端口，输入代理ip对应的代理ip端口即可。 ③：代理账户，输入代理ip商提供的代...

网站采集器，是实用简单的网页资源下载工具，站长可以监控某一个或者多网页的所有资源，并将其下载到自己的数据库上，站长可以自定义下载的内容，包括图片、文字等资源，也可以将整个网页上的内容全部一次性下载，方便填充自己的网站内容，网站采集器运行的速度非常快，几分钟就能扫描整个网页，能够大幅度的提升网站采集工作的效率。站长可以用网站采集器同时采集多个网站的数据，站长还可以随时导入导出任务，任务也可以设置密码，让站长采集任务的细节不会泄露，非常实用。网站采集器采用了底层HTTP方式采集数据，快速稳定，站长.

一、采集背景　　采集背景：采集简书文章标题、网址、阅读数　　目的：用来做数据分析　　使用工具：火车头采集器(火车采集器是一款互联网数据抓取、处理、分析，挖掘软件。) 　　二、采集方法步骤说明　　步骤1：安装火车头采集器(注意：需要安装net4.0框架才能运行) 　　火车头采集器下载地址：　　http://www.locoy.com/ 　　步骤2：注册账号　　步骤3：了...

62,269

社区成员

668,981

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章