哪里有抓取web(HTML)的服务?

[jb2008]

我只提供URL，自动抓取HTML代码，只要HTML代码，抓取的主要是国外的网站。
现在自己做了一个下载程序，但抓多了会被封IP。

国外有这服务接口吗？ 收费的也行。

[範先森]

打开网页不就可以看到html代码么，打开之后另存为就能整个网页存下来啊

[jb2008]

我要让程序自动调用，在大量网页要下载。

[孙大诚_SunRobin]

你自己写代码去读取服务器的HTML跟浏览器不停的刷新是一个道理的，都是HTTP请求，然后返回HTML.

[jb2008]

引用 4 楼 myhope88 的回复:

用代理服务器，不断的换IP地址

我不想去开发这个程序，我只提供URL，接口返回HTML就行，见过这样的服务吗？

[以专业开发人员为伍]

首先，你所谓的 url 是否真正是你要下载的 html。许多现代的网页上的 html 可能是几百次动态改变之后的。如果你保证只需要你提供的 url 的初始的 html 内容，这个才靠谱。 其次，你能出多少钱？如果人家要1万，你只给200，这就成了小孩子游戏了。

[myhope88]

用代理服务器，不断的换IP地址

[jb2008]

引用 6 楼 sp1234 的回复:

首先，你所谓的 url 是否真正是你要下载的 html。许多现代的网页上的 html 可能是几百次动态改变之后的。如果你保证只需要你提供的 url 的初始的 html 内容，这个才靠谱。 其次，你能出多少钱？如果人家要1万，你只给200，这就成了小孩子游戏了。

URL是固定的，有这样的服务吗？问题现在是要找到稳定的服务接口，再来谈钱。

[by_封爱]

代理服务器 每天搜索免费的代理 然后自动换被

[BillHu233]

你看看苏飞助手行不行呢，专门做爬虫的，你用url或者一个页面的element，然后获取他的html应该是可以的吧

[背背山上的小和尚]

楼主你好，你是不是想做下载别人的页面的一个程序？如果是的话，很简单那，去买几个代理服务器的IP，你尝试抓取次数，你看抓多少次了，就封IP，如果抓100次就封IP，那么你就循环100次换一个IP，还有就是，如果是按照频率封的，那你就做一个挂起，1秒执行一次或者10秒执行一次。这样是为了抓取更多的数据。

[jb2008]

看来还是得自己动手做这个程序？ 没有这样的收费服务接口了。

[真相重于对错]

google baidu 搜狗这些东西都是用到了你提出的技术，他们怎么不会被封呢？ 所以还是你写的程序有问题！ 每一行，必须有每一行的规矩，所以你的程序也要准守这一行的规则，而不是任性胡为！

[jb2008]

引用 14 楼 she6600 的回复:

因为代理Ip的话，有些ip可能访问不到你指定的网页，你对这个介意吗？另外如果需要购买代理Ip，你介意吗？

可以使用代理，甚至换不同的VPN，这样变化本机的IP；你愿意做吗？

[jb2008]

引用 6 楼 sp1234 的回复:

首先，你所谓的 url 是否真正是你要下载的 html。许多现代的网页上的 html 可能是几百次动态改变之后的。如果你保证只需要你提供的 url 的初始的 html 内容，这个才靠谱。 其次，你能出多少钱？如果人家要1万，你只给200，这就成了小孩子游戏了。

不要说这些空洞话，做得出来，可以出1万。

[jb2008]

还是没有找到好的办法，精力有限，希望有收费的网页下载服务推荐，我只提供URL，你给我返回HTML即可。 有哪位高手，愿意做这个程序也行，比如换不同代理来实现。 有酬谢！

[满庭花醉三千客]

如果不是取特定的内容，直接用winfrom 输入url WebBrowser定向获取内容保存html不就好了？ 抓取的时候根据次动态换Ip

[岁月落寞忆流年]

因为代理Ip的话，有些ip可能访问不到你指定的网页，你对这个介意吗？另外如果需要购买代理Ip，你介意吗？

[岁月落寞忆流年]

引用 16 楼 jb2008 的回复:

[quote=引用 14 楼 she6600 的回复:] 因为代理Ip的话，有些ip可能访问不到你指定的网页，你对这个介意吗？另外如果需要购买代理Ip，你介意吗？

可以使用代理，甚至换不同的VPN，这样变化本机的IP；你愿意做吗？ [/quote] 你好，看一下你的私信