社区
Java EE
帖子详情
找一个好用的网页抓取工具
evangelionxb
2011-06-29 08:58:16
现在没时间写。
主要的想达到的目标就是
比如访问 一个网页 https://forum.csdn.net/
可以将其 html 网页代码 ,css , 图片 jpg/gif 等相关素材 按照其网站的 原 文件目录树
下载到本地。
差不多就是这个意思
有chrome 插件可以这样做么?
浏览器我并不大熟悉。
...全文
2390
13
打赏
收藏
找一个好用的网页抓取工具
现在没时间写。 主要的想达到的目标就是 比如访问 一个网页 https://forum.csdn.net/ 可以将其 html 网页代码 ,css , 图片 jpg/gif 等相关素材 按照其网站的 原 文件目录树 下载到本地。 差不多就是这个意思 有chrome 插件可以这样做么? 浏览器我并不大熟悉。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
老牛18岁
2012-01-07
打赏
举报
回复
我写了一个.非常适合你,我们的想法也是一致的.
具体去我的博客下载吧:
http://hi.baidu.com/38809972/blog/item/8dbc9daf6459e3d07dd92a4f.html
O溺水的鱼0
2011-07-06
打赏
举报
回复
没用过爬虫软件。
daydayupgoodboy
2011-07-06
打赏
举报
回复
mark一下
sudan_727923
2011-07-06
打赏
举报
回复
firefox screengrab
chrome也有类似的
JerryZhou_
2011-07-06
打赏
举报
回复
这个帖子不错、做个标记吧
zgpinguo
2011-07-06
打赏
举报
回复
网页模板小偷,telport,webzip
碎碎兵
2011-06-29
打赏
举报
回复
[Quote=引用 5 楼 peng_hao1988 的回复:]
完全抓取下来比较难,我是过好多种方法,效果都不佳。对了不知道用别人的网站做模板会不会侵权。我们自己修改也只是修改部分代码,其他的都是盗用别人的,希望有这方面经验的人回答。
[/Quote]
就拿京东商城来说吧,网上不是有很多仿京东商城的源码吗,人家还拿来卖的啊,如果侵权,怎么能这样呢?
jeezz
2011-06-29
打赏
举报
回复
试试heritrix或者nutch
桃园闲人
2011-06-29
打赏
举报
回复
完全抓取下来比较难,我是过好多种方法,效果都不佳。对了不知道用别人的网站做模板会不会侵权。我们自己修改也只是修改部分代码,其他的都是盗用别人的,希望有这方面经验的人回答。
yodlove
2011-06-29
打赏
举报
回复
要注册~
yodlove
2011-06-29
打赏
举报
回复
网页模板小偷.exe
evangelionxb
2011-06-29
打赏
举报
回复
顶一顶,想要仿制造一个网站 模版
不过好像发在 网页设计的 part 比较好?
呵呵。
zn85600301
2011-06-29
打赏
举报
回复
这个要看具体的需求了
简单的 用htmlparse 或者 jsoup 建议后者 前者已经很久不更新 而且有BUG
如果满足不了 就得用爬虫技术了
网页
内容自动
抓取
工具
-我的网络爬虫
自己写的网络爬虫
工具
,配置了只对某些论坛
抓取
,自己可以改写配置文件来
抓取
其他
网页
内容...
网页
数据
抓取
工具
(谷歌插件 web Scraper)
Web Scraper 是一款免费的,适用于普通用户(不需要专业 IT 技术的)的爬虫
工具
,可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等等。 ...
推荐15款免费的
网页
抓取
软件
网页
抓取
(也称为网络数据提取或
网页
爬取)是指从网上获取数据,并将获取到的非结构化数据转化为结构化的数据,最终可以将数据存储到本地计算机或数据库的一种技术。
网页
抓取
是通过
抓取
软件实现的。当你在使用...
系统检测到您正在使用
网页
抓取
工具
访问_网站如何检测被爬虫?
随时大数据时代的日益发展,数据信息成为很多工作的基准,如何有效地提取并利用这些信息成为
一个
巨大的挑战,为了解决这一问题,定向
抓取
相关
网页
资源的聚焦爬虫应运而生。现在越来越多的网站设置了反爬虫机制,那么...
使用 Python 进行
网页
抓取
我们将重点介绍为什么您应该使用 Python 进行
网页
抓取
,并为您提供有关如何完成它的快速教程,包括使用哪些Python 开发
工具
。因此,下一步是部署
抓取
程序,将信息复制到您请求的数据库中。要获得您希望
抓取
为Python...
Java EE
67,513
社区成员
225,880
社区内容
发帖
与我相关
我的任务
Java EE
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
复制链接
扫一扫
分享
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章