社区
Java SE
帖子详情
初学者,用java写一个crowler,首先要做些什么呢?
sonnejian
2009-11-07 08:18:30
大家好,我是一个新手。
最近一个作业是给了一个现成的movie的数据库,里面有电影名字,作者,年代等等。。。。
要求用java写一个crowler能够自动的在一个网页上读取电影相关信息自动更新数据库MySQL数据库。
我想知道,我首先要做些什么呢?
整体思路应该是怎么样的呢?
...全文
82
6
打赏
收藏
初学者,用java写一个crowler,首先要做些什么呢?
大家好,我是一个新手。 最近一个作业是给了一个现成的movie的数据库,里面有电影名字,作者,年代等等。。。。 要求用java写一个crowler能够自动的在一个网页上读取电影相关信息自动更新数据库MySQL数据库。 我想知道,我首先要做些什么呢? 整体思路应该是怎么样的呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wifewifewife
2009-11-07
打赏
举报
回复
全顶一下吧.
97095639
2009-11-07
打赏
举报
回复
顶3楼
sforiz
2009-11-07
打赏
举报
回复
[Quote=引用 3 楼 thy38 的回复:]
http://www.javaeye.com/topic/134642
[/Quote]
UP
thy38
2009-11-07
打赏
举报
回复
http://www.javaeye.com/topic/134642
苍蝇①号
2009-11-07
打赏
举报
回复
查看HTTPURLConnection
sonnejian
2009-11-07
打赏
举报
回复
补充一个问题,我应该用什么工具?
使用WebCollector爬虫框架进行微信公众号文章爬取并持久化
〇、
Java
爬虫框架有哪些? 1.nutch:Apache下开源爬虫项目,适合做搜索引擎,分布式爬虫只是其中
一个
功能,功能丰富,文档完整。 2.heritrix:比较成熟,用的人较多,有自己的web管理控制台,包含了
一个
HTTP服务器。 3.c
row
ler
4j:只具有爬虫的核心功能,上手简单。 4.webmagic:
一个
可伸缩的爬虫框架,涵盖爬虫整个生命周期:下载、URL管理、内容提取和持...
craw
ler
4j源码学习(1):搜狐新闻网新闻标题采集爬虫
craw
ler
4j是用
Java
实现的开源网络爬虫。提供了简单易用的接口,可以在几分钟内创建
一个
多线程网络爬虫。下面实例结合jsoup,采集搜狐新闻网(http://news.sohu.com/)新闻标题信息。 所有的过程仅需两步完成: 第一步:建立采集程序核心部分 29 30 /** 31 * @date 2016年8月20日 上午11:52:13 32 * @version...
95C8FB9F-D1E8-4E07-B07B-F4930BA054CE.PNG
95C8FB9F-D1E8-4E07-B07B-F4930BA054CE.PNG
Tomcat 10.1.59 安装包 Windows x64(清华镜像代取)+ Jakarta EE 迁移与部署教程
Apache Tomcat 10.1.59 稳定版(清华 TUNA 镜像同步官方原包),解压即用。教程覆盖:startup/shutdown 启停、8080 端口修改、Tomcat 10 与 9 的
java
x/jakarta 本质区别(老项目强升必 404 的根因)、四种应用部署方式、中文乱码排查。使用方法:解压到纯英文目录,双击 bin/startup.bat 后访问 8080 端口验证。
Java SE
62,621
社区成员
307,251
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章