社区
Java SE
帖子详情
抓网页问题,如何判断网页是否已经更新过?
jk3278jk
2006-06-13 10:28:04
做一个抓网页程序,要每隔30分钟抓取某网页一次,但前提是此网页内容已经更新,才抓取网页内容,这样能明显减少服务器的负担和流量。
不知道怎么样判断网页是否已经更新过?搜索到了一几个文章说是判断状态码304,也没看太懂。
哪位朋友做过这方面的程序,指点一下。谢谢。
...全文
519
18
打赏
收藏
抓网页问题,如何判断网页是否已经更新过?
做一个抓网页程序,要每隔30分钟抓取某网页一次,但前提是此网页内容已经更新,才抓取网页内容,这样能明显减少服务器的负担和流量。 不知道怎么样判断网页是否已经更新过?搜索到了一几个文章说是判断状态码304,也没看太懂。 哪位朋友做过这方面的程序,指点一下。谢谢。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
18 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sammyjeep
2006-06-24
打赏
举报
回复
思路和楼上的差不多吧,反正是有时间戳的,取来比较一下:)
phpxer
2006-06-24
打赏
举报
回复
你可以打开网页取得头部信息,然后断开连接。
如果“last modified”符合你的要求,就下载,否则,查看下一个网页。
具体不是特别清楚,一个思路。应该是可以的,你看看吧。
jk3278jk
2006-06-23
打赏
举报
回复
楼上说什么呢?开口就骂人?不解决问题?
xiaoyan0413
2006-06-22
打赏
举报
回复
LZRP有问题,不具备做人的基本素质,SB一个
我还来接分,呵呵
mingyun310
2006-06-22
打赏
举报
回复
顶.学习一下.
jk3278jk
2006-06-19
打赏
举报
回复
怎么弄?
wdmzjsxx
2006-06-18
打赏
举报
回复
没做过,帮你UP下
sammyjeep
2006-06-18
打赏
举报
回复
时间戳
jk3278jk
2006-06-17
打赏
举报
回复
up
jk3278jk
2006-06-16
打赏
举报
回复
up
jk3278jk
2006-06-14
打赏
举报
回复
up
boydream
2006-06-14
打赏
举报
回复
关注一下
jk3278jk
2006-06-13
打赏
举报
回复
又搜索到一篇文章,不过是php。
http://www.woodpecker.org.cn/obp/diveintopython/zh-cn/dist/html/http_web_services/etags.html
csdn到底有没有解决问题?估计都是光说不练的主!!!
jk3278jk
2006-06-13
打赏
举报
回复
又搜索了几篇文章好像是判断 header 的 "Last-modified"
再搜索吧。一下!还来csdn是摆设,还得靠自己啊。
jk3278jk
2006-06-13
打赏
举报
回复
还在的。请能者解决,谢谢
ttaallkk1
2006-06-13
打赏
举报
回复
楼主还在吗?
jk3278jk
2006-06-13
打赏
举报
回复
csdn有一点不太好,如果问题自己搞懂了,没靠别人帮助,是不是也得给分啊。哈哈。。
liujiwe79
2006-06-13
打赏
举报
回复
内容更新必须你重新打开网页或者你刷新了网页,不然,网页怎么更新呢,更新的时候你可以做个标记
爬虫:如何
判断
一个
网页
已经
更新
?
一个
网页
是否
更新
,是很多爬虫开发人员都会碰到的
问题
,如果只是一次性
抓
取来使用,那这个
问题
无关紧要,
抓
一遍完事,但是工程中的爬虫通常需要长期运行,如果内容
更新
,需要及时
抓
取。 思路1:定期
抓
取 这是一个...
解决
网页
乱码以及为什么会出现
网页
乱码?
有时候用户在
网页
中没有明确指定
网页
的字符编码,但是
网页
能够正常显示,这是因为
网页
字符的编码与浏览器解析
网页
时默认采用的编码一致,所以不会出现乱码。如果浏览器的默认编码与
网页
的字符编码不一致时,而
网页
又...
判断
一个bug是前端还是后端?测试经验总结.
前台基本是能在页面上可看得见的错误,而后台是看不到的,如UI界面样式相关的错误不用
判断
肯定是前台的,用户数据
问题
基本是后台的。前台一般的工作是获取、加载、计算、渲染数据,后台主要是通过接口直接请求数据...
一款
网页
游戏外挂开发-数据
抓
包
写点什么,之前曾经做过一个
网页
游戏外挂,就写写这个外挂怎么做的吧,我想,我当时做这个外挂,遇到的
问题
,一定也是其他人遇到的
问题
。 从哪里入手了?先说游戏,因为是
网页
游戏,开发多年的
网页
程序,知道一点...
怎么
判断
bug是前端
问题
还是后端
问题
?
怎么
判断
bug是前端
问题
还是后端
问题
? 前端和后端的区别 打个比方:你去餐厅吃饭、餐厅、大堂,就是供就餐的区域都算前端。餐厅后厨包括吧台处理饮料的,给顾客制作食物和饮料的就算后端。是不是有了一个基本的认识...
Java SE
62,634
社区成员
307,269
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章