社区
Java SE
帖子详情
抓网页问题,如何判断网页是否已经更新过?
jk3278jk
2006-06-13 10:28:04
做一个抓网页程序,要每隔30分钟抓取某网页一次,但前提是此网页内容已经更新,才抓取网页内容,这样能明显减少服务器的负担和流量。
不知道怎么样判断网页是否已经更新过?搜索到了一几个文章说是判断状态码304,也没看太懂。
哪位朋友做过这方面的程序,指点一下。谢谢。
...全文
520
18
打赏
收藏
抓网页问题,如何判断网页是否已经更新过?
做一个抓网页程序,要每隔30分钟抓取某网页一次,但前提是此网页内容已经更新,才抓取网页内容,这样能明显减少服务器的负担和流量。 不知道怎么样判断网页是否已经更新过?搜索到了一几个文章说是判断状态码304,也没看太懂。 哪位朋友做过这方面的程序,指点一下。谢谢。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
18 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sammyjeep
2006-06-24
打赏
举报
回复
思路和楼上的差不多吧,反正是有时间戳的,取来比较一下:)
phpxer
2006-06-24
打赏
举报
回复
你可以打开网页取得头部信息,然后断开连接。
如果“last modified”符合你的要求,就下载,否则,查看下一个网页。
具体不是特别清楚,一个思路。应该是可以的,你看看吧。
jk3278jk
2006-06-23
打赏
举报
回复
楼上说什么呢?开口就骂人?不解决问题?
xiaoyan0413
2006-06-22
打赏
举报
回复
LZRP有问题,不具备做人的基本素质,SB一个
我还来接分,呵呵
mingyun310
2006-06-22
打赏
举报
回复
顶.学习一下.
jk3278jk
2006-06-19
打赏
举报
回复
怎么弄?
wdmzjsxx
2006-06-18
打赏
举报
回复
没做过,帮你UP下
sammyjeep
2006-06-18
打赏
举报
回复
时间戳
jk3278jk
2006-06-17
打赏
举报
回复
up
jk3278jk
2006-06-16
打赏
举报
回复
up
jk3278jk
2006-06-14
打赏
举报
回复
up
boydream
2006-06-14
打赏
举报
回复
关注一下
jk3278jk
2006-06-13
打赏
举报
回复
又搜索到一篇文章,不过是php。
http://www.woodpecker.org.cn/obp/diveintopython/zh-cn/dist/html/http_web_services/etags.html
csdn到底有没有解决问题?估计都是光说不练的主!!!
jk3278jk
2006-06-13
打赏
举报
回复
又搜索了几篇文章好像是判断 header 的 "Last-modified"
再搜索吧。一下!还来csdn是摆设,还得靠自己啊。
jk3278jk
2006-06-13
打赏
举报
回复
还在的。请能者解决,谢谢
ttaallkk1
2006-06-13
打赏
举报
回复
楼主还在吗?
jk3278jk
2006-06-13
打赏
举报
回复
csdn有一点不太好,如果问题自己搞懂了,没靠别人帮助,是不是也得给分啊。哈哈。。
liujiwe79
2006-06-13
打赏
举报
回复
内容更新必须你重新打开网页或者你刷新了网页,不然,网页怎么更新呢,更新的时候你可以做个标记
爬虫:如何
判断
一个
网页
已经
更新
?
一个
网页
是否
更新
,是很多爬虫开发人员都会碰到的
问题
,如果只是一次性
抓
取来使用,那这个
问题
无关紧要,
抓
一遍完事,但是工程中的爬虫通常需要长期运行,如果内容
更新
,需要及时
抓
取。 思路1:定期
抓
取 这是一个常见的获取
更新
内容的思路,这种方式无状态,傻瓜式的,我并不需要知道
网页
到底
更新
哪些内容,我只要每次拿
网页
的内容去数据库里去重插入即可。 这种思路
问题
就是浪费资源。无论对方
更新
没有,都得去
抓
取一遍。 思...
解决
网页
乱码以及为什么会出现
网页
乱码?
网页
为什么会出现乱码?
网页
乱码是因为
网页
没有明确设置字符编码。 有时候用户在
网页
中没有明确指定
网页
的字符编码,但是
网页
能够正常显示,这是因为
网页
字符的编码与浏览器解析
网页
时默认采用的编码一致,所以不会出现乱码。如果浏览器的默认编码与
网页
的字符编码不一致时,而
网页
又没有明确定义字符编码,则浏览器依然使用默认的字符编码来解析,这时候就会出现乱码。 乱码的情况: 解决办法: 设置编码为“简体中文...
判断
一个bug是前端还是后端?测试经验总结.
这里的前端和后端也叫前台和后台。前台基本是能在页面上可看得见的错误,而后台是看不到的,如UI界面样式相关的错误不用
判断
肯定是前台的,用户数据
问题
基本是后台的。前台一般的工作是获取、加载、计算、渲染数据,后台主要是通过接口直接请求数据或者回写数据,有时候需要通过
判断
接口的类型和逻辑才能更好的分析是前台还是后台
问题
。最简单偷懒的方法是遇到
问题
就跑去问开发同事,“哥,这是啥
问题
?”,这当然不符合测试人的风格,也不利于提高自己。最常用的方法就是通过
抓
包工具。
一款
网页
游戏外挂开发-数据
抓
包
很久都没有写csdn的博客了,现在倒是偶尔看看微博,呵呵,手机应用就是方便啊。 写点什么,之前曾经做过一个
网页
游戏外挂,就写写这个外挂怎么做的吧,我想,我当时做这个外挂,遇到的
问题
,一定也是其他人遇到的
问题
。 从哪里入手了?先说游戏,因为是
网页
游戏,开发多年的
网页
程序,知道一点这种交互逻辑,基于http协议的,交互是非连续性的,属于短连接。也就是说,很容易做数据,来模拟
网页
上的程序。 游戏介
怎么
判断
bug是前端
问题
还是后端
问题
?
怎么
判断
bug是前端
问题
还是后端
问题
? 前端和后端的区别 打个比方:你去餐厅吃饭、餐厅、大堂,就是供就餐的区域都算前端。餐厅后厨包括吧台处理饮料的,给顾客制作食物和饮料的就算后端。是不是有了一个基本的认识了?比如这段文字排版有
问题
,就是前端bug 前端指的是用户可见的界面,网站/APP前端页面也就是
网页
或者APP的页面开发,比如
网页
上的特效、布局、图片、视频,音频等内容 前端的工作内容就是将UX设计的效果图的设计成浏览器可以运行的
网页
,并配合后端做
网页
的数据显示和交互等可视方面的工作内容 后端是指用户看不
Java SE
62,634
社区成员
307,269
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章