社区
Java SE
帖子详情
从网页上抓取数据
kk2486
2005-12-26 04:51:29
最近因为要租房子,自己做了一个抓网页的东东,可是遇到一个网站怎么都抓不出数据来,后来打印URLConnection.getContentType(),发现是"text/plain; charset=gb2312",url.openStream()返回的是一个sun.net.www.protocol.http.EmptyInputStream。各位高人,能不能告诉我这样的网站怎么抓啊,比如 http://www.zhantai.com/bj/11/
...全文
186
7
打赏
收藏
从网页上抓取数据
最近因为要租房子,自己做了一个抓网页的东东,可是遇到一个网站怎么都抓不出数据来,后来打印URLConnection.getContentType(),发现是"text/plain; charset=gb2312",url.openStream()返回的是一个sun.net.www.protocol.http.EmptyInputStream。各位高人,能不能告诉我这样的网站怎么抓啊,比如 http://www.zhantai.com/bj/11/
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
cenlmmx
2005-12-26
打赏
举报
回复
恭喜啊
advanced
2005-12-26
打赏
举报
回复
顶一下哈。。。。
yingtju
2005-12-26
打赏
举报
回复
jf
jFresH_MaN
2005-12-26
打赏
举报
回复
加一句con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0;Windows 2000)");
-----
这个和google的原理是一样的
他们为了限制客户端不通过网页直接读取网页内容,就限制只能从浏览器提交请求.
但是我们可以通过修改http头的User-Agent来伪装,这个代码就是这个作用.
kk2486
2005-12-26
打赏
举报
回复
谁进来顶一下吧,给分结贴啦
kk2486
2005-12-26
打赏
举报
回复
已经搞定了,加一句con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0;Windows 2000)");就行了,晕了
kk2486
2005-12-26
打赏
举报
回复
大哥大姐们,帮帮忙吧
Java
抓取
网页
数据
Demo
Java
抓取
网页
数据
的两种方法:(1)
抓取
原
网页
(2)
抓取
网页
JS返回
数据
用java实现爬虫
抓取
网页
中的表格
数据
功能源码
使用java代码基于MyEclipse开发环境实现爬虫
抓取
网页
中的表格
数据
,将
抓取
到的
数据
在控制台打印出来,需要后续处理的话可以在打印的地方对
数据
进行操作。包解压后导入MyEclipse就可以使用,在TestCrawTable中右键运行就能看到
抓取
到的
数据
。其他的调试可以自行修改。
C#从
网页
上
抓取
数据
string tempurl = "xxxx"; //需要请求的页面url HttpWebRequest webr = (HttpWebRequest)WebRequest.Create(tempurl);//创建请求 string paramStr = "xxx"; //需要传参 byte[] paramByte = Encoding.UTF8.GetBytes(paramStr); webr.Method = "POST"; webr.ContentLength = paramByte.Length
浏览器怎样从
网页
抓取
数据
在浏览
网页
的过程中,需要保存
网页
数据
,把它复制下来保存到文件就好啦;但是,如果
数据
量大或者需要经常保存
数据
,简单重复的操作让人发狂。这时候就需要一个可以自动
抓取
数据
的浏览器。
html5
抓取
网页
数据
,从
网页
抓取
数据
的一般方法
网页
数据
抓取
哪种方法最快?(要最详细的)
网页
端
数据
获取有哪些方式呢?主要就是ajax获取
数据
,当然也可以通过websocket获取
数据
。其中ajax是获取
数据
最主要的方式,后台写好的接口,前端通过发送请CSS布局HTML小编今天和大家分享,来获取后台返回的
数据
,然后通过js解析,渲染到页面上。websocket也可以获取
数据
。如何从网站或者软件中
抓取
数据
网站是BS架构,软件是CS架构的,目前爬虫类...
Java SE
62,614
社区成员
307,327
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章