社区
Java SE
帖子详情
httpclient 获取网页脚本 缺失内容
wangbh11
2011-10-13 06:26:17
如题 原因
...全文
55
8
打赏
收藏
httpclient 获取网页脚本 缺失内容
如题 原因
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wangbh11
2011-10-13
打赏
举报
回复
是这样的 <script>.........</script> 跟了一个table 然后 那个table 整个消失不见了
24K純帥
2011-10-13
打赏
举报
回复
我比较好奇的是怎么少了一部分的,难道传输的时候丢包了不成啊
wangbh11
2011-10-13
打赏
举报
回复
谢谢 解决了大部分问题 但是还有一点问题 就是 <script>......</script> 后的一部分html也消失了 不知道原因所在 我是通过比较chrome 的page source 和 httpclient 获取的html 比较时候发现的
pywepe
2011-10-13
打赏
举报
回复
[Quote=引用 4 楼 wangbh11 的回复:]
public String GetWebsiteContent(String URL, String charset) {
String website_content;
StringBuffer StrBuf = new StringBuffer();
HttpClient httpclient = new DefaultHttpClient();
httpclient.getPa……
[/Quote]
请使用EntityUtils.toString 它有处理编码问题
wangbh11
2011-10-13
打赏
举报
回复
public String GetWebsiteContent(String URL, String charset) {
String website_content;
StringBuffer StrBuf = new StringBuffer();
HttpClient httpclient = new DefaultHttpClient();
httpclient.getParams().setParameter(CoreProtocolPNames.WAIT_FOR_CONTINUE, 10000 );
HttpGet httpget = new HttpGet(URL);
try {
HttpResponse response = httpclient.execute(httpget);
if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
HttpEntity entity = response.getEntity();
if (entity != null) {
BufferedReader reader = new BufferedReader(new InputStreamReader(entity.getContent(), charset));
int l;
char[] cbuf = new char[2048];
while ((l = reader.read(cbuf)) != -1) {
String str = new String(cbuf);
StrBuf.append(str);
}
}
}
website_content = StrBuf.toString();
} catch (Exception e) {
System.out.println("open url error!!");
website_content = "";
}
return website_content;
}
shine333
2011-10-13
打赏
举报
回复
你代码怎么写的我都不知道,当然没法分析了。
wangbh11
2011-10-13
打赏
举报
回复
如何避免 能否列举一些解决措施 谢谢
shine333
2011-10-13
打赏
举报
回复
原因太多,over
通过HTTPS使用
HttpClient
信任所有证书
最近在Https上发布了有关
HttpClient
的问题( 在此处找到 )。 我取得了一些进展,但遇到了新问题。 与我的最后一个问题一样,我似乎找不到任何适合我的示例。 基本上,我希望我的客户
.netcore持续集成测试篇之搭建内存服务器进行集成测试一
在web项目里,我们把每一层的代码的单元测试都通过并不代表程序能正常运行,因为这个过程
缺失
了http管道,很多时候我们还还需要把项目布在iis环境中或者在vs里启动iis express服务器进行集成测试.对于返回view的的方法...
掌握代理IP技术:从基础设置到高级应用,步步进阶教程
- 数据抓取与分析:对于需要大量采集数据的场景,合理使用代理IP可以提高采集效率,同时减少因IP限制导致的数据
缺失
问题。- 验证代理IP是否有效,可以通过编写简单的
脚本
或者使用在线工具测试代理IP的速度、匿名程度...
eps32联网
获取
天气情况+oled显示屏显示
当我们使用别人提供的API的时候就需要遵守别人制定的规则,使用对应的链接、请求方法等等,我们需要查看API文档来
获取
这些信息。总之,HTTP请求是客户端与服务器之间通信的方式,API则是应用程序之间通信的方式。...
自己动手写搜索引擎(常搜吧历程七#解析文档之HTML#)(Java、Lucene、hadoop)
垂直搜索更着重于正文
内容
模式分离,数据调整,相关链接分析,是一种结构化分析过程。 2、垂直搜索技术主要分为两个层次:模版级和
网页
库级 3、模版级是针对
网页
进行模版设定或者自动生成模版的方式抽取数据,对...
Java SE
62,614
社区成员
307,326
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章