httpclient 爬虫报错

xiyuan_luo 2017-01-18 10:26:46

org.apache.http.ConnectionClosedException: Premature end of Content-Length delimited message body (expected: 14824; received: 2586
at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:180)
at org.apache.http.conn.EofSensorInputStream.read(EofSensorInputStream.java:137)
at java.util.zip.InflaterInputStream.fill(InflaterInputStream.java:238)
at java.util.zip.InflaterInputStream.read(InflaterInputStream.java:158)
at java.util.zip.GZIPInputStream.read(GZIPInputStream.java:117)
at java.io.FilterInputStream.read(FilterInputStream.java:107)
at org.apache.http.client.entity.LazyDecompressingInputStream.read(LazyDecompressingInputStream.java:67)
at com.test.util.HttpClientUtil.getListpage(HttpClientUtil.java:50)
at com.test.cjNews.GoldWorld.parseNews(GoldWorld.java:102)
at com.test.cjNews.GoldWorld.getNews(GoldWorld.java:72)

...全文

196 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

xiyuan_luo 2017-01-18

打赏
举报

回复

请问这个该如何解决啊

norkts-spider 网络爬虫的初步实现多线程的网络爬虫，App类是一个抓取百度新闻的所有网页存储到本地的实例程序 ...TODO: 目前中文URL httpclient会报错，需要做进一步的处理，应该是URLEncode的问题，此处需要重写

at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:140) ~[httpclient-4.3.3.jar:4.3.3] at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead...

使用selenium爬取网页数据，一运行程序就报错： selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 114 Current ...

最近在做收索引擎，需要对网页进行爬虫，课程建议使用python写爬虫，但是因为没学过python，所以尝试使用java来写爬虫。为了高效的爬取网页，使用HttpClient爬取网页，下面就来展示怎样使用HttpClient进行爬虫。

在使用jsoup爬取某个https开头的网站时（使用了... javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu...

67,513

社区成员

225,879

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章