求助一个爬虫的问题谢谢大家

weixin_46292597 2023-03-01 18:16:37

本人刚刚接触编程，了解了python ，参考网上写了一个爬虫，

遇到的问题是这样，博主的源码是这样，

请求的内容是这样的

因为博主爬取的网站返回的是json格式，所以能成功

而本人爬取的网站返回的是html格式，就会报错

代码如下

请求的内容如下

报错的内容是：Expecting value: line 1 column 1 (char 0)

请问代码需要怎么改呀，谢谢各位大佬，刚接触编程，水平实在有限，感谢大家不吝赐教

...全文

88 回复打赏收藏转发到动态举报

写回复

用AI写文章

切换为时间正序

请发表友善的回复…

发表回复

最近一直在研究爬虫和Lucene，虽然开始决定选用Heritrix来执行爬虫操作，但是后来发现用它来做还是存在一定的问题，比如需要程序生成相应的XML文件，对于同一个Job，怎样才能保证重复运行该Job时文件夹始终是同一个（Heritrix为Job创建文件夹的规则是“Job名称-时间戳”）等等，都是需要考虑的问题，最终还是将其搁浅。　　后来google了一下，找到了一个简单爬虫的程序代码（http://www.blogjava.net/Jack2007/archive/2008/03/24/188138.html），随即试验了一下，发现确实能得到网页的内容，在这里还是要谢谢代码的提供者——Jack.Wang。　　虽然试验成功，但是在随后的大数据量试验时，还是出现了问题。最初试验时，我只是让程序去抓取10个URL链接，当我将URL链接数改为100个时，问题出现了——URL中存在重复，而且非常容易的就变成死循环。举个例子来说，比如我首先爬的是A.html，在A.html中有两个链接：B.html，C.html，等爬完A.html以后，程序会爬B.html，这时如果B.html中的所有链接中有A.html这个页面的链接，那么程序又会去爬A.html这个页面，如此一来就形成了一个死循环，永远也不能停止。　　跟踪程序发现，原来是在添加要抓取的网页的链接列表中，没有将已经抓取过的URL去除，所以才造成了死循环。现在虽然加上了这个判断，但是从我运行程序的效果来看，也不是很理想，总是感觉有些慢，800个页面要一两分钟才能爬完，这个我觉得有点说不过去。　　这个产品，做到现在，我遇到了这么几个情况，有和大家分享的，也有向大家请教，求助的。　　 1.关于对应关系数据的保存方式　　在创建索引的时候，需要将网页的URL和网页的内容传到相应的方法中，当然URL和内容是要对应的，也许是经验太少吧，我采取的是通过构建一个JavaBean的方式来传递的，不知道大家有没有更好的方法　　　　 2.关于要创建索引的内容的保存方式　　最初的想法是不创建文件，直接将内容保存到变量中，然后创建索引，即先抓取网页的内容，然后将网页的内容和URL保存到自己构建的JavaBean对象中，接着将这个对象放到一个list列表中，等所有网页抓取完毕以后，将这个列表传到创建索引的方法中。这种做法看似不错，可是当URL数量很大时，会导致内存不够用，所以还是创建文件比较稳妥。　　 3.关于网页编码问题　　遇到这个问题也是一个巧合，本来我抓取的是客户的一个网站，后来同事说如果客户看访问日志，这个月的数据会和平常的数据不一样，所以我就抓取公司的网站，结果，问题出现了。原先公司的网站是用GB2312编码做的页面，现在采用的是UTF-8的编码，虽然我已经判断了页面的编码，可是依然不能解决保存的文件中文乱码的问题，不知道大家有什么好办法没有。错误信息为：java.io.UnsupportedEncodingException 　　附件为爬虫代码本文出自 “徘徊在c＃，java，php之间” 博客，请务必保留此出处http://jerrysun.blog.51cto.com/745955/221879

本人是自学加线上培训的一个小白，目前刚学习爬虫半个月时间，想向各位大佬求助在学习过程中遇到的问题问题如下：现在想要复制一个单词检测网站，并做一定的改良，在代码上出现了一些错误。麻烦各位大佬帮忙看看是哪里出了问题，非常感谢了，链接： https://www.shanbay.com/ 下面是代码： import requests , json url = ‘https://www.shanba...

各位大佬好，这里是一个新人（对于python或这个软件或爬虫来说都是）。不知道上哪发帖子，大家的博客好像都是传道授业解惑的，我拿来问问题好像不太ok…总之请多包涵！我正在学中国mook嵩天老师的python爬虫课程，目前进行到爬取淘宝商品信息实例编写，然后在这里卡了两天…下面是我按照老师视频和另一篇博客写出来的代码： `import re import requests def getHTMLTe...

编程小白从零开始爬虫 web编程课的第一个项目，写这个爬虫的过程中真的遇到了很多困难，走了很多弯路。最开始项目要求基础爬虫代码使用老师提供的实例1时我就遇到了很多莫名其妙的问题，先是下载node.js但是npm死活安装不了，到处找解决方法未果后，在同学的推荐下下载了VSCode。但是新的问题又来了，正当我怀着满腔热情想要以“hello world”作为我的js编程的开始时，不断跳出的“无调...

大学生Python学习

111,871

社区成员

3,840

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

请各位小伙伴们养成两个专栏【Python基础从零到一】和【2021学年学习打卡】每日打卡的好习惯~

成功并不难，唯坚持尔！

试试用AI创作助手写篇文章吧

+ 用AI写文章

求助一个爬虫的问题 谢谢大家

求助一个爬虫的问题谢谢大家