社区
Web 开发
帖子详情
网络爬虫遇到的问题
杨瘦锅
2016-01-30 06:49:01
自己写的网络爬虫,只爬取网页标题。但是向数据库中插入多条标题(每次插入100个),有的插入语句会异常,具体如下:
求大神告诉为什么会这样!
我知道是sql语法错误,但是大部分数据都可以插入成功。
...全文
657
8
打赏
收藏
网络爬虫遇到的问题
自己写的网络爬虫,只爬取网页标题。但是向数据库中插入多条标题(每次插入100个),有的插入语句会异常,具体如下: 求大神告诉为什么会这样! 我知道是sql语法错误,但是大部分数据都可以插入成功。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
海会圣贤
2016-02-07
打赏
举报
回复
编码问题,你采集的编码和网站的编码不一样,出现乱码了。
乐天胡
2016-02-04
打赏
举报
回复
你没有用占位符,直接拼接sql,标题中的字符一旦有'号,你的sql自然就有语法错误了,就是传说中的sql注入
Geekkkkkkkk
2016-02-04
打赏
举报
回复
看着可能是因为插入的语句中有特殊字符,破坏了整句sql。比如:' 。可以试着转义一下这些特殊文字。
走在四季
2016-02-01
打赏
举报
回复
网络爬虫 自己写 哇,好厉害。 自己写的程序在网上访问别人的页面返回数据吗?感觉好神奇!
tony4geek
2016-02-01
打赏
举报
回复
你这个是语法出错了啊。
knife_s
2016-02-01
打赏
举报
回复
一般来说,主要是应该转义的字 符没有进行转义产生的 你可以单独写个方法对字符串进行处理后再插入
学无止境-逆流而上
2016-02-01
打赏
举报
回复
爬到的标题,要做特殊字符的处理,否者会坏了你的sql
富兰克陈
2016-01-31
打赏
举报
回复
你没有对特殊字符进行处理,所以会报这错,你要对单引号转换成两个单引号才行,不然有些标题有单引号的,你的SQL就报错了
网络
爬虫
常见
问题
汇总
网络
爬虫
常见
问题
汇总
问题
一:使用requests库或者urllib库获取源代码时无法正常显示中文 解决方法: (1)requests库的文本中有两种类型,一种是文本类型,使用text属性,一种是针对音频、视频、图片等二进制数据...
Python
爬虫
基础:使用 Python
爬虫
时经常
遇到
的
问题
合集
不少读者朋友在使用
爬虫
遇到
问题
时也会跟我讨论,交流过程中我发现了一些比较共性的
问题
。 因此文章重点放在了思路分析上,具体如何编写代码爬取数据则简单略过。造成了一些读者,基于我的代码进行修改爬取其他...
解决
网络
爬虫
常见
问题
的8条实用指南
编写高效、稳定且可靠的
网络
爬虫
是一项挑战,但通过上述策略,开发者可以提高
爬虫
的弹性和效率。记住,
爬虫
应该尊重网站的使用条款,以防止法律风险和伦理
问题
。在今天的数据驱动世界中,
网络
爬虫
扮演着至关重要的...
爬虫
在网页抓取的过程中可能会
遇到
哪些
问题
?
解决方案:使用分布式
爬虫
框架,如Scrapy,它提供了分布式爬取的能力。...
问题
:在分布式环境中,如何协调多个
爬虫
节点,确保数据一致性和避免重复抓取。
问题
:抓取的数据可能包含错误、重复或不完整的信息。
爬虫
遇到
的
问题
以及解决办法
最近由于工作需要开始接触
爬虫
,作为一个小白,真的是像个屋头苍蝇,下面主要是针对我自己
遇到
的
问题
以及解决办法做一下记录。。。 ①登录网页:包含用户名、密码、验证码,获取cookie 网页源码格式: <...
Web 开发
81,092
社区成员
341,716
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章