scrapy-redis怎么连接Redis集群?

天长 2021-09-06 15:20:48

公司生产服务器上用的redis集群,没接触过,网上搜了一下没找到什么有用的信息。具体实现scrapy_redis连接redis集群应该怎么做呢?用什么库?我在网上找到了scrapy_redis_sentinel,但是按照他们的配置之后去重队列变成string类型的了。redis数据库给我报错(error) WRONGTYPE Operation against a key holding the wrong kind of value,有没有搞过的老哥,教教我怎么弄这个集群

...全文
1082 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
李玺 2021-09-06
  • 打赏
  • 举报
回复

方法1、改scrapy源码,改成支持集群,

方法2、把集群上的任务轮询读到你本地redis中,继续使用scrapy-redis

方法3、不使用scrapy-redis

李玺 2021-09-06
  • 举报
回复
@李玺 scrpy-reids的集群版:https://github.com/geebytes/scrapy_redis_cluster

25,344

社区成员

发帖
与我相关
我的任务
社区描述
爬虫逆向技术交流社区,有问题可在此发布动态,不限开发语言不限框架技术的综合社区。
社区管理员
  • 考古学家lx(李玺)
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

一个综合的爬虫逆向技术交流社区

试试用AI创作助手写篇文章吧