25,344
社区成员
发帖
与我相关
我的任务
分享
公司生产服务器上用的redis集群,没接触过,网上搜了一下没找到什么有用的信息。具体实现scrapy_redis连接redis集群应该怎么做呢?用什么库?我在网上找到了scrapy_redis_sentinel,但是按照他们的配置之后去重队列变成string类型的了。redis数据库给我报错(error) WRONGTYPE Operation against a key holding the wrong kind of value,有没有搞过的老哥,教教我怎么弄这个集群
方法1、改scrapy源码,改成支持集群,
方法2、把集群上的任务轮询读到你本地redis中,继续使用scrapy-redis
方法3、不使用scrapy-redis