celery与redis集群问题

吉豆屋 2019-05-21 05:39:53

现在遇到两个问题，希望有大神能够解答 1，celery如何设置broker为redis集群，重点是redis集群！ 2，py3.7兼容celery4.3.0，celery4.3.0需要redis3.0以上版本，但是redis-py-cluster最高到1.3.6版本，兼容redis2.10.6，好了，问题来了。。前后矛盾了。。。py3.7如何同时用redis集群和celery，求大神解答，谢谢

...全文

939 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

ljlkk 2019-09-16

打赏
举报

回复

我刚刚解决了这个问题，Python库版本问题，联系我 QQ457880341

1. 问题来源这个问题可能看起来很奇怪，但很多 redis 集群会有一个统一的入口，入口会作兼容 redis 命令的代理，一般出于新能考虑是禁止使用 keys 命令来获取键值信息的，但是可以通过 scan 命令来代替 keys 2. 使用 keys 的方法 127.0.0.1:6379> KEYS * 1) "_kombu.binding.test_queue" 2) "a8e620b9-e52e-3498-8a1c-448f35783058" 3) "_kombu.binding.celery" 3. 使用 scan 的方法 127.0.0.1:6379> DBSIZE (intege

arXiv纯文本提取此服务从arXiv PDF提取纯文本。在提交过程中将其用作常规质量保证检查的一部分。公告后也可以使用它来更新质量保证工具（例如，重叠检测）并使纯文本内容可供授权的API使用者使用。批量访问arXiv电子打印请参阅，以获取有关如何批量访问arXiv电子印刷品的说明。去做使用工厂功能，而不是仅在模块中实例化Celery。从Flask应用程序配置Celery应用程序（统一配置）。。快速开始依存关系我们使用来管理Python依赖项。您可以像这样安装该项目的所有依赖项： pipenv install --dev 码头工人最小的工作服务集群需要API应用程序，工作程序应用程序，Docker主机（例如，垃圾容器）和任务队列/结果后端的Redis。使所有这些一起运行的最简单方法是在此存储库的根目录中使用docker-compose.yml配置。

用Okteto开发该存储库包含有关如何使用在不同的编程语言，框架和部署工具下直接在Kubernetes集群中开发应用程序的示例。编程语言构架 Eleventy Go + gRPC 烧瓶+蟑螂数据库 Python，fastapi和Celery ils子节点和Websocket Node和React的多种服务 PHP + Webpack React React + Java Spring Boot（Maven）+ MySQL Ruby on Rails Ruby on Rails + Sidekiq + Redis + PostgreSQL Clojure + Shadow CLJS 部署工具舵 Kustomize Github动作助焊剂奥克托推堆栈（如docker-compose，但适用于Kubernetes）无服务器云跑带有Golang的Open

dhtcrawler群集群集项目，用于对BitTorrent DHT网络进行爬网并从远程BitTorrent客户端下载torrent文件元数据。运行许多实例主机（爬网程序）以收集DHT信息哈希，下载其元数据，然后将其发送到基于的实例（收集器），该实例将验证torrent文件并将其存储到磁盘。要求发展 Python 3.5（和pip） Node.js> = 0.12.0（和npm） Redis服务器 aws cli（用于docker映像推送） aria2（用于torrent索引脚本） Docker部署发展 1.1设置芹菜收集器首先，安装Redis守护程序并启动它。然后启动Celery worker，它将连接到localhost上的Redis实例： $ cd collector $ pyvenv venv $ source venv/bin/activate (ven

随着Docker的普及成熟，已经逐渐成为部署项目的首选，今天来和大家分享下如何使用docker部署django技术栈项目。我们这里说的Django技术栈为：python3.6、Django2.2、redis、mysql、celery、gunicorn和nginx。在实际的生产项目中，这些组件分布在集群的不同机器，如Nginx、redis和Mysql可能会有单独的团队或部门负责。涉及的部署架构和容器的编排会更为复杂，本文暂不去深究。本文主要介绍，如何使用 docker-compose 来编排这些组件，这种方式适用于测试环境的部署或者你的个人 sideproject 的部署。本文默认你已经了解

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章