如何通过celery进行分布式运行task

RedBestFy 2017-07-17 10:32:35

现在我已经在我的机器上写好了app和相应的task，我想在另外一台机器上运行这上面的task，并且另外一台电脑拥有运行task的所有条件，并且这两台电脑处于同一个子网，假定分别是192.168.1.196/24和192.168.1.197/24，我在这台电脑上的broker定义是 amqp://test:test@192.168.1.196:5672/celery_test, app的名字叫celery_test_app，那么我想在另外一台机器上运行celery worker来运行这上面的task，应该怎么操作？

...全文

232 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Celery 简介除了redis，还可以使用另外一个神器—Celery。Celery是一个异步任务的调度工具。 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。在 Python 中定义 Celery 的时候，我们要引入 Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务放到 Broker 里面，在 Broker 的另外一头，一群码农等着取出一个个任务准备

celery：分布式任务队列（开发分支）

Celery分布式视频教程，该课程主要讲解Celery的安装和基本使用、在项目中如何使用celery、启用多个workers、Celery 定时任务、与django结合、通过django配置celery periodic task。

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。今天继续通过`celery`实现分布式爬虫爬取`https://book.douban.com/tag/?view=type&icn=index-sorttags-all` 简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。队列的输入是一个作业单元，被称为`task`，我们只需要在定义好的函数上方，增加`@app.task` 装饰一下即可，查阅手册可以查看其它参数内容。定义好task之后，执行`worker` 监控这个队列，有新作业即执行。

芹菜 分布式任务引擎的 golang 端口。支持执行和提交任务，可以与celery引擎或celery python客户端互操作。特征任务队列任务事件报告支持的经纪商兔MQ Redis 纳茨安装 go get http://github.com/taoh/gocelery 例子 package main import ( "math/rand" "time" log "github.com/Sirupsen/logrus" "github.com/taoh/gocelery" ) // Adder worker type Adder struct {} // Execute an addition func ( a * Adder ) Execute ( task * gocelery. Task ) ( result interface {}, err err

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章