Docker / Celery：无法让芹菜运行

Question

我不能让我的芹菜工人经常听默认队列。芹菜不断退出。

$: docker-compose up
Starting tasker_rabbitmq_1
Starting tasker_celery_1
Attaching to tasker_rabbitmq_1, tasker_celery_1
tasker_celery_1 exited with code 1
rabbitmq_1  | 
rabbitmq_1  |               RabbitMQ 3.6.1. Copyright (C) 2007-2016 Pivotal Software, Inc.
rabbitmq_1  |   ##  ##      Licensed under the MPL.  See http://www.rabbitmq.com/
rabbitmq_1  |   ##  ##
rabbitmq_1  |   ##########  Logs: /var/log/rabbitmq/[email protected]
rabbitmq_1  |   ######  ##        /var/log/rabbitmq/[email protected]
rabbitmq_1  |   ##########
rabbitmq_1  |               Starting broker... completed with 6 plugins.

我正在尝试构建一个具有单独作业层的应用程序作为单独部署的作业容器。所以架构是：

1. EBS上的Web / App层（Django）
2. Jobs Layer：Celery + RabbitMQ作为Docker容器

这就是我所拥有的：

文件夹结构：

-tasker
    -tasker
        -tasks.py
        -celeryconfig.py
        - __init__.py
    -Dockerfile
    -docker-compose.yml
    -requirements.txt

tasks.朋友:

from celery import Celery
from celery import task

celery = Celery('tasks', broker='amqp://guest@localhost//')

import os


@celery.task
def add(x, y):
    return x + y

Dockerfile：

FROM python:3.4
ENV PYTHONBUFFERED 1
WORKDIR /tasker
ADD requirements.txt /tasker/
RUN pip install -r requirements.txt
ADD . /tasker/

码头工人，compose.yml：

rabbitmq:
  image: tutum/rabbitmq
  environment:
    - RABBITMQ_PASS=mypass
  ports:
    - "5672:5672"   
    - "15672:15672"
celery:
  build: .
  command: celery worker --app=tasker.tasks
  volumes:
    - .:/tasker
  links:
    - rabbitmq:rabbit

有什么我想念的吗？为什么芹菜退出代码1？

Answer 1

1）将celery安装到python Docker镜像或使用https://hub.docker.com/r/library/celery/

2）在行中输入密码为rabbitmq添加完整地址：

celery = Celery('tasks', broker='amqp://guest:mypass@rabbit//')

Answer 2

当您尝试调出芹菜容器时，RabbitMQ容器不可用。

处理此问题的快速而肮脏的方法是首先使用-d标志在后台手动转动rabbitmq：

docker-compose up -d rabbitmq

等几秒钟，然后：

docker-compose up celery

处理启动顺序的正确方法在此处记录 - > https://docs.docker.com/compose/startup-order/

---

EDIT

我正在扩展我的答案，如何用'wait for it'完成这个

celery:
  build: .
  command: ./wait-for-it.sh rabbitmq:5672 --timeout=2 --strict -- celery worker -A tasker.tasks
  volumes:
    - .:/tasker
  links:
    - rabbitmq

---

EDIT 2

我还注意到在你的compose文件中，links指令下的容器名是错误的。它应该只是rabbitmq。这也会影响您的容器打开的顺序。

EDIT 3

您可能还需要向rabbitmq容器添加主机名：

rabbitmq:
  image: tutum/rabbitmq
  hostname: rabbitmq