协助芹菜采伐

Question

所以Celery是一个超级棒的图书馆，但它的日志记录部分的文档不是最好的，这使我在这里请求帮助。

我现在的剧本如此（总结如下）：

import logging
from celery import Celery
from celery.utils.log import get_logger
from task import process
import config

logger = get_logger(__name__)
timber_handler = timber.TimberHandler(api_key=config.key,
                                  level=logging.INFO)
logger.addHandler(timber_handler)



app = Celery('task',
             broker=config.url,
             backend='rpc://')

@app.task
def run_task():
    status = get_status() # get alive or dead status
    if status == 1:
        logger.info("Task is running")
        process()


@app.on_after_configure.connect
def task_periodic(**kwargs):
    app.add_periodic_task(2.0, run_task.s(), name="Run Constantly")
    # More tasks

tasks.py文件中的进程函数是非常基本的函数，用于查找某些信息的API和数据库，我希望能够将其记录到附加到python日志库并且是在线存储的记录器（timber.io）中。用于日志。

但是，我的主要问题是日志被发送到stdout而不是木材日志。我看过celery.signals，但文档不是很好。这里的任何帮助将不胜感激。谢谢。

Answer 1

你能试试吗？

import logging
import os
import sys
from celery import Celery
from celery.signals import after_setup_logger

app = Celery('app')
app.conf.update({
    'broker_url': 'filesystem://',
    'broker_transport_options': {
        'data_folder_in': './broker/out',
        'data_folder_out': './broker/out',
        'data_folder_processed': './broker/processed'
    },
    'result_persistent': False,
    'task_serializer': 'json',
    'result_serializer': 'json',
    'accept_content': ['json']})


logger = logging.getLogger(__name__)


for f in ['./broker/out', './broker/processed']:
    if not os.path.exists(f):
        os.makedirs(f)

@after_setup_logger.connect
def setup_loggers(logger, *args, **kwargs):
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

    # add filehandler
    fh = logging.FileHandler('logs.log')
    fh.setLevel(logging.DEBUG)
    fh.setFormatter(formatter)
    logger.addHandler(fh)


@app.task()
def add(x, y):
    logger.info('Found addition')
    logger.info('Added {0} and {1} to result, '.format(x,y))
    return x+y


if __name__ == '__main__':
    task = add.s(x=2, y=3).delay()

像这样启动工人：

celery worker --app=app.app --concurrency=1 --loglevel=INFO

并异步启动任务：

python app.py

我已经改变它，所以它是一个独立的脚本，只使用文件系统作为消息代理（同样，我故意用文件处理程序替换timber.io处理程序）。

这会将日志写入logs.log（用timber.io处理程序替换文件处理程序，这应该可以解决您的问题）。

我有点困难，因为我无法使用worker_hijack_root_logger=False和setup_logging中定义的自定义记录器。

但是，在重新访问文档之后，我得出结论，更好的选择是不要覆盖记录器，而只是增加它：

如果您想通过Celery扩充日志记录配置设置，那么可以使用after_setup_logger和after_setup_task_logger信号。

另见：http://docs.celeryproject.org/en/latest/userguide/signals.html#after-setup-logger