高优先级的齿轮工作岗位不被视为高优先级

Question

我正在为我的齿轮工人实现一个“管理员”钩子。这是为了监控工人的整体统计数据，而不是工作。它还提供了一种允许工作人员注销，清理和终止的方法。我这样做是通过注册第二个函数来处理这些“管理”请求。我想我可以发送一个“高”优先级的工作，而那个高优先级的工作应该抢占正常的优先级工作。情况似乎并非如此。

这是我正在运行的测试的简化版本：

工人：

<?php 
$gmw = new GearmanWorker();
$gmw->addServer();
$gmw->addFunction('Test', 'handleWork');
$gmw->addFunction('Admin', 'handleAdmin');
$gmw->setTimeout(10000); // 10s wait timeout for I/O activity
$pass_count = 0;
$job_count = 0;
$kill = false;
while (@$gmw->work() || $gmw->returnCode() == GEARMAN_TIMEOUT) {
    $pass_count++;
    if ($kill) {
        if ($gmw->returnCode() != GEARMAN_TIMEOUT) $gmw->unregisterAll();
        if ($gmw->returnCode() == GEARMAN_SUCCESS) $job_count++;
        print("\n\nKill command received, exiting...");
        stats(false);
        break;
    }
    if ($gmw->returnCode() == GEARMAN_TIMEOUT) {
        continue;
    } else if ($gmw->returnCode() != GEARMAN_SUCCESS) {
        $gmw->unregisterAll();
        print("\n\nGot Gearman Code \"" . $gmw->returnCode() . "\", exiting");
        break;
    }
    $job_count++;
}

function handleWork(GearmanJob $job) {
    print('.');
    usleep(100000);
    return '{"consumed": true}';
}

function handleAdmin(GearmanJob $job) {
    global $kill, $pass_count, $job_count;
    $payload = json_decode($job->workload());
    if ($pass_count) $pass_count--;
    if ($job_count) $job_count--;
    switch ($payload->action) {
        case 'kill':
            $kill = true;
            return json_encode(array(
                'message' => 'Kill request received',
            ));

        case 'stats':
            return json_encode(stats(true));
    }
}

function stats($return=true) {
    global $pass_count, $job_count;
    $obj = array(
        'pass_count' => $pass_count,
        'job_count' => $job_count,
    );
    if ($return) return $obj;

    foreach ($obj as $k => $v) {
        print("\n" . $k . ":\t" . $v);
    }
    print("\n");
}

客户1（向工人发送正常工作）

<?php
$gmc = new GearmanClient();
$gmc->addServer();

while (true) {
    print('.');
    for ($i=0; $i<100; $i++) {
        $gmc->addTaskBackground('Test', '{"foo":"bar"}');
    }
    $gmc->runTasks();
    sleep(15);
}

客户端2（发送获取统计信息的请求）

<?php
$gmc = new GearmanClient();
$gmc->addServer();
$gmc->setCompleteCallback('output');
$gmc->addTaskHigh('Admin', '{"action":"stats"}');
$gmc->runTasks();

function output(GearmanTask $task) {
    foreach (json_decode($task->data()) as $k => $v) {
        print("\n$k:\t$v");
    }
    print("\n");
}

客户端3（发送请求杀死工人）

<?php
$gmc = new GearmanClient();
$gmc->addServer();
$gmc->setCompleteCallback('output');
$gmc->addTaskHigh('Admin', '{"action":"kill"}');
$gmc->runTasks();

function output(GearmanTask $task) {
    foreach (json_decode($task->data()) as $k => $v) {
        print("\n$k:\t$v");
    }
    print("\n");
}

我错了吗？有一个更好的方法吗？请注意，运行WORKER和CLIENT 1是一个无限循环。当我运行CLIENT 2或CLIENT 3时，它始终等待客户端1发送的前100个作业完成，然后再运行提交的作业。

Answer 1

听起来你需要解决你的设置。使用像supervisord这样的任务主管来操作多个gearmand工人，然后你可以设计一个很好的方法让多个工人尊重你指定的优先级，而supervisord确保你有必要的工人数量。

健壮，有效。我正在使用这种类型的逻辑来启动和降低AMI以转码应用服务器请求工作人员的视频。

祝好运！

http://supervisord.org

Answer 2

4年后你可能对此不再感兴趣了，但我会添加一个答案，因为答案很有趣。

Gearmand仅按功能优先命令执行作业。有两种方法可以解决此限制：

• 运行两个工作程序，一个用于“测试”，一个用于“管理员”
• 运行单个工作程序，但在“测试”（！）之前注册“Admin”。这是有效的，因为Gearmand首先按功能选择新作业，然后按优先级选择。

另见https://github.com/gearman/gearmand/issues/173