轮询API端点 - 如何在未返回JSON时重试？

Question

我正在使用while循环轮询API端点，该循环检查JSON上的.get（）方法是否返回None：

    while requests.get(render_execution_url, headers=headers).json().get('finalized_at') is None:
        status = requests.get(render_execution_url, headers=headers).json().get('status')
        status_detail = requests.get(render_execution_url, headers=headers).json().get('status_detail')
        logger.info("status for {} is {}.  detailed status is {}".format(render_execution_url, status, status_detail))

这里的想法是我们继续轮询端点，直到填充“finalized_at”值。

不幸的是，当JSON根本不存在时，我们会定期出现故障：

 File "/usr/lib/python2.7/json/__init__.py", line 339, in loads
   return _default_decoder.decode(s)
 File "/usr/lib/python2.7/json/decoder.py", line 364, in decode
   obj, end = self.raw_decode(s, idx=_w(s, 0).end())
 File "/usr/lib/python2.7/json/decoder.py", line 382, in raw_decode
   raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

我已经尝试在方法上使用重试装饰器（请参阅下面的装饰器语法）但是当我遇到这个失败时它似乎没有执行重试。

@retry(stop_max_attempt_number=7, wait_fixed=10000)

当JSON不存在时（即，在一段时间内再试一次），是否有一种优雅的Pythonic方式来处理这种情况？

Answer 1

您的代码太密集，无法轻松分离出您需要处理的不同条件，因此您的错误报告并未明确说明“何时JSON根本不存在”意味着 - 服务器返回404（Page未找到），或者响应数据是空的还是其他什么？

这是一个重写，不会访问每次访问JSON的URL。它可能不完全适合您的需求，但它应该让您开始。

while True:
    resp = requests.get(render_execution_url, headers=headers)
    # I assume response status is always 200 or 204 -
    # Really easy to detect a 404 here if that happens.
    if not resp.data:
        time.sleep(WAIT_TIME)
        continue
    rj = resp.json()
    if rj.get('finalized_at') is not None:
        break
    status = rj.get('status')
    status_detail = rj.get('status_detail')
    logger.info("status for {} is {}.  detailed status is {}"
                .format(render_execution_url, status, status_detail))
    time.sleep(WAIT_TIME)