502/顶点AI自定义fastapi/uvicorn预测容器超时

问题描述 投票:0回答:0

从节点和 Python 客户端调用我的自定义容器以在顶点 AI 中进行预测时,我收到“错误:14 不可用:502:网关错误”超时。顶点预测端点确实适用于短预测。预测也确实完成了,我只是得到了一个先发制人的回应。

在节点客户端中,我最初得到的是“4 DEADLINE EXCEEDED”,但将调用选项超时设置得更高。

现在我只从两个客户端收到“错误:14 不可用:502:网关错误”。这非常令人沮丧,为什么会超时?哪里可以改?

要注意的最重要的事情是预测确实完成了,它必须将文件上传到谷歌云存储并且它确实这样做了,并且日志显示端点运行了它需要的时间,但我越来越来自 Vertex 的抢占式 502 破坏了我的长时间运行预测的工作流程。所以,问题是,为什么我会得到 502?我假设它来自 GCP 中的一些内部超时。

另一个注意事项,我确实有一个健康端点。

帮助非常感谢。

google-cloud-ml google-cloud-vertex-ai
© www.soinside.com 2019 - 2024. All rights reserved.