来自 Vertex AI 端点的流式响应

Question

是否可以STREAM来自 Vertex AI 端点的响应？

例如我想在 python 中做这样的事情

from google.cloud import aiplatform

endpoint = aiplatform.Endpoint(endpoint_name)

predictions_stream = endpoint.predict(instances=[myinputs])

for batch in predictions_stream: 
   print("streamed batch", batch)

Answer 1

我也无法让这个工作