使用 kubernetes python 客户端重试手表时如何避免“资源太旧”？

Question

以下代码将在第二个

ApiException 410 resource too old

上抛出

watch.stream()

：

# python3 -m venv venv
# source venv/bin/activate
# pip install 'kubernetes==23.3.0'

from kubernetes import client,config,watch

config.load_kube_config(context='my-eks-context')

v1 = client.CoreV1Api()
watcher = watch.Watch()


namespace = 'kube-system'
last_resource_version=0

# this watch will timeout in 5s to have a fast way to simulate a watch that need to be retried 
for i in  watcher.stream(v1.list_namespaced_pod, namespace, resource_version=last_resource_version, timeout_seconds=5):
   print(i['object'].metadata.resource_version)
   last_resource_version = i['object'].metadata.resource_version


# we retry the watch starting from the last resource version known
# but this will raise a kubernetes.client.exceptions.ApiException: (410)
# Reason: Expired: too old resource version: 379140622 (380367990)
for i in  watcher.stream(v1.list_namespaced_pod, namespace, resource_version=last_resource_version, timeout_seconds=5):
    print('second loop', i['object'].metadata.resource_version)
    last_resource_version = i['object'].metadata.resource_version

kubernetes 文档指出：

如果客户端监视已断开连接，则该客户端可以从最后返回的资源版本开始新的监视

这就是我在上面的代码中的意图，它总是给出以下异常：

Traceback (most recent call last):
  File "main.py", line 24, in <module>

  File "/Users/rubelagu/git/python-kubernetes-client/venv/lib/python3.8/site-packages/kubernetes/watch/watch.py", line 182, in stream
    raise client.rest.ApiException(
kubernetes.client.exceptions.ApiException: (410)
Reason: Expired: too old resource version: 379164133 (380432814)

我做错了什么？

Answer 1

似乎在对手表的初始响应中（来自 EKS 集群 1.21），事件可以按任何顺序返回。

我随后进行了两次间隔两秒的观察，它们包含相同的 30 个事件，但顺序完全不同。

因此，不能保证您看到的最后一个资源版本实际上是最后一个资源版本，也不能保证您可以从该版本恢复

resourceVersion

/

resource_version

。另外，您也不允许按

resourceVersion

对这些事件进行排序/整理，因为资源版本语义的 kubernetes 文档明确指出：

资源版本必须被视为不透明 [...]您不得假设资源版本是数字或可整理的。

您必须通过捕获

resource too old exception

并在不指定资源版本的情况下重试来解决这一问题，请参阅下面的示例：

from kubernetes import client,config,watch
from kubernetes.client.exceptions import ApiException

config.load_kube_config(context='eks-prod')

v1 = client.CoreV1Api()
# v1 = config.new_client_from_config(context="eks-prod").CoreV1Api()
watcher = watch.Watch()


namespace = 'my-namespace'


def list_pods(resource_version=None):
   print('start watch from resource version: ', str(resource_version))
   try: 
      for i in  watcher.stream(v1.list_namespaced_pod, namespace, resource_version=resource_version, timeout_seconds=2):
         print(i['object'].metadata.resource_version)
         last_resource_version = i['object'].metadata.resource_version
   except ApiException as e: 
      if e.status == 410: # Resource too old
         return list_pods(resource_version=None)
      else:
         raise

   return last_resource_version

last_resource_version = list_pods() # creates a watch for 2 seconds only, returns the last known resource version 

print('last_resource_version', last_resource_version)

list_pods(last_resource_version) # we try to resume from last know resource version, if that fails it will resume from resource version None