kubernetes 中的多个 ingress-nginx 未验证 webhook 不起作用

Question

如标题所述，我目前在 gke v1.20.10 上有 2 个 ingress-nginx v1.0.0 的配置。

当我单独部署一个时，配置正常工作，没有任何问题，但是当我部署第二个 validatingwebhook，然后尝试部署一个入口时，2 个 validatingwebhook 尝试评估新创建的入口。

这导致了这个错误：

**Error from server (InternalError): error when creating "ingress-example.yaml": Internal error occurred: failed calling webhook "validate.nginx-public.ingress.kubernetes.io": Post "https://ingress-nginx-controller-admission-public.ingress-nginx.svc:443/networking/v1/ingresses?timeout=10s": x509: certificate is valid for ingress-nginx-controller-admission-private, ingress-nginx-controller-admission-private.ingress-nginx.svc, not ingress-nginx-controller-admission-public.ingress-nginx.svc**

我检查了一下，一切似乎都正确分离，我的 validatingwebhook 是这样部署的，{{ ingress_type }} 是 -public 或 -private 的占位符：

---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingWebhookConfiguration
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 1.0.0
    app.kubernetes.io/component: admission-webhook
  name: ingress-nginx-admission{{ ingress_type }}
webhooks:
  - name: validate.nginx{{ ingress_type }}.ingress.kubernetes.io
    matchPolicy: Equivalent
    objectSelector:
      matchLabels:
        ingress-nginx : nginx{{ ingress_type }}
    rules:
      - apiGroups:
          - networking.k8s.io
        apiVersions:
          - v1
        operations:
          - CREATE
          - UPDATE
        resources:
          - ingresses
    failurePolicy: Fail
    sideEffects: None
    admissionReviewVersions:
      - v1
    clientConfig:
      service:
        namespace: ingress-nginx
        name: ingress-nginx-controller-admission{{ ingress_type }}
        path: /networking/v1/ingresses
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 1.0.0
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller-admission{{ ingress_type }}
spec:
  type: ClusterIP
  ports:
    - name: https-webhook
      port: 443
      targetPort: webhook
      appProtocol: https
  selector:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}

我似乎找不到解决方案，有一个旧的 github 问题没有答案，也许我做错了什么，但我只是看不到它。

正如评论中所要求的，这是我正在尝试部署的入口示例，这在只有一个入口的情况下工作得非常好，而不是在两个入口的情况下：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    kubernetes.io/ingress.class: nginx-private
#    external-dns.alpha.kubernetes.io/target: "IP"
  labels:
    ingress-nginx : nginx-public
spec:
  rules:
    - host: hello.MYDOMAINHERE
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: web
                port:
                  number: 8080

Answer 1

对于那些可能遇到此错误的人。

在发现问题所在之前我尝试了不同的方法。你必须重命名所有标签，但 ingress-nginx 的版本除外，我没想到它会破坏这么少，但确实如此。最后我用的是这样的东西：

---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingWebhookConfiguration
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/instance: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/version: 1.0.0
    app.kubernetes.io/component: admission-webhook{{ ingress_type }}
  name: ingress-nginx-admission{{ ingress_type }}
webhooks:
  - name: validate.nginx{{ ingress_type }}.ingress.kubernetes.io
    matchPolicy: Equivalent
    objectSelector:
      matchLabels:
        ingress-nginx : nginx{{ ingress_type }}
    rules:
      - apiGroups:
          - networking.k8s.io
        apiVersions:
          - v1
        operations:
          - CREATE
          - UPDATE
        resources:
          - ingresses
    failurePolicy: Fail
    sideEffects: None
    admissionReviewVersions:
      - v1
    clientConfig:
      service:
        namespace: ingress-nginx
        name: ingress-nginx-controller-admission{{ ingress_type }}
        path: /networking/v1/ingresses
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/instance: ingress-nginx{{ ingress_type }}
    app.kubernetes.io/version: 1.0.0
    app.kubernetes.io/component: controller{{ ingress_type }}
  name: ingress-nginx-controller-admission{{ ingress_type }}
spec:
  type: ClusterIP
  ports:
    - name: https-webhook
      port: 443
      targetPort: webhook
      appProtocol: https
  selector:
    app.kubernetes.io/name: ingress-nginx{{ ingress_type }}

我认为在这种情况下，对所有资源执行相同的操作非常重要。

Answer 2

此解决方案是否适用于让 Webhook 基于 ingrass.yaml 对象中指定的 ingressClass 进行验证？我猜不会。 就我而言，假设我有： NamespaceA 、 IngressControllerA 与 ingressClassA 和 ValidatingWebHookA 和 在不同的命名空间中 NamespaceB 、 IngressControllerB 与 ingressClassB 和 ValidatingWebHookB

现在，如果我使用 ingressClassA 创建入口。 ValidatingWebHookB 似乎验证它并将其承认给 IngressControllerA 。这很好，但如果我删除 ingressControllerB ，那么它就不再工作了。投诉 validatingWebhookB 的 serviceB 不可用。 我希望他们能完全分开。

Answer 3

我尝试像原始答案中那样更改所有标签，但当添加新的 Ingress 时，似乎 nginx-1 和 nginx-2 验证 webhooks 都被触发了。如果该 Ingress 使用 nginx-2，则 nginx-1 webhook 的验证将失败。

似乎有效的是添加一个对象选择器，以便 nginx-1 webhook 不会尝试验证 nginx-2 Ingress。原来的答案也有这个，但标签似乎不正确。我把它改成这样：

webhooks:
  - objectSelector:
      matchLabels:
        app.kubernetes.io/name: ingress-nginx{{ ingress_type }}

而且它马上就起作用了。也许验证现在根本没有发生，但老实说我现在不在乎:)