带有prometheus运算符的火花提交

Question

我正在尝试在spark上使用Kubernetes。想法是使用spark-submit到正在运行k8s的prometheus operator群集。现在我知道prometheus operator可以响应ServiceMonitor yaml，但是我很困惑如何使用YAML]提供spark-submit中需要的某些内容

这里是YAML：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: sparkloads-metrics
  namespace: runspark
spec:
  selector:
    matchLabels:
      app: runspark
  namespaceSelector:
    matchNames:
    - runspark
  endpoints:
  - port: 8192 ---> How to provide the name to port using `spark-submit`
    interval: 30s
    scheme: http

我正在尝试在Kubernetes上使用spark。想法是使用火花提交到运行prometheus运算符的k8s集群。现在我知道普罗米修斯运算符可以响应ServiceMonitor yaml，但是我...

Answer 1

您尚不能为SparkSubmit创建的服务提供其他端口及其名称（Spark v2.4.4）。在更高版本中，情况可能会发生变化。