如何进入Spark worker的工作页面?

问题描述 投票:0回答:0

我有一个由 Rancher Desktop 创建的本地 k3s Kubernetes。

我通过

安装了Spark
helm upgrade \
  spark \
  spark \
  --install \
  --repo=https://charts.bitnami.com/bitnami \
  --namespace=hm-spark \
  --create-namespace
➜ kubectl get services -n hm-spark
NAME                                                  TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
spark-headless                                        ClusterIP   None            <none>        <none>                       32h
spark-master-svc                                      ClusterIP   10.43.200.139   <none>        7077/TCP,80/TCP              32h

➜ kubectl get pods -n hm-spark
NAME                                              READY   STATUS      RESTARTS   AGE
spark-master-0                                    1/1     Running     0          32h
spark-worker-0                                    1/1     Running     0          32h
spark-worker-1                                    1/1     Running     0          32h

目前我在做

port-forward

➜ kubectl port-forward service/spark-master-svc --namespace=hm-spark 4040:80

通过 http://localhost:4040/ 访问 Spark master UI

但是,我将无法打开 Spark worker 作业页面,因为它们使用的是 Kubernentes 内部集群 IP。

这是这个图表值:https://github.com/bitnami/charts/blob/main/bitnami/spark/values.yaml

我可以设置什么值来帮助我访问 Spark worker 作业页面吗?谢谢!

我发现一个 similar question deployed by Docker Swarm but also has no accepted answers.

更新(2023 年 4 月 25 日)

我在 https://github.com/bitnami/charts/issues/16227 上打开了一个功能请求

apache-spark kubernetes bitnami
© www.soinside.com 2019 - 2024. All rights reserved.