将以k8s运行的Spark驱动程序日志发送到Splunk

Question

我正在通过遵循此处提到的步骤来在kubernetes中运行示例Spark作业：https://spark.apache.org/docs/latest/running-on-kubernetes.html。

我正在尝试将Spark驱动程序和执行程序日志发送到Splunk。spark是否提供任何配置以执行相同操作？如何在spark-submit命令中发送诸如HEC端点，端口，令牌等的Splunk配置？

我确实尝试将其作为args传递给spark驱动程序，方法是>]

bin/spark-submit
  --deploy-mode cluster
  --class org.apache.spark.examples.JavaSparkPi
  --master k8s://http://127.0.0.1:8001
  --conf spark.executor.instances=2
  --conf spark.app.name=spark-pi
  --conf spark.kubernetes.container.image=gcr.io/spark-operator/spark:v2.4.4
  --conf spark.kubernetes.authenticate.driver.serviceAccountName=<account>
  --conf spark.kubernetes.docker.image.pullPolicy=Always
  --conf spark.kubernetes.namespace=default
  local:///opt/spark/examples/jars/spark-examples_2.11-2.4.4.jar
  --log-driver=splunk
  --log-opt splunk-url=<url:port>
  -—log-opt splunk-token=<token>
  --log-opt splunk-index=<index>
  --log-opt splunk-sourcetype=<sourceType>
  --log-opt splunk-format=json
但是日志未转发到所需的索引。

我正在使用Spark版本2.4.4来运行spark-submit。

感谢您的任何投入！

我正在尝试通过执行此处提到的步骤在kubernetes中运行示例Spark作业：https://spark.apache.org/docs/latest/running-on-kubernetes.html。我正在尝试发送火花驱动程序，然后...

Answer 1

您好，欢迎来到Stackoverflow。>>

我已经在网上搜索了一段时间，试图找到与您的Spark + Splunk使用情况类似的问题。我设法意识到的是，您可能正在混入几件事。引用有关Splunk logging driver的Docker文档似乎您尝试使用`spark-submit'重现相同的步骤。不幸的是，这对您不起作用。