Dataproc Serverless Interactive 自定义环境变量

Question

我在 Dataproc Serverless Interactive PySpark 会话中设置自定义环境变量时遇到问题。我按照 documentation 并使用

spark.dataproc.driverEnv.MY_VAR=my_value

设置我的 python 环境变量。一旦我以批处理模式执行此操作，就可以毫不犹豫地访问环境变量。但在交互模式下，它们不是。有什么想法可能是错误的，或者是否有任何交互式会话的解决方法？

我使用会话模板中的

spark.dataproc.driverEnv.MY_VAR=my_value

配置来设置它们。然后我用

给他们打电话

import os
os.getenv("MY_VAR")

Answer 1

这是因为 Dataproc 无服务器会话不支持

spark.dataproc.driverEnv.

属性。