如何将shell脚本中定义的变量用于Scala文件？ [重复]

Question

这个问题在这里已有答案：

• How do I pass program-argument to main function in running spark-submit with a JAR? 3回答

我有一个脚本文件，我在其中定义一些日期变量，在同一个文件中，我使用spark-shell命令调用Scala代码。

shell文件中定义的变量在我的Scala代码（Spark.sql）中用作日期值（过滤器）

但是，我从Scala代码收到错误，找不到值。我试过但这个问题仍然存在。

你能帮帮我吗？

感谢致敬，

交换

Answer 1

首先，您需要将spark中的文件路径作为参数传递，然后使用import java.util.Properties解析该文件。

然后，您可以获取键的值并将其保存在scala变量中。

然后你可以在你的spark.sql中使用它作为spark.sql（s“select * from table，其中d ='$ {variable_name}'”）