两个Spark结构化的流作业无法写入相同的基本路径

Question

Spark结构化流传输不允许两个结构化流作业将数据写入同一基本目录，而使用dstream则可能。

由于默认情况下将为一个作业创建_spark_metadata目录，第二个作业不能使用与基本路径相同的目录，因为另一个作业已经创建了_spark_metadata目录，这将引发异常。

除了为这两个作业创建单独的基本路径之外，是否有其他解决方法？

是否可以在其他位置创建_spark_metadata目录或禁用该目录而不会丢失任何数据。

如果我必须更改这两项工作的基本路径，那么我的整个框架都会受到影响，所以我不想这样做。

Answer 1

否，尚无法更改元数据目录名称或位置。您也可以参阅此link。