表数据存储在Spark中的哪个位置?

问题描述 投票:2回答:1

嗨,我想找出SparkSQL在Spark中存储表元数据的位置?如果它默认不在Hive Metastore中,那么它存储在哪里?

apache-spark apache-spark-sql apache-spark-2.0
1个回答
2
投票

以下是spark-2.2.0文档的解释

当未由hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db,并创建一个由spark.sql.warehouse.dir配置的目录,该目录默认为Spark应用程序当前目录中的目录spark-warehouse开始了。请注意,自Spark 2.0.0起,不推荐使用hive-site.xml中的hive.metastore.warehouse.dir属性。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。

这是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html

© www.soinside.com 2019 - 2024. All rights reserved.