嗨,我想找出SparkSQL在Spark中存储表元数据的位置?如果它默认不在Hive Metastore中,那么它存储在哪里?
以下是spark-2.2.0文档的解释
当未由hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db,并创建一个由spark.sql.warehouse.dir配置的目录,该目录默认为Spark应用程序当前目录中的目录spark-warehouse开始了。请注意,自Spark 2.0.0起,不推荐使用hive-site.xml中的hive.metastore.warehouse.dir属性。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。
这是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html