从 dataproc 集群运行时,我必须从本地路径(用于单元测试)和 gcs 存储桶读取配置。我写的代码是:
val appConf = ConfigFactory.parseFile(new File(pathToFile))
appConf.getConfigList("params")
从本地路径读取时,此代码工作正常,如
/tmp/dir/file.conf
但是当路径为
gs://bucket/folder/file.conf
时
我收到错误:
未找到关键“参数”的配置设置。
有没有一种通用的方法可以从本地和 gs 存储桶中读取配置?
或者还有其他方法可以以某种常见的方式做到这一点吗?
谢谢
根据社区成员之前的评论:
扩展File类并在其中实现Cloud Storage逻辑。没有任何开箱即用的东西。