如何将文件系统MAPR和HDInsight Blob存储之间DistCp使用

问题描述 投票:0回答:1

我试图执行下面的命令DistCp使用,但它是抛出异常:

hadoop distcp date_load=201901* wasb://[email protected]/luiz/producao/performance/performance_report

被抛出的异常情况如下:

我试图执行下面的命令DistCp使用,但它是抛出异常:

Hadoop的DistCp使用date_load = 201901 * wasb://[email protected]/luiz/producao/performance/performance_report

被抛出的异常情况如下:

19/02/06 13时34分53秒INFO impl.MetricsConfig:在10秒预定快照期间:从hadoop-metrics2.properties装载属性19/02/06 13时34分53秒INFO impl.MetricsSystemImpl。 19/02/06 13时34分53秒INFO impl.MetricsSystemImpl:蔚蓝的文件系统的指标体系开始19/02/06 13时34分53秒ERROR tools.DistCp:无效的参数:org.apache.hadoop.fs.azure .AzureException:org.apache.hadoop.fs.azure.AzureException:集装箱DEV3火花帐户clusterdev.blob.core.windows.net没有发现,并且使用anoynomous凭据它,我们不能创造。在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938)在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438)在org.apache.hadoop.fs .azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048)在org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693)在org.apache.hadoop.fs.FileSystem.access $ 300(FileSystem.java: 98)在org.apache.hadoop.fs.FileSystem $ Cache.getInternal(FileSystem.java:2773)在org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2755)在org.apache.hadoop .fs.FileSystem.get(FileSystem.java:411)在org.apache.hadoop.fs.Path.getFileSystem(Path.java:309)在org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216 )在org.apache.hadoop.tools.DistCp.run(DistCp.java:116)在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)在org.apache.hadoop.tools.DistCp。主(DistCp.java:430)引起的:org.apache.hadoop.fs.azur e.AzureException:集装箱DEV3火花帐户clusterdev.blob.core.windows.net没有发现,并且使用anoynomous凭据它,我们不能创造。在在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933)... 12多个参数无效org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730): org.apache.hadoop.fs.azure.AzureException:集装箱DEV3火花帐户clusterdev.blob.core.windows.net没有发现,并且使用anoynomous凭据它,我们不能创造。

azure hdinsight mapr distcp
1个回答
0
投票

您可以从内部部署的集群DistCp使用您的Azure存储帐户

% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/

希望这可以帮助。

© www.soinside.com 2019 - 2024. All rights reserved.