使用HDInsight创建外部数据源

问题描述 投票:0回答:1

我正在尝试使用我的HDInsight群集创建外部数据源。在这样做时,我需要提供位置作为Hadoop,名称,节点,IP地址和端口号。

那么,在哪里可以找到HDInsight群集上的名称,节点,IP地址,资源管理器位置,IP地址和端口号?

我已经浏览了Core-site.xmlyarn-site.xml,没有找到HDInsight。

--- 3:创建外部数据源的语法。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH (  
    TYPE = HADOOP,   
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx',   
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx',   
    CREDENTIAL = HadoopUser1        
); 

- LOCATION(必填):Hadoop名称节点IP地址和端口。 - RESOURCE MANAGER LOCATION(可选):Hadoop Resource Manager位置,用于启用下推计算。 - CREDENTIAL(可选):上面创建的数据库作用域凭据。

谢谢。

hdinsight azure-sqldw
1个回答
2
投票

如果我正确理解了您的问题,您已经拥有了一个HDInsight群集,并且正在尝试让Azure SQL DW通过外部表与它通信。如果您搜索CREATE EXTERNAL DATA SOURCE文档的“Azure SQL数据仓库”文档的语法部分,您将看到Azure SQL DW中Polybase的唯一工作方式是与Azure Blob存储和Azure Data Lake Store进行通信。 (请继续关注该文档页面,因为随着时间的推移,Azure SQL DW中的Polybase会更加灵活,因为它们会继续增强它。)

因此,现在您应该将HDInsight写入Hive中定义的外部表,然后将Azure SQL DW指向blob存储中的同一文件夹,并声明其自己的外部表来读取这些blob。

© www.soinside.com 2019 - 2024. All rights reserved.