hdinsight 相关问题

Azure HDInsight链式Mapreduce：输入路径不存在

因此，我的map reduce功能可以在本地VM上正常运行，但是在Azure上，它为我提供了输入路径未找到错误。我有两组映射器和化简器函数，第一个化简器的输出进入...

HDInsight-由于-8个核心的订阅限制，Spark群集验证失败

[通过Azure门户设置Azure HDInsight Spark群集时，我收到以下错误消息：您已达到美国中西部地区-8个内核的订阅限制。请...

如何使用pyhive在python中运行presto查询？

我正在尝试使用pyhive库在python中运行presto查询，但最大重试错误即将到来。我正在本地（笔记本电脑）的jupyter笔记本中运行它。我认为它无法连接到presto节点。我...

Spark Streaming作业完全在HD Insights上7天后失败，没有错误日志

我们得到的唯一错误日志是：由于ApplicationMaster尝试使appattempt_1575912755011_0035_000005超时，因此应用程序application_1575912755011_0035失败了5次。申请失败。...

Ambari代理发行版/ Conf选择版本

当我尝试在我的azure hdinsight群集上将python 2.7指向python 3.5时。从此它抛出此错误。请帮助

如何从Azure HDInsight上的Zeppelin笔记本中的自定义.jar文件导入包

我在这里关注文档：https://zeppelin.apache.org/docs/latest/usage/interpreter/dependency_management.html在Azure HDI 4.0群集上使用Zeppelin笔记本，我想...

无法在HDInsight 4.0中创建Jupyter Notebook

我正在使用Azure HDInsight 4.0（Spark 2.4）。当我尝试创建新的Jupyter笔记本（Spark，但PySpark笔记本出现类似错误）时，出现以下错误消息：Traceback（...

如何使用Powershell连接到Twitter API并遵循参数

[我使用Microsoft Azure Powershell连接到Twitter API时遇到以下错误：异常调用“ GetResponse”与“ 0”参数：远程服务器返回错误：<401> ...

HDinsights 4.0-Spark -Hive集成

我们正在从HDinsights 3.6升级到4.0。问题是在4.0中，我无法使用spark读取配置单元表。有人可以帮助我进行蜂巢式火花集成吗？

HdInsight服务-Jupyter笔记本发行

我已经在Microsoft Azure上以标准配置部署了HDInsight 3.6 Spark（2.3）群集（位置=美国中部，头节点= D12 v2（x2）-8核，工作节点= D13 v2（x4））-32。 ..

与蜂巢的火花集成

[当前，在我们的项目中，我们使用的是HDInsights 3.6，默认情况下，我们启用了Spark和Hive集成，因为两者共享相同的目录。现在我们要迁移HDInsights 4.0，其中spark ...

Azure HDInsight Jupyter笔记本无法正常工作

我已经在Microsoft Azure上以标准配置部署了HDInsight 3.6 Spark（2.3）群集（位置=美国中部，头节点= D12 v2（x2）-8核，工作节点= D13 v2（x4））-32。 ..

能否将Azure HDInsight HBASE（HDI 4.0）指向另一个Data Lake V2容器，然后再指向默认容器

是否有可能将Azure HDInsight HBASE（HDI 4.0）指向Data Lake V2上除默认群集容器之外的其他容器以仅存储HBASE数据，因为我们的客户之一希望将其数据作为...]]

是否有Spark SQL jdbc驱动程序？

我正在寻找支持Spark SQL的客户端jdbc驱动程序。到目前为止，我一直在使用Jupyter在Spark上运行SQL语句（在HDInsight上运行），我希望能够使用JDBC进行连接，所以我...

如何从Databricks连接到HDInsight Hadoop群集

您能帮我从Databricks笔记本中找到与HDInsight Hadoop集群（首先是HDFS）进行交互的正确方法吗？现在，我尝试使用pyarrow库，如下所示：hdfs1 = ...

无法通过Spark HdInsight中的anaconda py35 env进行动作调用

根据文档-https://docs.microsoft.com/zh-cn/azure/hdinsight/spark/apache-spark-python-package-installation，我们通过新的anaconda env安装了多个外部python模块。 。

在HDI Hadoop群集中启用SSL

我正在使用Azure HDInsight Hadoop群集-群集类型，HDI版本：Hadoop 2.7（HDI 3.6）。这不是Kerberized群集，因为未启用ESP。现在，我需要在此hadoop群集上启用SSL。我怎么能...

将PySpark数据框导出到Azure Data Lake永远需要

用于获取HDInsight集群性能指标的REST API？

我正在寻找REST API，它将允许我获取给定HDInsight（Hadoop / Linux）群集的性能指标-例如群集所使用的内存量或百分比，cpu的使用率等等。但是...

Azure Data Factory V2-输入和输出

我正在尝试根据以下github存储库重现以下架构：https://github.com/Azure/cortana-intelligence-price-optimization问题是与ADF链接的部分，...