HDInsight是Microsoft Azure上提供的Microsoft大数据平台。
HDInsights上的Spark - 没有用于方案的FileSystem：adl
我正在编写一个处理ADLS文件的应用程序。通过在spark-shell中运行代码尝试从群集中读取文件时，访问文件没有问题。但是，......
目前我们在Azure HDInsight集群中使用ML pyspark作业（版本：HDI 3.6）。是否可以在Azure Databricks中使用相同的pyspark作业而无需进行太多更改？提前致谢！
使用blobproperties.getcreatedtime时，SparkHDInsights集群不起作用
我正在使用SparkHDInsights集群使用spark-submit命令运行jar。我在sbt文件中使用了libraryDependencies + =“com.microsoft.azure”％“azure-storage”％“8.1.0”。该计划有效......
如何创建Spark活动以在HDInsight上运行Scala脚本？
我想使用HDInsight执行Scala脚本。下面的文章描述了运行py脚本，但没有提到abt Scala。我按照文章（而不是py文件，上传Scala文件）但Azure ...
我是Databrick的新手。是否有可能从C＃发送通过API（如Mobius）的代码在Databricks中运行作业？你能给我一些代码示例吗？比如如果我想跑......
当我在Azure HDInsights集群中运行我的配置单元查询时，我收到以下错误消息：ERROR exec.DDLTask：org.apache.hadoop.hive.ql.metadata.HiveException：MetaException（message：java.lang ....
使用exitCode退出的mapreduce作业：-1000在src文件系统上更改了资源
应用程序application_1552978163044_0016失败了5次，因为AM容器的appattempt_1552978163044_0016_000005已退出exitCode：-1000诊断：java.io.IOException：资源...
AZURE HD INSIGHT（群集）将CSV文件导入存储：创建表格
我对编码非常陌生 - 我知道基础知识，所以我在这个项目上拔头发。我试图最终将我的Hadoop集群链接到Tableau，我的项目的大部分将...
我正在尝试使用我的HDInsight群集创建外部数据源。在这样做时，我需要提供位置作为Hadoop，名称，节点，IP地址和端口号。那么，我在哪里可以找到名字，......
将Azure Data Lake帐户添加到现有HDInsight群集
我需要以编程方式将Azure Data Lake的引用添加到现有集群。我知道我们可以通过脚本操作对blob存储执行此操作，但我发现没有记录的方法来执行此操作...
我有一个Spark SQL，用于执行<10分钟，现在在群集迁移后3小时运行，需要深入了解它实际执行的操作。我是新来的，请不要介意我是不是......
Azure Block Blob和Page Blob之间的差异？
当我最近开始与Windows Azure混合时，我遇到了一个情况，即Block Blob和Page Blob之间的哪一个。我目前正在上传一些...
我从未见过的奇怪行为。我在Spark生成的HDFS中有拼花文件，分为3个分区。这是所有分区的计数。它是由Spark计算的。 + ---------- + -------- + | ...
使用PySpark从azure blob存储中读取csv文件
我正在尝试使用Microsoft Azure上的PySpark HDInsight群集进行机器学习项目。要在我的群集上运行，请使用Jupyter笔记本。另外，我有我的数据（一个csv文件），存储在...
我想将创建的绘图记录到我的工作区，如下所示：from azureml.core import从matplotlib import pyplot运行为plt run = Run.get_context（）Foo = [1,2,3,4] Bar = [4,3， 2,1] plt.title（'Foo vs ...
使用Azure CLI在HDInsight上安装外部python包：RdfeResourceHandlerException
我想在MS Azure HDInsight群集上安装pyobdc python包，以便在pyspark作业中使用。在此之后，我试图通过“脚本动作”完成此操作。 bash脚本是：＃！/ usr / bin / ...
我在Azure HDInsight WASB上有一个Hive表，想要从Production迁移/复制到QA环境，看起来我只能通过导出/导入来实现。 1）从实木复合地板到文件导出表格（...
嗨，我正在玩hdinsight。刚刚开始在hdinsight中创建一个集群，但很难理解如何创建HDFS。它是使用数据节点的本地磁盘还是天蓝色的...
我可以在没有Hadoop / HDInsight的Azure Databricks上使用Hive吗？
Docs说“除了现有Hive安装的外部Metastore外，每个Databricks部署都有一个中央Hive Metastore ......”。我有一个Azure Databricks工作区与底层...
始终在Azure HDInsight中创建资源期间报告“群集名称”失败
在为“群集名称”创建HDInsight实例时，始终得到“此资源名称不被允许”。我很确定名称是唯一的（例如aa-spark-test20180904-1037），但仍然会出现此错误。 ...