hortonworks-data-platform 相关问题

Hortonworks数据平台(HDP)是一个开源Apache Hadoop数据平台的发行版,其中包含一组位于HDFS和YARN之上的项目,作为Hadoop的核心层。

如何从HDFS中删除文件?

我刚刚下载了Hortonworks沙盒VM,里面有Hadoop版本2.7.1。我使用hadoop fs -put / hw1 / * / hw1 ...命令添加了一些文件。之后我删除添加的...

回答 5 投票 19

hadoop用户文件权限

我在hortonworks和cloudera中设置hadoop文件权限时遇到问题。我的要求是:1。用新组创建一个新用户2.在hdfs中创建用户目录(例如/ user / myuser)...

回答 2 投票 4

如何等待GenerateTableFetch查询完成

我的用例是这样的。我有一些X表从MySQL中提取。我正在使用SplitText拆分它们,将每个表放在一个单独的流文件中,并使用GenerateTableFetch和ExecuteSQL进行拉取....

回答 2 投票 1

直线查询输出以JSON格式而不是csv表

我使用如下所示的直线查询,HDFS中的基础数据来自大型机服务器。我想要的只是执行一个查询并将其转储到csv(或任何表格格式):beeline -u'...

回答 2 投票 0

GenerateTableFetch删除没有数据的flowfile以进行查询

我正在使用GenerateTableFetch与包含table_name的传入流文件来导入数据。我已经使用附加WHERE子句来处理使用...的updated_at列的增量更新

回答 1 投票 0

如何为处理器设置默认的“运行计划”

我经常使用GenerateFlowFile处理器来测试其他处理器的行为并理解流程。但每次,我忘记更改默认的“运行计划”,默认为“0”。 ...

回答 1 投票 0

更好地理解YARN和Spark之间的沟通

我想更好地了解YARN和Spark之间的通信交流。例如:从触发Spark作业到分配......之间的情况会发生什么?

回答 1 投票 1

Apache Atlas Rest Api

我试图通过rest api读取Atlas实体,我尝试了这个命令:curl -v -i -s -X GET用户:[email protected]:21000 / v1 / entities / branch intersect虽然我可以看到表在......

回答 1 投票 1

调试复杂NiFi数据流的理想方式

根据我在使用NiFi构建一些数据库提取PoC后的理解,整个数据流作为流文件流运行。并且在任何特定时间,执行控制可以是一个或......

回答 2 投票 0

云上的大数据(Azure)

我已经使用Hadoop和NoSQL产品主要在内部实施生产bigdata解决方案,但从未在云上实现。今天我需要变成云,因此我在徘徊是什么......

回答 1 投票 0

shc-core:NoSuchMethodError org.apache.hadoop.hbase.client.Put.addColumn

我尝试使用shc-core通过spark将spark数据帧保存到hbase中。我的版本:hbase:1.1.2.2.6.4.0-91 spark:1.6 scala:2.10 shc:1.1.1-1.6-s_2.10 hdp:2.6.4.0-91配置如下:...

回答 1 投票 0

Pydoop mapreduce“AttributeError:module'wordcount_minimal'没有属性'__main__'”

我安装了Pydoop并尝试运行MapReduce作业。为了做一个干运行,我尝试执行单词计数示例wordcount_minimal.py和wordcount_full.py。它们都挂在地图阶段。 ...

回答 1 投票 0

pyspark-java.lang.IllegalStateException:输入行没有架构所需的预期值

我在Horton沙箱上运行pyspark-sql代码18/08/11 17:02:22 INFO spark.SparkContext:运行Spark版本1.6.3 #pyspark.sql import *代码来自pyspark.sql.types import * rdd1 = SC ....

回答 3 投票 0

配置大型Hive导入作业

我是一个新手,并试图采取一个大的(1.25 TB未压缩)hdfs文件,并将其放入Hive托管表。它已经在csv格式的HDFS上(来自sqoop)和任意分区,我...

回答 1 投票 0

使用ambari UI在HDP集群中编辑hdfs-default.xml

我有一个使用Hortonworks Data Platform 2.6.1构建的HBase集群,我想在hdfs-default.xml中编辑一些属性。我们可以使用ambari UI编辑hdfs-default.xml吗?如果我们手动编辑文件...

回答 1 投票 0

在YARN中设置作业优先级

我的群集(HDP)正在使用YARN容量调度程序。 nameNode UI显示版本2.7.1.2.4.3.30。我试图在我的hive脚本中将作业优先级设置为HIGH:set mapreduce.job.priority = HIGH; ...

回答 1 投票 0

hortonworks沙箱:连接被拒绝

如何通过ssh连接到hortonworks的沙盒(2.5)? ssh [email protected]我收到了消息:权限被拒绝,请再试一次

回答 1 投票 0

猪视图未打开

在hortonworks沙箱的Ambari UI中,我试图通过maria_dev的默认帐户打开Hive View。但是,我收到以下错误:500无法读取数据库...

回答 1 投票 0

由于VERTEX_FAILURE,Tez DAG上的Hive查询失败未成功

我有一个Ambari 2.5.3和HDP 2.6.3的基本设置,并尝试在下面运行一些简单的查询。我不明白为什么失败了。你能帮我吗? [root @ demo demo] #beeline Beeline版本1.2.1000.2.6.3 ....

回答 2 投票 0

Kylin与hive表同步问题

我正在尝试将hive表列表中的表同步到kylin以构建多维数据集。但是,在这个过程中,我看到元数据已同步并显示在Kylin中,而不是实际数据。当我尝试......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.