hadoop 相关问题

Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。

在avro序列化数据上构建搜索层索引

我在hdfs上有我的avro序列化数据。现在我正在尝试构建一个搜索界面，我可以在其中查询avro数据并获取结果。我可以使用以下方法，但它有一些不利之处：......

hadoop serialization solr avro

回答 1 投票 1

使用Talend中的tHiveRow组件运行多个配置单元查询

您好我想通过单个组件调整多个配置单元查询。通过tHiveRow我可以运行单个查询但无法一次运行多个查询。我知道我们可以运行多个sql ...

hadoop hive talend

回答 2 投票 2

Hive：如何获取集群的名称

我想获取运行配置单元的集群的名称。通常，我所做的是[user @ someVM~] $ hive -H *附加到someCluster Hadoop集群*用法：hive -d， - define ...

hadoop hive

回答 1 投票 0

在没有mapred-site.xml的情况下设置hadoop mapreduce大小

我正在服务器上运行mapreduce作业，我不断收到此错误：容器被请求杀死。退出代码是143容器退出时带有非零退出代码143容器运行超出...

hadoop memory containers

回答 2 投票 1

如何优化大型数据集的查询？

我原来的查询 - CREATE TABLE admin.FctPrfitAmt_rpt AS SELECT rcn。* FROM（SELECT t1。* FROM（SELECT * FROM admin.FctPrfitAmt t2 WHERE t2.scenario_id NOT IN（SELECT DISTINCT t3.scenario_id FROM ...

performance hadoop hive bigdata

回答 3 投票 3

如何使用hadoop Map reduce处理/提取.pst

我正在使用MAPI工具（它的微软lib和.NET），然后使用apache TIKA库来处理和从交换服务器中提取pst，这是不可扩展的。如何使用...处理/提取pst

hadoop mapreduce mapi apache-tika pst

回答 2 投票 2

连接到Hortonworks Hadoop / Hive

我尝试建立与Apache Hive的连接。这样做我使用了与Impala的连接作为蓝图（http://www.iccube.com/support/documentation/user_guide/schemas_cubes/ds_hadoop.php）。 JDBC ......

hadoop jdbc hive hortonworks-data-platform iccube

回答 1 投票 2

Hive：执行错误选择并同时删除分区配置单元查询

我在同时运行两个查询时遇到错误。这是场景。我正在使用AWS EMR，下面是我的hive表架构。 CREATE TABLE India（OFFICE_NAME STRING，OFFICE_STATUS ......

hadoop amazon-s3 hive amazon-emr hive-partitions

回答 1 投票 1

Hadoop“Permission denied（publickey，password，keyboard-interactive）”警告

我正在按照本教程在我的计算机中安装Hadoop。完成安装后，当我尝试使用此命令./start-dfs.sh启动Hadoop时，它返回以下内容：U：sbin U $ ...

hadoop ssh installation

回答 3 投票 9

无法在oozie中运行shell（错误= 2，没有这样的文件或目录）

在运行后我在我的工作流程中为oozie和sample.sh文件创建了ambari-views ui的工作流程，我有一个错误。当我将shell的主体更改为简单的命令，例如echo 1时，此错误没有......

hadoop yarn hortonworks-data-platform ambari oozie-workflow

回答 1 投票 0

如何在Windows上获取OpenJDK 11的tools.jar？

背景：我正在尝试使用此处的说明为Windows构建Hadoop。我有OpenJDK 11并且在运行mvn包时遇到了以下问题：无法解析依赖项...

java maven hadoop java-11 tools.jar

回答 1 投票 7

执行字数统计程序时出现Hadoop错误

我是Hadoop编程的初学者，我试图在hadoop包中运行word count程序。我运行命令并面对下面的错误。我试图在网上搜索相同的问题，但我......

hadoop

回答 1 投票 0

Sqoop导入具有带有where子句和并行处理的SQL查询

我在mysql中有一个如下表：Order_Details：+ --------- + ------------ + --------------- ---- + -------------- + ...

hadoop bigdata sqoop

回答 1 投票 0

cloudera CDH5安装错误

我正在尝试在centOS上安装CDH5。我的cloudera下载位于/ home / cloudera / Downloads。但是当我按照说明操作时，我收到了这个错误。有人可以帮忙吗？ root @ localhost~] #sudo yum --...

hadoop cloudera cloudera-cdh

回答 3 投票 0

如何根据表中的数据获取镶木地板文件名

我试图找出许多镶木地板文件中的哪一个是存储在表中的数据，用于特定的日期条件集。例如：从表中选择文件名，其中dateCol ='1-1-2010'; ...

hadoop hive parquet

回答 1 投票 1

SBT找不到hadoop-aws 3.1.1

build.sbt :( snippet）val hadoop_aws =“org.apache.hadoop”％“hadoop-aws”％“3.1.1”libraryDependencies + = hadoop_aws但是，当尝试更新时：> update [info]正在更新... [警告] ......

scala hadoop amazon-s3 sbt

回答 1 投票 2

sqoop导入的数据但是有空的part-m-00000文件？

使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc：oracle：thin：@ 192.168.0.15：1521：XE --username system --password ...

hadoop import hdfs sqoop hadoop2

回答 1 投票 0

MapR架构与Cloudera架构

我熟悉Cloudera的基础结构或体系结构：主节点包括NameNode，SecondaryNameNode，JobTracker和HMaster。从节点包括DataNode，TaskTracker和......

hadoop architecture cloudera infrastructure mapr

回答 4 投票 3

Hive在哪里存储HDFS中的文件？

我想知道如何找到Hive表与它们所代表的实际HDFS文件（或更确切地说，目录）之间的映射。我需要直接访问表文件。 Hive在哪里存储......