hadoop 相关问题

Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。

执行字数统计程序时出现Hadoop错误

我是Hadoop编程的初学者，我试图在hadoop包中运行word count程序。我运行命令并面对下面的错误。我试图在网上搜索相同的问题，但我......

hadoop

回答 1 投票 0

Sqoop导入具有带有where子句和并行处理的SQL查询

我在mysql中有一个如下表：Order_Details：+ --------- + ------------ + --------------- ---- + -------------- + ...

hadoop bigdata sqoop

回答 1 投票 0

cloudera CDH5安装错误

我正在尝试在centOS上安装CDH5。我的cloudera下载位于/ home / cloudera / Downloads。但是当我按照说明操作时，我收到了这个错误。有人可以帮忙吗？ root @ localhost~] #sudo yum --...

hadoop cloudera cloudera-cdh

回答 3 投票 0

如何根据表中的数据获取镶木地板文件名

我试图找出许多镶木地板文件中的哪一个是存储在表中的数据，用于特定的日期条件集。例如：从表中选择文件名，其中dateCol ='1-1-2010'; ...

hadoop hive parquet

回答 1 投票 1

SBT找不到hadoop-aws 3.1.1

build.sbt :( snippet）val hadoop_aws =“org.apache.hadoop”％“hadoop-aws”％“3.1.1”libraryDependencies + = hadoop_aws但是，当尝试更新时：> update [info]正在更新... [警告] ......

scala hadoop amazon-s3 sbt

回答 1 投票 2

sqoop导入的数据但是有空的part-m-00000文件？

使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc：oracle：thin：@ 192.168.0.15：1521：XE --username system --password ...

hadoop import hdfs sqoop hadoop2

回答 1 投票 0

MapR架构与Cloudera架构

我熟悉Cloudera的基础结构或体系结构：主节点包括NameNode，SecondaryNameNode，JobTracker和HMaster。从节点包括DataNode，TaskTracker和......

hadoop architecture cloudera infrastructure mapr

回答 4 投票 3

Hive在哪里存储HDFS中的文件？

我想知道如何找到Hive表与它们所代表的实际HDFS文件（或更确切地说，目录）之间的映射。我需要直接访问表文件。 Hive在哪里存储......

hadoop hive hdfs

回答 11 投票 63

减少大型查询的执行时间

我的查询需要30多分钟才能处理此查询。它确实适用于非常大的数据集，但是我可能会遗漏一些可以减少执行时间的基本内容。查询适用于许多reducer ...

hadoop hive query-performance apache-tez

回答 1 投票 0

无法查询/选择通过Spark SQL插入的数据

我试图将数据插入具有分区的Hive托管表。显示create table输出以供参考。 + ------------------------------------------------- ----------------------------------...

hadoop hive apache-spark-sql hdinsight apache-spark-2.3

回答 1 投票 0

无法在Google Cloud Dataproc上启动Apache Flink 1.7

我使用Hadoop 2.9.2启动了Dataproc集群，下载了Flink 1.7.2并尝试使用以下命令启动它：./ bin / yarn-session.sh -n 2此操作失败并显示以下错误消息：...

hadoop apache-flink google-cloud-dataproc

回答 2 投票 0

HBase导出/导入：无法找到输出目录

我正在使用HBase作为我的应用程序，我正在尝试使用org.apache.hadoop.hbase.mapreduce.Export导出数据，因为它是在这里指示的。我面对命令的问题是，一旦......

import hadoop export hbase

回答 3 投票 1

Hadoop ... Text.toString（）转换问题

我正在编写一个简单的程序，用于在我的项目的有向图中枚举三角形。首先，对于每个输入弧（例如b，b c，c a，注意：选项卡符号用作分隔符）我想要我的地图...

text hadoop

回答 1 投票 1

将.avro文件中的数据导入hive表

我通过以下命令和avro架构创建了一个hive表。 CREATE TABLE table_name PARTITIONED BY（t string，y string，m string，d string，h string，hh string）ROW FORMAT SERDE'org.apache ....

apache hadoop hive avro

回答 4 投票 1

如何处理多个重叠数据集？

我有一组数据结构如下：[user_id，title，country，platform，language] [100，'Title A'，'US'，'Windows'，'English'] [100，'Title A' ，'US'，'Android'，'English'] [200，'Title C'......

sql hadoop hive

回答 1 投票 0

Windows上的Hadoop错误：java.lang.UnsatisfiedLinkError

我是Hadoop的新手，并尝试执行我的第一个mapcuce wordcount工作。但是，每当我尝试这样做时，我都会收到以下错误：java.lang.UnsatisfiedLinkError：org.apache.hadoop ....

hadoop

回答 4 投票 8

Hadoop组件是否有兼容性矩阵？

我想知道生态系统的各种Hadoop组件是否有兼容性矩阵？每次Hadoop升级都会产生很大的兼容性影响，例如：Apache Spark 2.4不支持Hadoop v3，......

apache-spark hadoop

回答 1 投票 3

如何修复mapreduce中mapper的setup方法给出的字符串值的不规则行为？

我是MapReduce的新手，并且正在学习设置方法的实现。配置给出的新字符串值正确打印，但当我尝试进一步处理它时，......