Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
Hadoop MapReduce访问减速器中的映射器输出编号
我有一个映射器输出一个句子中的每个字母，这是键，数字1作为其值。例如，我的映射器输出'你好吗'为H 1 o 1 w 1 a 1 r 1 e 1 y 1 o 1 u 1我...
在我们的环境中，我们无法直接查询Hive元存储。我需要动态生成一组表的tablename，columnname对。我试图实现......
Hadoop pig连接错误 - historyserver无法启动
基本上有一个问题出现了：例如，这里描述了同样的问题。如果我尝试使用猪脚本，我会收到连接错误。调查一下，历史服务器确实不是......
我有两个文件，我试图在模式匹配的基础上加入这两个文件。 File1：weather.bbc.co.uk，112 ads.facebook.com，113 ads.amazon.co.uk，114 www.sky.com，115 news.bbc.co.uk，116 pics ....
我正在从s3读取csv文件并将其作为orc写入hive表。在写作时，它写的是很多小文件。我需要合并所有这些文件。我有以下属性集：spark.sql（“SET ...
我一直在CentOS上玩Hadoop安装一段时间，但今天当我转移到RHEL时，我在尝试启动伪分布式集群时遇到了令人讨厌的密码提示。之后......
假设我们有这样的工作：class MRjob（JobTask）：def output（self）：return ... def requires（self）：return ... def mapper（self，line）：＃some line process yield key，（.. ....
我的Hive表是ORC格式，当where子句中的列被排序时，其中的查询运行得最快。但就我而言，目前还没有。在查询之前对列进行排序的语法是什么。
我在thrift服务器模式下运行配置单元。我在一个jar文件中有一个UDF，我试图通过运行add jar来使用它 创建临时函数func_name为'com.test.udf.UDF_CLASS'...
我正在尝试执行简单的Hadoop Mapreduce Wordcount示例。我按照本指南运行程序。其中一个步骤是在hdfs文件系统上创建输入和输出文件夹。 ...
我正试图在蜂巢中导入以下json [{“时间”：1521115600，“纬度”：44.3959，“经度”：26.1025，“海拔”：53，“pm1”：21.70905，“pm25”：16.5，“ PM10 “：14.60085，” GAS1 “：0，” 气2 “：0.12，” GAS3 “：0，” ...
作为我的intellij环境设置的一部分，我需要连接到远程hadoop集群并访问本地spark代码中的文件。有没有办法连接到hadoop远程环境没有...
我对Zeppelin解释器的绑定模式有点困惑。我正在使用Zeppelin 0.7.2，据我了解，如果我配置一个具有“隔离”绑定模式的解释器，那么每个用户都会得到......
（Zeppelin + Livy）SparkUI.appUIAddress（），一定是错的
我正在尝试使用Zeppelin配置livy以下文档：https：//zeppelin.apache.org/docs/0.7.3/interpreter/livy.html但是当我运行时：％livy.spark sc.version我得到了以下内容错误：......
我在HDFS中有以下数据（2个文件）：/ a / b / c /f1.txt /f2.txt我想将f1.txt和f2.txt的权限更改为644：例如hadoop fs -chmod 644 /a/b/c/*.txt然而，在......
当我在伪群集模式下使用HBase时，我得到以下异常。如果有人可以解决这个问题来解决它org.apache.hadoop.hbase.client，那真的很棒。
我创建了2个VM（主服务器和从服务器）我安装了hadoop组件（namenode，hdfs ..）它在主服务器上正常工作但在从服务器上我在启动datanode时遇到此错误：无法启动Hadoop ...
我正在研究Oozie自动化ETL，涉及100多个步骤。我能够在开发集群中成功创建工作流程。当我试图移动这个巨大的问题时......
我不久前问了一个类似的问题，但后来我不知道我在说什么。我发布此问题的详细信息和点查询。所以我设置了hadoop集群......
我有一个包含JSON数组的gzip压缩文件，如下所示：[{“Product”：{“id”1，“image”：“/ img.jpg”}，“Color”：“black”}，{ “产品”：{“id”2，“image”：“/ img1.jpg”}，“颜色”：“绿色”} .......我......