Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
配置单元查询的Map Reduce工作-如何知道特定reducer的键？
我正在尝试调试配置单元查询中的数据偏斜。我需要知道哪个密钥正在发送给偏斜的减速器。 Hive版本：MAPR 6.1平台上的Hive 2.3.3-mapr-1904-r9到目前为止，我已经尝试过：...
hive UDF-将StringObjectInspector转换为String
我正在编写通用UDF。如果我直接使用UDF，那么它可以工作，但是，如果我将UDF与其他函数（distinct，max，min）一起使用，它甚至不会调用评估函数。我想看看发生了什么，所以...
写入hdfs路径时出现错误java.io.IOException：重命名失败
我正在使用spark-sql-2.4.1v，它正在使用hadoop-2.6.5.jar版本。我需要先将数据保存在hdfs上，然后再移至cassandra。因此，我试图将数据保存在hdfs上，如下所示：String ...
我有一个表，其中的列之一具有char（3）数据类型。表创建语句工作正常。但是，当尝试使用char（3）数据插入该表时。该代码工作正常。 ...
我有一个外部表。在尝试删除它时，我遇到以下错误Metaexception（message：java.lang.illegalArgumentException：hadoop path不能为null）（state = 08s01，code = 1）我尝试过...
我读到，在Hadoop 1.0中，HDFS具有名称节点，辅助名称节点和数据节点。但是，如果辅助名称节点将掉落，则它不会替换主名称节点，因为它会执行其他一些例程（例如存储...
我正在尝试使用sqoop将数据从DB2导入到hdfs。由于我没有复制db2jcc4.jar到/ var / lib / sqoop /目录的管理员权限，因此我将jar复制到了我正在执行的位置，并且...
s3 hadoop错误：NoSuchMethodError：org.apache.hadoop.metrics2.lib.MetricsRegistry.newCounter
我创建了如下凭证：Configuration conf = new Configuration（）; conf.set（“ fs.s3a.impl”，org.apache.hadoop.fs.s3a.S3AFileSystem.class.getName（））; conf.set（“ fs.s3a.access.key”，“ ...
我正在尝试查找触发文件在hdfs目录中是否存在。代码：私有静态最终int索引= 23； @SuppressWarnings（“ serial”）私有静态HashMap ...
我是hive的新手，想建立连接，现在我可以使用Hive CLI进行连接，我想通过beeline连接hive，但是连接时出现错误。试图将配置单元与...
我们如何在Hadoop中导入非结构化和半结构化数据？导入结构化数据很容易，因为我可以使用Sqoop从MySQL直接导入。但是在...
输入：输入数据集包含1000万个交易，这些交易包含在作为拼花地板存储的多个文件中。包括所有文件在内的整个数据集的大小范围从6到8GB。问题陈述：分区...
这里我假设我有一个由4个节点组成的集群，并且我的数据量为500GB。然后在具有默认块大小（64Mb）的Hadoop1中，如何将数据块也分配给该节点？
这里是使用java访问HDFS的代码try {Configuration config = new Configuration（）; config.set（“ fs.defaultFS”，“ hdfs：//192.168.28.153：9000 /”）; ...
这里是用于访问HDFS包myDefaultPackage的代码；导入java.io .;导入org.apache.hadoop.fs .;导入org.apache.hadoop.conf。*;公共类Testing_HDFS_File {...
我的hbase版本是1.1.2.2.5，通过ambari安装。 hbase table carpass在线区域有2000个，拆分区域有800个。长时间观察后，发现...
[我们正在使用zipinputstream读取hdfs中存在的zip文件。但是现在我们有了受密码保护的zip文件。在将其传递给...之前，是否有任何方法可以仅对hdfs中的zip文件进行解码？] >>
我在SAS中有theta联接，需要将其转换为Hive。 SAS：从左外部加入公司b的雇员中选择a.id，b.name（a.id = b.id和a.joindate> = b.joindate和a.releasedate＆...
使用动态Hadoop conf在同一火花会话中访问两个s3帐户，拒绝访问（403）
这是我提出的问题的后续问题，这个问题更具体地说明如何通过动态更改hadoop配置使用相同的spark会话访问两个s3帐户。我...
Pyspark的新增功能，我正在从HDFS加载JSON文件。它一次从一个日志中读取数据。假设从每个日志中获取date，config1d并将其加载到JSON文件中。有没有办法...