hadoop 相关问题

Spark Java 中的列表模式列表

我无法在 java 中为以下创建模式 JavaRDD newRdd = dataset.javaRDD().map(new Function() { @覆盖 public Row call(Row r) 抛出异常...

Hadoop Yarn Resourcemanager HA 时配置无效

我正在尝试在 Hadoop Namenode 和 Resourcemanager 上设置 HA 配置。 基本上，我正在使用 docker 容器 (docker-compose) 来部署每个节点，并且我正在使用 EC2 Ubuntu 22.04.2 当然...

是否可以统计分区数量？

我正在做一个测试，我必须找出一个表的分区数并检查它是否正确。如果我使用 show partitions TableName 我会按名称获得所有分区，但我希望获得 ...

java.lang.Exception：在没有事先方法配置的情况下推送 BMUnit 方法配置 pop

我使用 byteman 和 Maven 的 Junit。 我测试了hadoop项目。我根据官方网站在根 pom.xml 中添加了一些属性。 我使用 byteman 和 Maven 的 Junit。 我测试了hadoop项目。我根据官方网站在根 pom.xml 中添加了一些属性。 <dependencies> <dependency> <groupId>com.byteman</groupId> <artifactId>myhelper</artifactId> <!-- <scope>test</scope> --> <version>1.0.0</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <scope>test</scope> <version>4.13.2</version> </dependency> <dependency> <groupId>org.jboss.byteman</groupId> <artifactId>byteman</artifactId> <!-- <scope>test</scope> --> <version>4.0.20</version> </dependency> <dependency> <groupId>org.jboss.byteman</groupId> <artifactId>byteman-submit</artifactId> <scope>test</scope> <version>4.0.20</version> </dependency> <dependency> <groupId>org.jboss.byteman</groupId> <artifactId>byteman-install</artifactId> <scope>test</scope> <version>4.0.20</version> </dependency> <dependency> <groupId>org.jboss.byteman</groupId> <artifactId>byteman-bmunit</artifactId> <scope>test</scope> <version>4.0.20</version> <exclusions> <exclusion> <groupId>org.testng</groupId> <artifactId>testng</artifactId> </exclusion> </exclusions> </dependency> </dependencies> 这是代码段： @org.junit.runner.RunWith(org.jboss.byteman.contrib.bmunit.BMUnitRunner.class) @org.jboss.byteman.contrib.bmunit.BMUnitConfig(loadDirectory="target/test-classes") @org.jboss.byteman.contrib.bmunit.BMScript(value="check.btm") public class TestNestedMountPoint { private InodeTree inodeTree; private Configuration conf; private String mtName; private URI fsUri; static class TestNestMountPointFileSystem { public URI getUri() { return uri; } private URI uri; TestNestMountPointFileSystem(URI uri) { this.uri = uri; } } ... } 我的 check.btm 内容片段是： RULE 8b6addaa-abcb-4c5a-b82a-88286b61da08 CLASS java.util.ArrayDeque METHOD java.lang.Object getLast() COMPILE HELPER com.byteman.MyHelper AT ENTRY BIND value: String = Long.toString(System.currentTimeMillis()) +" " + Thread.currentThread().toString().replaceAll(" ","") + " " + Integer.toString(System.identityHashCode($0)) +" r =" + formatStack().toString().replaceAll("\n"," ") + "=\n" ; IF true DO writeLog(value); ENDRULE RULE f92a477e-28f9-405b-8684-e411f0f3e1aa CLASS java.util.ArrayDeque METHOD java.lang.Object getLast() COMPILE HELPER com.byteman.MyHelper AT EXIT BIND value: String = Long.toString(System.currentTimeMillis()) +" " + Thread.currentThread().toString().replaceAll(" ","") + " " + Integer.toString(System.identityHashCode($0)) +" r =" + formatStack().toString().replaceAll("\n"," ") + "=\n" ; IF true DO writeLog(value); ENDRULE ... 这是我的错误报告。 \[ERROR\] testPathResolveToLinkFallBack(org.apache.hadoop.fs.viewfs.TestNestedMountPoint) Time elapsed: 22.084 s \<\<\< ERROR! java.lang.Exception: BMUnit method configuration pushed without prior method configuration pop! at org.jboss.byteman.contrib.bmunit.BMUnitConfigState.pushConfigurationState(BMUnitConfigState.java:750) at org.jboss.byteman.contrib.bmunit.BMUnitRunner$6.evaluate(BMUnitRunner.java:261) at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:26) at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:27) at org.junit.runners.ParentRunner$3.evaluate(ParentRunner.java:306) at org.junit.runners.BlockJUnit4ClassRunner$1.evaluate(BlockJUnit4ClassRunner.java:100) at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:366) at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:103) at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:63) at org.junit.runners.ParentRunner$4.run(ParentRunner.java:331) at org.apache.maven.surefire.junitcore.pc.Scheduler$1.run(Scheduler.java:405) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:750) 我无法在控制台中获得有关此错误的更多日志。 我期待解决这个问题。 （谢谢你的帮助）

使用 sc.textFile() 加载本地文件以激发

问题 如何使用 sc.textFile 从本地文件系统加载文件到 Spark？我需要更改任何 -env 变量吗？此外，当我在未安装 Hadoop 的 Windows 上尝试相同操作时，我...

在 azure devops windows agent 上使用本机 windows 二进制文件构建 Hadoop

由于我公司的安全义务，他们拒绝使用预构建的 hadoop.dll 和 winutils，以便将它们添加到路径中并能够在本地开发。 所以我分叉了 https://github.com/apache/

是否可以更新已经写入S3的数据？

我正在考虑用S3替换当前使用的Hadoop，但在此之前，我想知道是否可以更新已经写入S3的数据。 Hadoop as HDFS，你只写一次，读很多......

我正在尝试使用 HQL 在 ubuntu 中创建表

创建外部表格部分（ p_partkey 十进制（5）， p_name 字符串， p_mfgr 字符串， p_brand 字符串， p_type 字符串， p_size 十进制（2），

如何在预置环境中安装 Delta Lake

我已经配置了 Hadoop 3 和 Apache Spark 3.4，它们工作正常。 现在我正尝试使用前面提到的软件在 Ubuntu 上安装 Delta Lake。 https://Delta.io 网站不是

SQL COUNT DISTINCT 条件基于另一列

我被这个问题困住了，我找不到解决办法。 我有一张表，我想计算每个站的零件数量和错误类型，但是如果一个零件在同一个

我在windows操作系统上运行mapreduce时出现错误

我正在尝试运行 wordcount 示例但出现错误 在此处输入图像描述在此处输入图像描述 toi chua tim ra cach de giai quyet van de nay

如何将Hadoop HDFS文件夹直接导出到远程服务器

我正在寻找将 HDFS 目录导出到远程服务器（到普通文件系统）的解决方案。我对两台服务器（本地和远程）都有 sudo/root 访问权限。要导出的文件大小约为 3TB ...

HDFS 上带有 Parquet 数据的 AutoFaiss - OSError：仅对可搜索文件有效

我正在尝试使用 autoafaiss 从以 Parquet 格式存储在 HDFS 中的数据集中生成 ANN 索引。运行 build_index 函数时，我遇到一个错误，指出“OSError:...

JobTracker 是否也是 Hadoop 中的单点故障（除了 NameNode）？

我是 Hadoop 新手。在 hadoop 中，我知道当一个 NameNode 失败时，整个 Hadoop 框架都会崩溃。所以它是 Hadoop 中的单点故障。 JobTracker 也一样吗？因为如果 JobTra...

我们什么时候不在Mapreduce中使用Combiner？

每个 Hadoop 开发人员都知道 Combiner 是优化 mapreduce 的关键，但它是可选的。它可以最小化带宽并提高 mapreduce 作业性能。我的问题是，hadoop 使许多功能...

从没有 kerberos 的服务器连接到 MIT kerberos 认证的 cloudera hadoop 服务器中的配置单元

我想连接到 MIT kerberos 认证的 cloudera hadoop 服务器中的配置单元服务。我正在使用托管在未安装 kerberos 的 Windows 服务器上的 Python 脚本。我用的是

我在哪里可以找到 ambari 公共存储库的链接以使用 BigTop 下载服务？

启动 Ambari 后，在“选择版本”的第二步中，我们必须提供指向公共存储库或本地存储库的 url 链接。我试图寻找 BigTop 存储库链接，但我没有...

大数据的随机森林

我正在处理超过 400 万条记录的大数据，我想根据 9 个变量预测 3 个标签。我使用了 RandomForest，但它需要几个小时，我想知道是否有什么办法可以

Java MapReduce 应用程序 Hadoop 中线程“主”java.lang.ClassNotFoundException 中的异常

导入java.io.IOException； 导入 java.util.HashMap； 导入 java.util.Map； 导入 java.util.StringTokenizer； // 兄弟让我们看看这个新包是否有效。 导入 org.apache.hadoop.conf.Configura...

错误：无法设置资源管理器进程 89885 的优先级和错误：无法设置节点管理器进程 89986 的优先级

我想在Mac上通过Homebrew下载Hadoop。我完成直到将名称节点格式化为 hdfs 名称节点格式。我也删除了密码要求，但是当我在...下启动集群时