Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了
我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时，我看到以下内容
我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...
如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期
我正在使用 Spring kafka 实现，我需要通过 REST API 启动和停止我的 kafka 消费者。为此，我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。
Kafka Java Consumer Client 是单线程的吗
我们正在开始使用 Kafka， 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...
如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢！
我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前，输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......
即使部署在 kubernetes pod 上，kafka 主题仍然是不可变的吗？
我在 kubernetes pod 上部署了 kafka 主题和模式注册表，我尝试修改/更改 kafka 主题和模式注册表的清单文件，然后模式注册表的行为在
使用 kafka-go 和循环平衡器时，数据始终进入分区 0
我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器，但数据始终进入分区 0。我尝试忽略所有消息的分区字段，但是...
我想从Kafka获取数据，此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新
Apache Spark 中的 join 和 cogroup 有什么区别
Apache Spark 中的 join 和 cogroup 有什么区别？每种方法的用例是什么？
在我的 SpringBoot Java 项目中，我使用的是 kafka，特别是 ReactiveKafka。我正在更新依赖项，特别是这些依赖项： springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-
为什么在Windows环境下Apache IoTDB中运行`pip install`后出现`failed to build thrift`错误？
pip install apache-iotdb工具不支持Windows环境吗？在Windows中运行pip install apache-iotdb==0.13.0.post1后，出现错误消息：Failed to build thrift, ERROR: Could ...
我是容器化新手。我正在尝试设置我的本地环境，我的 java 应用程序想要连接到 Kafka。无法使用 Docker，所以决定使用 Podman。我有三个容器在同一个上运行
Spring Boot 3.1.X及以上版本的Kafka客户端连接问题
我最近将我的一项 Spring Boot 服务升级到 3.1.x，升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...
有没有办法将AWS Cloudwatch日志输入Kafka主题
我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布，其中...
我正在寻找一种从 Kafka 主题中删除（完全删除）已使用记录的方法。我知道有几种方法可以做到这一点，通过更改主题的保留时间或删除...
Apache Tiles 3.x 不再在 Spring 6.x 中编译，因为 javax.* 重命名为 jakarta。*
我的应用程序使用Spring 5.x，Apache Tiles 3.0.x。现在我想迁移到 Spring 6.x，但问题出在 Apache Tiles 3.0.x 上，因为它有 javax.servlet.* 而不是 jakarta.* 。所有春天...
我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知，消息应该在这两个中随机消耗
apache-cassandra-4.0.7 Dockerfile 不可用异常
尝试从 apache-cassandra-4.0.7-bin.tar.gz 创建 docker 映像，但在配置密钥空间后出现以下错误 $ docker exec -it pidcss /bin/bash $ ./cqlsh localhost -u cassandra -p cas...
具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端
我目前正在使用一个Java Kafka消费者，它手动提交偏移量（enable.auto.commit = false），我发现即使我生成了多个实例，我发现这样的设置也是如此
如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息？
我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息，消费完之后，ActiveMQ会自动删除消费的消息。仅未消耗
如何将使用 apache FOP 创建的大量单独的 AFP 文件合并到单个 AFP 文件中？ 也欢迎任何工具建议。
为什么 Apache IoTDB 1.3 版本中的某些语句只能使用 `;` 标记执行？
当我在Apache IoTDB的Cli工具中执行语句时，为什么有些语句可以在添加之前执行；有的不用加;?就可以执行我刚刚下载了 Apache IoTD 1.3 版本...
有没有办法解析 Apache Commons CLI 中选项对象中不存在的未知选项。 例如 - 我的参数是 --greeting hello --unknownArgument foo。 选项对象有
在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业
我正在开发一个 Spark 项目，我需要在两个不同的集群上运行作业，两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡
我一直在尝试使用pip安装命令在我的机器上安装apache airflow。我在虚拟环境中成功安装了airflow。当我尝试运行“airf...
apache beam 和 Big Query TableSchema 中的序列化问题
并感谢您的支持。 我目前正在尝试使用 Apache Beam，以尽可能多地了解它的工作原理。我面临 com.google.api.serv 序列化的问题...
我在 Apache 上使用 php 8.0 fpm 和 proxy_fcgi。 服务器版本：Apache/2.4.58（Ubuntu） 我有一个 PHP 脚本，需要大约 20 秒才能执行... 我想要一个进度条显示
Windows 上的 httpd.conf：找不到 API 模型结构 `php8_module`
我正在尝试按照这些指南在 Windows 上安装 PHP、Apache 和 MySQL。有时，系统会提示我编辑 httpd.conf 以指向我的 PHP 安装。 apache 目录和...
Java Apache 在“Content-Disposition:”中设置附加参数
我正在使用 java Apache 5.3.1，我正在尝试使用 XML 发送多部分，并且需要以下“Content-Disposition：”集 - 内容处置：表单数据；名称=“xml”；文件名=...
有什么理由使用 Apache HashCodeBuilder 而不是 Objects.hash 吗？
我正在重写对象的 hashCode 和 equals 方法。我正在使用 Apache Commons 库中的 EqualsBuilder 来覆盖 equals。由于我使用的是 Java 7，所以我打算使用 bui...
debconf：延迟软件包配置，因为未安装 apt-utils
我正在设置 Docker 来运行我的 CakePHP 应用程序，我的 Dockerfile 就像 来自 php:7.2-apache # 启用 Apache Rewrite + Expires 模块 RUN a2enmod 重写过期 # 安装依赖项 跑...
我正在使用 docker image 运行 apache superset 实例，UI 工作正常，我已成功创建数据源和仪表板，然后将其导出为 zip 文件。 我的问题是每当我尝试...
关于 mod_wsgi ModuleNotFoundError (dateutil) // python 3.11.4 64bit 和 apache 2.4.58 win64 VS17
我在Windows 11 Pro上使用mod_wsgi与python 3.11.4 64位和apache 2.4.58 win64 VS17。 我为每个人安装 python，而不仅仅是为我自己。 另外我不使用python virtualenv。 当我跑步时
为什么 Apache IoTDB 1.3 版本中 DataNode 配置消失并报“无法拉取系统配置”警告？
我想启动独立的 Apache IoTDB 1.3 版本。集群管理已经启动，jps可以查看DataNode和ConfigNode，但是1分钟后DataNode就消失了。那个...
什么数据类型可以将空值写入 Apache IoTDB 1.0 版本？
我需要将一些空值写入 Apache IoTDB 版本 1.0。我想知道这个版本支持写入空值吗？或者什么数据类型可以支持这种写入空值的执行...
如何使用 Apache 和 Daphne 部署 django 通道？
我正在尝试部署这个使用通道的 django 应用程序。我使用 Apache 进行常规 HTTP 请求，并希望将 Web 套接字请求转发到 Daphne。 以下是我的一些重要文件： 阿帕奇...
如何在 Windows 上为不同的虚拟主机配置不同 php 版本的 Apache 配置
我正在 Apache 2.4 / Windows 10 的 httpd.config 中测试不同的语法，以便为不同的虚拟主机提供不同的 php 版本。 Domain1 应具有 PHP 8.1，Domain2 应使用 PHP 运行...
如何在 Apache poi 数据透视表中的列和值中使用相同的列
我正在尝试使用 Apache poi 创建数据透视表，除一种情况外一切正常。当我尝试在列和值（聚合器）中使用相同的列时，它不起作用。 例如...
Python KafkaTimeoutError：等待未来超时
我正在使用 Kafka 将日志发送到主题。发送消息时，我总是收到此错误 消息：“测试日志” 参数：() --- 记录错误 --- 回溯（最近一次调用最后一次）： 文件“...
如何设置分片`region`以避免在Apache IoTDB中报告`AsyncIoTConsensusServiceClient 113`类型错误？
Apache IoTDB 的分片区域是基于时间分片的吗？如何减少该区域的数量？我认为这个数量太多了，所以我报告了这个错误，但是如果我设置这个数量...
当Apache IoTDB中导出TsFile数据的sql语句较多时，为什么执行的结果却较少？
我想问一下，当在Apache IoTDB中使用TsFile导出工具时，我的sql文件中有40条sql语句，但只导出了3个TsFile。这是什么原因呢？导出工具有没有...
debezium 日期/时间字段值超出范围：0000-12-30T00:00:00Z
我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at，当值为0时start_at='0001-01-01 00:00:00.000000 +00:00'，但是当我们检查kafka中的数据时，它是
Groovy 抛出 可能的解决方案：解析 LinkedHashMap 时出现 parseText(java.lang.String) 错误
我正在尝试检查kafka输出消息中是否存在该密钥，如果存在则进行进一步的操作。 卡夫卡主题的输出消息如下 [“随机名称_547hcg”：{ “访问_...
我有一个使用 AWS 上的 MSK 集群的 kafkaStreams 应用程序。 我需要清理状态存储（在我的应用程序中使用一些 KTable 后创建）。 我找不到任何方法来访问文件系统......
自消息发布或 sinse 服务器启动以来，kafka 是否计数 log.retatantion
如果我将 log.retantion 设置为 24 小时，则在 1.1.24 15:30 发布了一条消息。 然后服务器宕机了25小时，24年1月16日16:30再次启动，消息会立即删除吗...
Apache Superset 在 MySQL JSON 字段方面遇到问题
我有一个 MySQL 数据库，其中的记录包含 JSON 类型字段。 JSON 类型字段的示例是 {.... “callAttributes”：{“teamId”：“红色”，“operatorId”：&...
Apache Beam DirectRunner 与 FlinkRunner 示例
我使用beam yaml（python sdk）构建了最简单的管道，其中读取csv文件并应打印到日志。 使用默认 DirectRunner 运行时： python -m apache_beam.yaml.main --
如何使用BigQueryToPostgresOperator
我是在 GCP 上使用 apache-airflow 的新手，我正在尝试在 Dataproc 无服务器内的 DAG 上使用 BigQueryToPostgresOperator 将表从 Bigquery 发送到 Cloud SQL，特别是发送到
假设最初我们有一个包含 3 个分区的主题和一个包含 3 个消费者的消费者组，从该主题进行消费。如果我们在消费者组中再添加一个消费者，分区会重新平衡吗