spring-batch 相关问题

Spring Batch是一个轻量级,全面的框架,旨在实现对企业系统日常运营至关重要的批处理应用程序的开发。此上下文中的批处理应用程序是指针对批量数据处理的自动离线系统。

SpringBatch Teradata 数据库类型支持

我将 SpringBatch 5 与 Teradata db 一起使用,我尝试创建一个作业存储库来添加数据源,但我收到有关 org.springframework.batch.support.DatabaseType 的异常: 实例化失败...

回答 1 投票 0

Spring Batch 与 mongodb 问题

我正在尝试用简单的逻辑使用 mongodb 来 poc spring 批处理。 读取csv文件 将数据插入 MongoDB 问题: 我是否需要关系数据库,例如:用于 jobRepository 的 Mysql? 如果是关系型数据库

回答 1 投票 0

意外的标记(START_OBJECT),预期的VALUE_STRING:需要包含类型id的JSON字符串(对于java.lang.Object的子类型)

我已经浏览了以下几个链接,但它没有解决我的问题: Java Jackson:反序列化复杂的多态对象模型:JsonMappingException:意外的标记(START_OBJECT),exp...

回答 2 投票 0

Spring批量读写同一个表

我正在使用 Spring Batch 读取表中的块数据,发送事件,并在事件发送时更改写入器中的布尔值。 示例: 我的阅读器 (RepositoryItemReader) 调用 JpaRepository 来检索...

回答 1 投票 0

使用 kafka 扩展 Spring Batch 远程分区

我需要通过使用kafka进行远程分区来扩展spring批处理作业。 我想在一台虚拟机上运行管理器步骤,在不同的虚拟机上运行工作器步骤。为此我有一些问题—— 如果我的管理器 VM 实例

回答 1 投票 0

Spring Batch - 未处理所有步骤

我有一个 Sping Batch 作业,需要 8 个步骤来同步 2 个数据库。该作业在 Apache Mesos 上的 Docker 容器中运行。它已经运行了很长一段时间,直到上个月我开始......

回答 1 投票 0

Spring Batch,如何根据条件跳过整个作业

我在 Spring Batch 中定义了一个这样的作业 @豆 公共作业 myJob(JobBuilderFactory jobBuilderFactory, 步骤firstStep, 步骤第二步,步骤第三步){ 返回 jobBuilderFactory...

回答 1 投票 0

Spring Batch - 读取两个 CSV 文件并比较

我有一个用例,我需要读取两个带有一个唯一列的 csv 文件并创建一个输出 csv..我们是否有 Spring Batch 的开箱即用解决方案

回答 1 投票 0

Spring Batch 作业未在 Spring Boot 中调用

我正在尝试运行一个 Spring Batch 作业,该作业接收 CSV 文件并将其写入 HSQL 嵌入式数据库。我的程序应该在 CSV 的每一行添加到数据库时记录日志,但事实并非如此......

回答 3 投票 0

通过独立的基于 JUnit 5 的测试来测试 SpringBatch 作业

我的 Spring Boot 应用程序调用示例 Spring Batch 作业的配置如下: MainApplication.java: @SpringBootApplication 公共类主应用程序{ 公共静态无效主(圣...

回答 1 投票 0

Spring Batch - 使用 ExecutionContextPromotionListener 提升多条数据

我有一个 Spring Batch 项目,我需要在 Step ExecutionContext 中保存 2 个键,这将被提升到 Job ExecutionContext。 我从网上的例子中了解到,例如这段代码...

回答 1 投票 0

临时化 Spring 批处理作业

我想临时进行春季批量工作。也就是说,我有一个包含超过 100 000 条记录的 CSV 文件。我想每天分块阅读这个文件。例如第一天的前 100 条记录,

回答 1 投票 0

如何在 Spring Batch 作业中并行化 Web 服务调用

我有一个计划的 Spring Batch 作业,它从 PostgreSQL 数据库读取记录。对于每条记录,我都会进行 Web 服务调用并将响应存储回数据库中。每个网络服务调用...

回答 1 投票 0

Spring Batch 中的块大小和分区大小有什么区别?

Spring Batch 中的块大小和分区大小有什么区别? 我不是指这里简要解释的 spring 批处理分区。 我指的是 DEFAULT_PARTITION_SIZE

回答 1 投票 0

spring-batch 示例:为什么直接调用构造方法?

我正在查看 spring-batch 的示例,我很惊讶地看到直接调用 bean 构造函数方法,而不是通过 bean 引用。我想知道这是否是一个错误。 在htt...

回答 1 投票 0

使用 FlatFileItemReader 打开 AWS 签名 URL

在 Spring Batch 中,我尝试从 AWS S3 读取带有签名 URL 的文件 此 URL 具有以下参数:X-Amz-Algorithm=...&X-Amz-Date=...X-Amz-SignedHeaders=...&X-Amz-Expires=...&am...

回答 1 投票 0

Iterator Item Reader 的 Spring 批处理多线程问题

我是 Spring Batch 的新手,仍在学习,我使用 IteratorItemReader 、自定义处理器和自定义编写器进行批量配置,如下所示, @Autowired JobBuilderFactory jobBuilderFactory; @Autowi...

回答 1 投票 0

Spring Batch 中步骤之间共享数据的最佳方式?

我正在开发一项读取 .csv 文件并将每条记录存储在数据库中的作业。为此,我需要使用从数据库获取的配置。 因为我不想再找回同样的东西

回答 1 投票 0

Spring 批处理项目编写器 REST API

是否可以在Spring批处理项目中使用RestAPI(REST TEMPLATE)从DB读取数据,处理它并在ItemWriter中发送到另一个系统?我所能看到的就是获取数据并将其写入 csv 文件。

回答 2 投票 0

Spring 批处理 - 一次处理多个项目的子集

我有一个包含许多项目的清单,我将其分成每组 10 块。 但 itemProcessor 仅处理块中的 1 个项目。 如何将每个块中的所有项目聚合到一个列表中,然后...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.