spring-cloud-dataflow 相关问题

Spring Cloud Data Flow是用于构建数据集成和实时数据处理管道的工具包。管道由Spring Boot应用程序组成,使用Spring Cloud Stream或Spring Cloud Task微服务框架构建。这使得Spring Cloud Data Flow适用于各种数据处理用例,从导入/导出到事件流和预测分析。

启动时覆盖Spring Data Flow的作业参数

我目前在Spring Cloud Data Flow中的任务调用方面遇到问题。我有一个在SCDF上注册的Spring Batch(包含单任务步骤工作)应用程序和任务定义...

回答 1 投票 1

批量使用的Spring Cloud数据流仅需要跳过程序吗?

我正在尝试了解Spring Cloud数据流的体系结构。特别是在使用它来编排纯批处理管道时。我已经在k8s中部署了所有组件,并注意到我可以...

回答 1 投票 0

如何在SCDF中设置日志方向

我尝试了两种方法来设置日志方向:_第一种方法是更改 logback-spring.xml中的LOG_FILE:] >> _第二种方法已设置...

回答 1 投票 0

Spring Cloud Data Flow UI

我们有一个Spring Batch应用程序,该任务由定期触发的Task Command Line Runner触发。我们正在寻找一个UI以查看作业执行状态,我们可以使用Spring Cloud ...

回答 1 投票 0

spring-cloud-dataflow-server-local要为MySQL启动吗?

我正在使用Spring Batch处理Spring数据流。在此示例中,我下载了spring-cloud-dataflow-server-local-1.7.4.RELEASE,然后简单地运行它java -jar spring-cloud-dataflow-server -...

回答 1 投票 0

如何在kubernetes上为Spring Cloud Data Flow Server启用基本安全性?

根据此参考资料,我已使用minikube v1.8.2在kubernets v1.17.4上部署了Spring Cloud Data Flow(SCDF)版本2.4.0。说明文件|我想启用基本的Spring Cloud Data Flow ...

回答 1 投票 0

如何创建具有Oracle驱动程序依赖性的Spring Cloud Data Flow服务器的自定义构建?

一段时间以来,我一直在尝试使用SCDF,目的是使用Oracle数据库作为数据源。由于许可问题,必须将Oracle驱动程序添加到SCDF服务器的类路径中,否则我们必须执行...

回答 1 投票 0

SCDF数据流服务器2.4.2组成任务

我将SCDF与跳过服务器2.3.2和数据流服务器2.4.2一起使用。使用Docker-compose部署时,我使用composited-task-runner 2.1.3版本构建了一个任务,我尝试使用该任务,但即使使用示例,也可以使用composited -...

回答 1 投票 0

如何将Oracle驱动程序依赖项添加到Spring Data Flow Server?

我目前正在尝试使用Spring Batch的Spring Data Flow Server。我的application.properties中有两个数据源。而且,Spring Batch应用程序可以正常工作,并且可以将数据读写到...

回答 1 投票 0

我应该为新的Spring Batch作业使用Spring Data flow服务器吗?

我需要创建大约10个Spring Batch作业,其中包括一个读者和一个作家。所有读取器都从不同的Oracle DB中读取数据,并写入不同的Oracle Db(...] >>

回答 2 投票 0

SCDF Spring Cloud Stream从2.1.4迁移到引导2.2.4版本中断kafka avro流

我们有一个使用Spring Cloud Functions方法的Spring Cloud处理器。当前使用的引导版本为2.1.4,而Greenwich.SR1处理器的云版本位于@EnableBinding(...

回答 1 投票 0

Spring Cloud Data Flow:部署使用Java DSL定义的流

我正在使用Spring Cloud Data Flow。有什么方法可以部署用提供了.jar uri的Java DSL定义的流,而不是将其作为客户端执行?我想像应用程序一样威胁它...

回答 1 投票 0

是否有可能为Java中的每个pcollection编写而不中断行?

我刚刚开始使用Java SDK Apache Beam。由于需要编写文件时必须在元素上不间断行,因此我试图找到一种实现方法。从下面看,我有点类似,但是...

回答 1 投票 0

Spring Boot 2.2.4 / Hoxton.SR1中的处理器应用程序在Spring Cloud Data Flow 2.4.1中不起作用

我正在尝试开发一个新的应用程序以在SCDF 2.4.1和Skipper 2.3.1上工作,我从https://github.com/sabbyanandan/stream-programming-models中获取了样本,这些样本是在本地构建的。已下载...

回答 1 投票 0

Dataflow启动器Payload Java

我使用http源和接收器dataflow-launcher构建一个流,以执行名为batchPY546Task的spring批处理任务。要启动此任务,请设置localFilePath = file-path-the-file-file参数。因此在...

回答 2 投票 0

Spring Cloud Dataflow和计划的任务

我在Openshift集群上安装了Spring Cloud Dataflow。我尝试注册一个应用程序,然后创建一个任务,一切都很好,但是当我尝试安排任务时,我得到了...

回答 1 投票 0

Spring Cloud Dataflow-组成任务运行器无法启动第二个任务

我有一个由两个连续的批处理作业组成的数据流管道。第一批成功完成,但第二批没有开始。我已经使用嵌入式H2启动了Dataflow服务器...

回答 1 投票 0

Spring Cloud Dataflow设置系统属性

我编写了一个自定义的Spring Cloud Stream Sink应用程序,当我在Eclipse中将其作为Spring Boot项目运行时启动。部署应用程序时,我需要传递一些系统属性。 ...

回答 1 投票 0

spring数据云,测试任务,在kubernetes上运行,抛出maven repo错误

我应该在哪里为任务启动器和任务应用设置本地存储库? spring app json是使用maven local来为部署程序设置的,但是有些任务启动器无法找到...

回答 1 投票 0

我们可以实时更新关键云铸造厂的证书吗?

我们可以实时更新Spring Cloud DataFlow的PCF凭证吗?凭据在yaml文件中定义:SPRING_CLOUD_DATAFLOW_TASK_PLATFORM_CLOUDFOUNDRY_ACCOUNTS [default] _CONNECTION_PASSWORD:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.