dataflow 相关问题

数据流编程是一种编程范例，其中计算通过有向图建模：节点是指令，数据通过它们之间的连接流动。

动态使用数据流处理多个表

我试图使用本文来使用Data Factory中的Dataflows成功地将数据从一个表复制到另一个表。现在，我的方案是处理数据库中的多个表。上面的示例适用于一个...

azure azure-data-factory-2 dataflow

回答 1 投票 0

NiFi升级后哪种方法是最好的迁移DateFlows的方法？

正如标题所示，在将Nifi-1.9.2升级到Nifi-1.10.0之后，我发现有以下三种方法来迁移DF：1.使用模板2.从Nifi注册表中导入DF 3.加载...

apache-nifi dataflow

回答 1 投票 0

数据流作业未能调出所需的1个工人中的任何一个

我尝试在https://cloud.google.com/dataflow/docs/quickstarts/quickstart-java-maven中运行wordcount的google cloud数据流示例代码，并始终出现错误：我们区域中的工作池启动- ...

google-cloud-dataflow dataflow

回答 1 投票 0

将数据从本地Oracle传输到GCP的最佳方法

我们希望将一些现有的本地流程转移到GCP。此过程使用COMPLEX SQL（SQL的20个）从各种oracle表中获取记录。我正在探索自己的选择，似乎没有...

google-cloud-platform data-transfer dataflow google-cloud-dataprep

回答 1 投票 0

为什么Apache Beam中的CustomOptions不继承DataflowPipelineOptions的默认属性？

我是Apache Beam的新手，正在尝试使用DirectRunner和DataflowRunner运行示例读写程序。在我的用例中，CLI参数很少，为此，我创建了一个接口“ ...

google-cloud-dataflow apache-beam dataflow apache-beam-io

回答 1 投票 0

无法获取应用程序默认凭据。在本地运行

现在我正在尝试下面的示例，以从DataFlow的GCP Pub / Sub中检索数据。 https://codelabs.developers.google.com/codelabs/cpb101-bigquery-dataflow-streaming/index.html?index=..%2F..%2Fnext17#5 ...

java google-cloud-platform google-cloud-pubsub dataflow

回答 1 投票 2

Apache Beam DirectRunner与“常规”并行进程

我目前有一个在GCP上运行的管道。整个过程都是使用熊猫编写的，以操纵CSV并进行一些转换以及来自外部来源的辅助输入。（它使用...

python google-cloud-platform cloud dataflow beam

回答 1 投票 0

如何从GCP存储桶读取Apache Beam中的多个文件

我正在尝试使用Apache Beam在GCP中的多个文件上读取并应用一些子集。我准备了两个仅对一个文件有效的管道，但是在多个文件上尝试它们时失败。除了...

python python-3.x apache-beam dataflow apache-beam-io

回答 1 投票 0

数据流是否可以作为数据源连接到数据湖

我正在尝试将数据流（powerBI）连接到数据湖gen2以获取数据。我看不到连接器，有人知道此功能是否可用吗？谢谢

powerbi azure-data-lake dataflow

回答 1 投票 0

是否有一种方法可以在Beam的ParDo转换中创建用于写入Parquet文件的SpecificRecord列表？

我正在尝试用Beam / Java编写Dataflow作业，以处理来自Pub / Sub并写入Parquet的一系列事件。 Pub / Sub中的事件采用JSON格式，每个事件都可以生成一个或...

java apache-beam dataflow

回答 1 投票 0

如何将顺序数据传递到SwiftUI中的navigationBarTitle中

我有一个主从应用程序，以用户列表->他们的城市->他们的城镇开头。视图的内容工作正常，但我不知道如何调整数据流，以使....

swiftui navigationbar master-detail dataflow

回答 1 投票 0

在Kubernetes下计划任务失败

我们正在Kubernetes中部署Spring Cloud Data Flow v2.2.1.RELEASE。一切似乎都可行，但调度却不可行。实际上，即使使用UI（或api）手动启动运行任务时，也可以使用...

kubernetes spring-cloud dataflow

回答 1 投票 0

使用azure数据工厂管道将json对象存储到azure表存储实体中

我已经创建了一个蔚蓝的数据工厂管道。通过这种方式，我需要将我的JSON文件内容作为字符串从我的Blob存储JSON文件存储到Azure表存储实体。我尝试了复制活动，其中...

json azure-table-storage azure-data-factory dataflow

回答 1 投票 0

Nifi为什么在将Csv转换为JSON时遇到解析错误

我正在使用将记录CSV转换为JSONProcessor。我在https：//community.cloudera.com/t5/Community-Articles/Convert-CSV-to-JSON-Avro-XML-using-ConvertRecord-Apache-NiFi/ta -...]中查看示例>

csv apache-nifi avro dataflow csvtojson

回答 1 投票 1

spring数据流：使用pod批注将IAM角色分配给pod

我们目前正在aws EKS集群中部署新的spring数据流应用程序。作为此过程的一部分，由船长启动的Pod应该具有在...

amazon-web-services kubernetes annotations spring-cloud-dataflow dataflow

回答 1 投票 3

使用Scio部署DataFlow作业

我已经开始使用Scala SDK Scio开发我的第一个DataFlow作业。数据流作业将以流模式运行。谁能建议最好的部署方式？我已经在Scio文档中阅读了...

scala google-cloud-platform dataflow beam

回答 1 投票 0

BigQuery无法插入作业。工作流程失败

我需要通过Dataflow和Beam从GCS到BigQuery运行批处理作业。我所有的文件都是具有相同架构的avro。我创建了一个数据流Java应用程序，该应用程序可以处理较小的数据集（〜...