dataflow 相关问题

数据流编程是一种编程范例，其中计算通过有向图建模：节点是指令，数据通过它们之间的连接流动。

性能：Google Dataflow将avro文件写入GCS

我正在开发Google Dataflow，它从pubsub中提取数据，转换为avro，然后将它们写入GCS。根据监控页面，瓶颈是将avro文件写入GCS（花费70-80％......

java apache-beam dataflow

回答 1 投票 1

Apache Beam - PCollection中每个键的平均聚合

我有一个PCollection，它由一个ID列和七个值列组成。每个ID有几行。我想计算每个唯一ID的七列的平均值。有办法......

google-cloud-dataflow apache-beam dataflow

回答 1 投票 0

限制光束应用中的一个步骤

我在谷歌数据流上使用python beam，我的管道看起来像这样：从文件中读取图像网址>>下载图像>>过程图像问题是我不能让下载图像步长为......

python google-cloud-dataflow apache-beam dataflow

回答 1 投票 2

要从Google云端存储读取到本地计算机的数据流

我尝试了一个数据流作业来读取Google云端存储并写入本地计算机。我使用了DirectPipelineRunner。工作顺利完成。但我没有看到我的本地写的文件...

google-cloud-dataflow apache-beam dataflow beam

回答 1 投票 1

spring cloud dataflow list支持通配符的名称作业执行？

这是有问题的API：https：//docs.spring.io/spring-cloud-dataflow/docs/current-SNAPSHOT/reference/htmlsingle/#api-guide-resources-job-executions-list-by-name。看来这不可能......

spring list cloud jobs dataflow

回答 1 投票 0

Dataflow 2.x在调用PCollectionTuple.apply（）时抱怨参数类型不正确

我正在将现有管道迁移到数据流2.x.在管道的最后阶段，数据将写入Google云服务。数据需要压缩到.gz，所以之前（在我们...

java apache-beam dataflow

回答 1 投票 0

单元测试采用侧输入的数据流/ apache波束管道

使用Dataflow 2.1 sdk com.google.cloud.dataflow 谷歌云，数据流的Java-SDK-所有

apache-beam dataflow

回答 1 投票 0

错误：“java.lang.RuntimeException：无法获取location1的值”

以下是我尝试运行数据流作业时生成的错误消息。更具体地说，我使用通过执行dataprep中的流创建的模板来执行数据流作业。 ......

templates gcloud dataflow

回答 1 投票 0

dataflow 相关问题

最新问题