dataflow 相关问题

数据流编程是一种编程范例，其中计算通过有向图建模：节点是指令，数据通过它们之间的连接流动。

我正在尝试基于字符串参数创建类型，并将其传递给构造函数的类型参数。只是用if语句检查它就很讨厌，我不知道如何...

c# generics types task-parallel-library dataflow

回答 1 投票 0

因此，当我尝试使用DataflowRunner运行数据流并包含require.txt时，如下所示：google-cloud-storage == 1.28.1 pandas == 1.0.3 smart-open == 2.0.0每次失败在此...

python google-cloud-dataflow dataflow requirements

回答 1 投票 1

Dataflow中的Apache梁出现与pardo函数相关的错误，并且梁未定义

[我正在尝试在数据流中创建我的第一个小人，当我使用交互式束流道执行时，我具有相同的代码运行，但是在数据流中，我遇到了各种各样的错误，这些错误并没有太多...

python-3.x google-cloud-dataflow apache-beam dataflow beam

回答 1 投票 0

数据流管道中dynamicWrite FileIO中的动态文件夹名称

我有一个PCollection >。我想将数据按K分组，并将密钥K的所有值写入到名为K的文件夹内的Google存储中的文件中。假设我有2个条目...

google-cloud-dataflow apache-beam dataflow apache-beam-io

回答 1 投票 2

Esper数据流中“ Where子句”中的错误

我正在尝试使用Esper Dataflows做一些测试，所以我正在使用Esper Dataflows提供的Select运算符编写一些模式。但是我没有让它工作。我正在尝试使用的代码...

java dataflow complex-event-processing esper

回答 1 投票 0

Dataflow SQL-不支持的列类型NUMERIC

我正在尝试设置Dataflow-SQL作业以在BigQUery中运行查询并将结果发布到PubSub主题。我没有使用Dataflow模板，而是使用GCP的Dataflow SQL UI编写查询...

google-cloud-dataflow dataflow

回答 1 投票 0

文件异步到达的相关数据处理管道

我有几个与数据相关的任务/管道，其中一些任务/管道取决于另一个任务的完成。更难的是数据可以异步到达，这意味着某些任务需要...

architecture workflow pipeline dataflow data-processing

回答 1 投票 0

将时间戳传递到天蓝色映射数据流

我正在尝试将上次修改的日期和时间作为参数传递给我的数据流。谁能告诉我将参数作为参数传递的正确方法是什么。我已经尝试了多种方法。从...

azure azure-data-factory azure-data-lake dataflow

回答 1 投票 0

Azure数据工厂数据流不以JSON格式提供空值

我正在寻找如何通过Azure数据工厂数据流活动显示我的空值。当前，我正在使用标准数据流从Azure SQL数据库建模数据并将其拖到...

azure azure-data-factory dataflow

回答 1 投票 0

Apache Beam GCP在动态创建的目录中上传Avro

我想在GCP中创建一个流式Apache Beam管道，该管道从Google Pub / Sub读取数据并将其推送到GCS。我可以从Pub / Sub读取数据。我当前的代码如下所示（...

google-cloud-platform pipeline apache-beam dataflow apache-beam-pipeline

回答 3 投票 0

SSIS-优先约束编辑器-表达式

我创建了一个SSIS包，以从文件夹中选择平面文件并导入到SQL数据库。他们有5个遵循此命名方案的注释文件：ABS_Comment-name.txt我需要...

ssis dataflow foreach-loop-container

回答 2 投票 0

是否可以将复合触发器与带有数据流的微批处理结合使用？

我们有一个无界的PCollection PCollection 我们正在插入BigQuery的源。每50万条消息或五分钟触发Windows的一种简单的“按书预定”方法是：...

apache-beam dataflow

回答 1 投票 0

Apache Beam是否需要Internet才能运行GCP Dataflow作业

我正在尝试在可以访问GCP资源但不能访问Internet的GCP VM上部署数据流作业。当我尝试运行作业时，出现连接超时错误，这将使...

python google-cloud-platform offline apache-beam dataflow

回答 1 投票 0

数据流-未调用函数-错误-名称未定义

我正在Google Dataflow上使用Apache Beam，并且正在通过lambda函数调用函数情感，但出现错误，未定义函数名称。 output_tweets =（行...

python google-cloud-dataflow apache-beam dataflow

回答 1 投票 0

Beam JdbcIO.readAll似乎没有返回结果

我正在尝试使用Apache Beam建立事件的管道。我想做的是使用事件中的ID从GCP PubSub中读取流数据并从MySQL中读取相关元数据，然后将...

kotlin google-cloud-dataflow apache-beam dataflow

回答 1 投票 0

无法在colab中使用Dataflow下载c4数据集

我想下载c4数据集。按照说明页面：https：//www.tensorflow.org/datasets/catalog/c4，建议使用数据流。我按照此处介绍的步骤操作：https：// www ....

google-colaboratory apache-beam tensorflow-datasets dataflow

回答 1 投票 0

Azure数据流交叉连接

我有一个需要通过Azure数据流实现的要求。正如在输出中看到的那样，您可以在输出中看到我们可以轻松地在sql查询中使用交叉和拆分函数，但是相同...

azure azure-sql-database azure-data-factory-2 dataflow paas

回答 1 投票 0

数组中的个数

我正在尝试在Verilog中计算4位二进制数中的1，但是我的输出是意外的。我尝试了几种方法；这是我认为应该有效的方法，但事实并非如此。模块...

verilog hdl dataflow

回答 2 投票 2

是否有可能为Java中的每个pcollection编写而不中断行？

我刚刚开始使用Java SDK Apache Beam。由于需要编写文件时必须在元素上不间断行，因此我试图找到一种实现方法。从下面看，我有点类似，但是...

java apache-beam spring-cloud-dataflow dataflow apache-beam-io

回答 1 投票 0

我可以将数据流作业配置为单线程吗？

我正在尝试配置和部署真正是单线程的Cloud Dataflow作业，以避免在创建/更新数据存储区中的实体时出现并发问题。我当时的假设是...

google-cloud-platform concurrency pipeline dataflow single-threaded

回答 1 投票 0

dataflow 相关问题

最新问题