dataflow 相关问题

数据流编程是一种编程范例,其中计算通过有向图建模:节点是指令,数据通过它们之间的连接流动。

如何使用Power BI Dataflow中的实体自动更新SQL数据库表?

是否存在使用从不同数据源创建的实体自动更新现有Power BI数据流中的Azure sql表的步骤过程。换句话说,将power BI数据流用作...

回答 1 投票 1

我可以从Power BI数据流实体中自动刷新Azure SQL表吗?

我可以通过设置的网关连接用Power BI实体刷新SQL Azure表吗?实际上,我正在通过Power BI Dataflow自动刷新azure SQL表的过程...

回答 1 投票 0

SideInput I / O会降低性能

我正在使用Python SDK 2.15.0构建数据流管道。在此管道中,我需要在管道的多个阶段将附加数据连接到每个元素。所有这些附加数据都从...

回答 1 投票 0

如何在Apache Beam中将DoFn PTransform应用于PCollectionTuple

我正在尝试将PTransform应用于PCollectionTuple,但无法弄清编译器为何抱怨。我想这样做是为了将多个步骤抽象为一个PTransform ...

回答 1 投票 1

ADF数据流,将ForEach活动的@item()传递到接收器的设置(?)

在我的数据流中,我有很多场景,我只是将数据从一个数据库插入到另一个数据库中(两个表的名称都相同)。我想避免重复的操作,只使用...

回答 1 投票 0

ADF映射数据流,是否可以在源代码上执行SQL?

所以我继续将我可爱的SSIS包重写为ADF数据流。但是,在很多情况下,我有一些OLE DB Source,它带有相当复杂的SQL语句,后面跟着其他...

回答 1 投票 0

Python数据流DoFN类函数finish_bundle多次运行并提供空输出

我正在运行一个数据流管道,在该管道中,我必须将数据整理到一个Python数据帧中以用于下一步。因此,我使用DoFn类并定义__init__,process和finish_bundle函数...

回答 1 投票 0

Azure数据工厂:数据整理流程中未解析的数据集动态数据库表名称

我创建了一个DataSet,它指向数据库中的一个表。该表的名称设置为动态内容:@concat(dataset()。db_prefix,'_Baseline_CIs')。当检查``数据集...

回答 1 投票 0

从数据流管道的中间读取Bigtable数据

我有一个管道,该管道从pub sub接收一些数据,进行一些处理,并且需要根据该处理结果在Bigtable上处理所有数据。例如,我有一个发布子邮件...

回答 2 投票 2

想根据角色从Power BI数据流中获取数据

我已经在Power Bi服务中创建了数据流。现在,我的客户的要求是他们希望按照角色从数据流中获取数据。有一个已经定义了角色的用户表。...

回答 1 投票 0

服务帐户执行批处理数据流作业

我需要使用服务帐户执行数据流作业,我正在跟踪同一平台本身提供的非常简单和基本的单词计数示例。我收到的错误很奇怪:...

回答 1 投票 0

写入Avro文件时进行架构更新

[上下文:我们有一个数据流作业,可将PubSub消息转换为Avro GenericRecords,并将其以” .avro”形式写入GCS。 PubSub消息和GenericRecords之间的转换需要一个...

回答 1 投票 0

将Cloud SQL逐步递增到BigQuery

我需要针对我正在使用的一种使用案例的一些建议。用例:我们在Cloud SQL中有大约5到10个表的数据,其中一些被视为查找,而其他则被视为事务性。我们需要将其发送到...

回答 1 投票 1

将GenericRecords的pCollection写入Parquet文件的数据流

在apache beam步骤中,我具有KV >>>的PCollection。我想将可迭代的所有记录写到同一个Parquet文件中。我的代码...

回答 1 投票 0

Azure Data Factory Integration运行时将不会启动

我有一个Azure Data Factory Integration运行时无法启动的问题。当我触发管道时,我在Monitor中收到以下错误->管道运行“ InternalServerError执行请求” ...

回答 1 投票 0

字段a列与DataFlow中名称文件的子字符串

我想用文件名来命名一个列名ManagingCountryCode,这个列只存在于我的输出(BD)中,我试图这样做,但是总是错误的!我选择了一种存储方式...

回答 1 投票 0

Apache Beam File IO-监视文件修改

我有一个数据流组件,该组件监视文件夹中的新文件。除了发出新文件外,如果任何现有文件也被修改,我希望它发出。有没有办法实现...

回答 1 投票 0

Google Dataflow可以在未经许可的情况下写入任何地方

我创建了一个服务帐户,并将Dataflow开发人员角色,Compute Viewer角色和Storage Object Admin角色分配给了临时存储区。然后,我用管理员用户创建了另一个存储桶...

回答 2 投票 0

打破这个简单的“ while”循环的最佳位置在哪里?

在哪里打破while循环的理想位置?简单的控制台号码猜谜游戏。用户尝试3次猜测一个随机生成的数字。我的问题是,在第三次尝试时,如果猜测是...

回答 2 投票 0

Azure数据工厂映射数据流VS SSIS

这并不是真正的编码问题,因此希望在这里提问,否则我将删除我的帖子。我们最近已经迁移到云端,正在尝试ADF数据流。我期望它是一个...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.