在Azure数据工厂中提取数据时,我是否需要某种存储空间

问题描述 投票:0回答:1

*这里的数据新手*

[当前,要对从Dynamics 365提取的数据运行分析报告,我使用Power BI。问题在于,Power BI处理大数据的速度相当慢。我执行了许多转换步骤(例如,合并,联接,删除或重命名列等)。因此,当我尝试使用上述步骤在Power BI中运行查询时,需要很长时间才能完成。

因此,作为解决方案,我决定使用Azure数据工厂(ADF)。该计划是使用ADF从CRM(即Dynamics 365)中提取数据,执行转换并发布数据。然后,我将使用Power BI进行可视化分析。

我的问题是:除了Data Factory之外,我还需要什么Azure服务?我是否需要将从CRM中提取的数据存储在某个地方(例如Azure Data Lake或Blob存储)?还是可以在提取数据后立即进行转换?

起初,我以为我可以使用'复制'活动从CRM提取数据并开始处理数据。但是,使用复制活动,我需要提供一个接收器(数据的目标。它必须是某种存储形式)。我还认为,我可以利用“查找”活动。我尝试使用它,但出现错误(不生成异常消息)。

我已经在互联网上搜寻了类似的过程(例如Dynamics 365-> Data Factory-> Power BI,但是我找不到任何东西。

但是,我所见过的大多数过程都在数据摄取后立即利用某种数据存储。

欢迎所有回复。即使您相信我会采用错误的方式。谢谢。

azure-data-factory azure-data-factory-2
1个回答
1
投票

这里几件事:

  • 复制活动只是将数据从源移动到接收器。它不会即时修改它。
  • 查找活动只是为了寻找一些稍后在同一管道上使用的属性。
  • [ADF无法发布数据集来增强双向性(尽管它可能能够推送到流数据集)。

您的方法是正确的,但是您需要转换数据的最后一步。您在这里有很多选择,但是由于您已经熟悉Power Bi,因此可以使用Wrangling Dataflow,它允许您从数据湖中获取文件,应用一些power查询并将新文件保存在湖中。您也可以使用“映射数据流”,“数据块”或任何其他数据转换工具。

最后,您可以使用Power Bi从数据湖中提取文件,以使用该新文件上的数据进行报告。

当然,与Azure一样,有很多方法可以解决问题或提供架构师服务,这是我认为对您而言更简单的一种方法。

希望这有所帮助!

© www.soinside.com 2019 - 2024. All rights reserved.