*这里的数据新手*
[当前,要对从Dynamics 365提取的数据运行分析报告,我使用Power BI。问题在于,Power BI处理大数据的速度相当慢。我执行了许多转换步骤(例如,合并,联接,删除或重命名列等)。因此,当我尝试使用上述步骤在Power BI中运行查询时,需要很长时间才能完成。
因此,作为解决方案,我决定使用Azure数据工厂(ADF)。该计划是使用ADF从CRM(即Dynamics 365)中提取数据,执行转换并发布数据。然后,我将使用Power BI进行可视化分析。
我的问题是:除了Data Factory之外,我还需要什么Azure服务?我是否需要将从CRM中提取的数据存储在某个地方(例如Azure Data Lake或Blob存储)?还是可以在提取数据后立即进行转换?
起初,我以为我可以使用'复制'活动从CRM提取数据并开始处理数据。但是,使用复制活动,我需要提供一个接收器(数据的目标。它必须是某种存储形式)。我还认为,我可以利用“查找”活动。我尝试使用它,但出现错误(不生成异常消息)。
我已经在互联网上搜寻了类似的过程(例如Dynamics 365-> Data Factory-> Power BI,但是我找不到任何东西。
但是,我所见过的大多数过程都在数据摄取后立即利用某种数据存储。
欢迎所有回复。即使您相信我会采用错误的方式。谢谢。
这里几件事:
您的方法是正确的,但是您需要转换数据的最后一步。您在这里有很多选择,但是由于您已经熟悉Power Bi,因此可以使用Wrangling Dataflow,它允许您从数据湖中获取文件,应用一些power查询并将新文件保存在湖中。您也可以使用“映射数据流”,“数据块”或任何其他数据转换工具。
最后,您可以使用Power Bi从数据湖中提取文件,以使用该新文件上的数据进行报告。
当然,与Azure一样,有很多方法可以解决问题或提供架构师服务,这是我认为对您而言更简单的一种方法。
希望这有所帮助!