PDI缓慢加载到azure数据库中

Question

我安装了一个安装了Pentaho数据集成的Azure VM，我正在尝试构建一些从暂存区域加载维度模型的ETL，但是当我开始转换时，PDI加载到任何azure数据库的速度非常慢。

PDI可以在Azure数据库的云上工作吗？是否需要一些配置步骤来实现合理的加载速度？

PS：

• VM和数据库位于同一区域
• 有一个允许端口访问的防火墙规则
• 阅读速度很好
• PDI 8.1，使用表输出步骤

Answer 1

我一直遇到同样的速度问题，但我会告诉你我的解决方法。

首先：下载并安装最新的jdbc驱动程序，它可以让你获得与azure sql数据库的连接，在文档中链接是here，但我的方式是保持它从GitHub这里同步任何这将让你使用最新的驱动程序PDI。

第二种解决方法：对于大型文件，我发现最强大的是使用与PowerShell或Linux Batch集成的BCP Utility。不关心文件是本地还是天蓝色blob存储，但您可能需要凭据。

最后但并非最不重要：使用Azure Data Factory V2移动和加载文件（如果你像我一样，我试着将它保存在PDI中，直到我必须加载它，http get步骤将让你触发ADF管道）。

祝你好运，如果你得到它，请告诉我。