将 Salesforce 数据拉入 Azure

Question

要求是将少量 Salesforce 对象复制到 Azure 数据湖中。由于我是 Azure 的新手，有人可以帮助我使用将数据从 salesforce 提取到 azure 数据湖所需的工具或连接吗？我需要实时处理

Answer 1

您可以使用 Azure 数据工厂将数据从 salesforce 复制到 Azure 数据湖。

Azure 数据工厂是基于云的 ETL 和数据集成服务，允许您创建数据驱动的工作流，以大规模编排数据移动和转换数据。使用 Azure 数据工厂，你可以创建和调度数据驱动的工作流（称为管道），这些工作流可以从不同的数据存储中提取数据。您可以构建复杂的 ETL 流程，通过数据流直观地转换数据

在 Azure 数据工厂中，使用管道中的复制数据活动并将源连接到 salesforce 连接器，接收器连接到 Azure 数据湖存储连接器。

参考：从 salesforce 复制数据

1. 创建一个

   pipeline

   并向其添加

   Copy Data

   活动。提供源和接收器（目标）数据存储连接以复制数据。

2. 对于源，创建与 salesforce 作为数据存储的链接服务连接并提供详细信息。

3. 对于接收器，使用数据湖存储作为数据存储创建一个新的链接服务，并提供连接详细信息。

4. 连接和映射设置完成后，您可以通过在debug模式下运行来测试它。

5. 您还可以通过将 trigger 添加到管道来运行它。

6. Azure 数据工厂根据需求提供各种触发选项。您可以安排它们根据要求运行。

Answer 2

更多详情请参阅此链接 - https://learn.microsoft.com/en-us/azure/data-factory/connector-salesforce?tabs=data-factory 当然！要将数据从 Salesforce 复制到 Azure Cloud，可以使用 Azure 数据工厂或 Azure Synapse Analytics。 按照以下步骤操作：

创建到 Salesforce 的链接服务：

• 在 Azure 数据工厂或 Synapse 工作区中，转到“管理” 选项卡。
• 选择链接服务并单击新建。
• 搜索 Salesforce 并选择 Salesforce 连接器。
• 配置服务详细信息、测试连接并创建 新的链接服务1.

使用复制活动：

• 通过管道，您可以使用以下工具或 SDK 之一：

复制数据工具 Azure 门户 Python SDK Azure PowerShell 休息API Azure 资源管理器模板1。

支持的功能： 新的 Salesforce 连接器提供改进的本机 Salesforce 支持。 支持的功能包括：

• 复制活动（源/接收器）
• 查找活动
• Azure 集成运行时
• 自托管集成运行时

此连接器支持 Salesforce Developer、Professional、Enterprise 或 Unlimited 版本。 您可以将数据从自定义域复制到自定义域（在生产环境和沙箱环境中配置）。 将数据复制到 Salesforce 时，连接器使用 BULK API 2.01。

先决条件： 必须在 Salesforce 中启用 API 权限。 在 Salesforce 门户中配置连接的应用程序。 执行用户必须具有 API Only 权限。 可以通过会话策略而不是刷新令牌来更改访问令牌过期时间1。

Salesforce Bulk API 2.0 限制： 批次是在 Bulk API 2.0 中自动创建的。 每个滚动 24 小时期间最多可以提交 15,000 个批次。 仅摄取作业消耗批次；查询作业则不然1。 请记住在 Salesforce 中设置必要的权限和配置，您将能够在 Salesforce 和 Azure Cloud 之间高效复制数据！