从第三方存储迁移大量记录 (10000-30000) 的 Salesforce 数据的最佳实践是什么？

Question

我们目前正在尝试每天移动平均 1000-3000 个报价，每个报价大约有 10 个报价行（10000-30000 条记录）。

我们目前正在利用 REST 调用来更新 Salesforce 中的这些对象。然而，对于如此大量的数据，日常处理是不可行的。

我们正在考虑使用批量 API，因为这可以处理我们拥有的数据大小，但是对于如此大的数据的处理时间存在担忧。批量 API 仅承载 60,000 毫秒的处理时间。

是否有其他方法（除了批量 API）我们可以每天有效地迁移这么多数据？

此处需要注意的是，目前这些记录均未存储在 Salesforce 中。我们必须调用 API 才能从第三方存储接收这些数据。以下是从这些 API 调用获取 JSON 对象的示例：

"data":{ 
"id":"f1b34d84-260d-4f41-b164-a53d5ffbb4e2", 
"idhId":"f1b34d84-260d-4f41-b164-a53d5ffbb4e2", 
"QuoteID":"37d364bc3adde81180d6000d3a14a2jx", 
"QuoteNumber":"JD181000ZLA", 
"QuoteVersion":"0", 
"DateCreatedUTC":"2018 
05 
14 
 
T14:02:41Z", 
"Project":"Builders", 
"DealerCustomerNumber":"057856", 
"QuoteStatus":"15", 
"DealerEndCustomerNumber":"057856", 
"QuoteType":"DealerQuote", 
"QuoteLine":[ 
{"QuoteID":"37d364bc-3add-e811-80d6-000d3a14a2fg", 
 "LineNumber":"1", 
 "QuoteLineID":"38d364bc3adde81180d6000d3a14a2cb", 
 "PricingGroup":"VBLDRSPD", 
 "QuantityQuoted":"3", 
 "NetPrice":"0", 
 "ListPrice":"0", 
 "GenericDescription":"Sliding Door", 
 "QuoteLineAttribute": 
[ 
{"AttributeName":"pr-line-mkt", 
                "AttributeValue":"BV", 
    "PickCode":"pick code value", 
    "idhId":"d43b2de2-0608-4001-8397-f10d1fedaa4a", 
    "id":"d43b2de2-0608-4001-8397-f10d1fedaa4a" 
}, 
{"AttributeName":"impact", 
    "AttributeValue":"", 
    "idhId":"9da3e8b7-0f6d-41e4-be9c-d6c45934ceda", 
    "id":"9da3e8b7-0f6d-41e4-be9c-d6c45934ceda" 
}, 
{"AttributeName":"fne", 
    "AttributeValue":"W", 
    "idhId":"c3ea1bef-4cf8-4b9e-b562-a54cf69f391f", 
    "id":"c3ea1bef-4cf8-4b9e-b562-a54cf69f391f" 
}, 
{"AttributeName":"fni", 
    "AttributeValue":"W", 
    "idhId":"5175ee7a-ac6c-40a1-8959-d448ea3c842e", 
    "id":"5175ee7a-ac6c-40a1-8959-d448ea3c842e" 
}, 
{"AttributeName":"grid", 
    "AttributeValue":"Z", 
        "idhId":"22a516b0-16f8-4865-85c0-65777423f36f", 
        "id":"22a516b0-16f8-4865-85c0-65777423f36f" 
} 
], 
"idhId":"fdf116a2-496c-4cd7-bcff-9a45ca6f26aa", 
"id":"fdf116a2-496c-4cd7-bcff-9a45ca6f26aa" 
       }], 
 "DealerNetPrice":"1987.752", 
 "SubmitterEmail":"[email protected]" 
}, 

我们当前的流程使用 10,000 毫秒（有时 15,000 毫秒），并且仅拉入约 50 条报价，每条约 10 条报价行（550 条记录）。

Answer 1

您是否尝试过将多个数据元素放入同一个有效负载中？说 - 就像使用curl一样：

curl -X POST -d'{ “数据” ： { ... }, “数据” ： { ... } }' -H '内容类型：application/json' http://theurl.com