每天自动更新数据库的最佳实践?

问题描述 投票:0回答:1

我有一个原始源,源A,我从中获取数据。我正在重新格式化和过滤来自源A的数据,并将其存储在源B中。

我已经使用使用源B的Node / Express创建了REST API。>

来源A每天更新一次。我想以相同的速度更新源B

。最好的方法是什么?

到目前为止的想法:

  1. 对于返回到服务器的每个API调用,在返回数据之前,请检查数据是否在一天之内进行了最后更新。如果不是,则更新数据并发送。这意味着每天一个API调用将非常慢。
  2. 执行Cron计划
  3. 我想知道是否还有更多方法可以进行比较,我想对不同方法进行比较吗?我也想请你们中的某人在生产中做类似的事情,什么方法有效?

注意:在我的情况下,源A是github存储库上的CSV文件,源B是MongoDB集合。

我有一个原始来源,来源A,我从那里获取数据。我正在重新格式化和过滤来自源A的数据,并将其存储在源B中。我已经使用Node / Express创建了REST API ...

node.js mongodb express cron
1个回答
0
投票

您可以在这里实现的最佳情况是,只要更新github CSV文件,MongoDB集合就会自动更新。如果您可以将作业执行与触发CSV上传的任何事件挂钩,那么您将大放异彩。如果必须检查github,请查看github hooks,看看是否可以将工作负载订阅到其中一个事件中]

© www.soinside.com 2019 - 2024. All rights reserved.