我有一个python脚本,它每10秒就会触及几十个API端点,将气候数据写入数据库。让我们说平均而言我从10个不同的线程每10秒插入1,500行。
我正在考虑制作一个批处理系统,插入查询不会在它们进入时写入数据库,而是添加到等待列表中,当列表达到一定大小时,该列表将被批量插入,并且当前列表清空。
每秒150个插入可能是数据库的负载,可能会影响性能。改变你的方法有利有弊。这里有一些要考虑的事情:
insert
非常简单。替代机制可能需要重新发明轮子。毫无疑问,还有其他一些考虑因素。
以下是一些可能的替代方法:
毫无疑问,还有其他方法。