当我为近50,00,000条记录触发select查询时,我收到超时错误。
我已经完成了服务器超时但没有工作。我已经在sequlizeJs中完成了池方法但是没有用。
function fetchNamesData(req, name) {
return new Promise((resolve, reject) => {
const names = req.app.locals.models.names_data;
names.findAll({
where: {
name: name
},
order: [['date', 'DESC']],
limit: 50
})
.then(function (dbRes) {
console.log(dbRes.length);
resolve(dbRes);
})
.catch(function (dbErr) {
console.log(dbErr);
return reject(dbErr);
});
});
}
allNames.forEach(element => {
//console.log(element.dataValues.name);
fetchNamesData(req, element.dataValues.name).then((dbRes) => {
//here I will have all the records
}).catch((dbErr) => { console.log(dbErr) });
var allNames = {有近7000个名字}现在我迭代这个obj,每个名字在数据库中都有50条记录我希望得到所有记录,如50 * 7000 = 3,50,000。
在你的情况下会发生什么:
循环遍历7000个名称并同时在mySql中命中7000个查询,而mysql将创建队列以同时执行7000个查询,从而导致计算机上的负载。您可以更新配置以处理此类负载OR
解决方法:尝试在每个查询中放置一些超时b / w,这样您就可以获取更多记录,
allNames.forEach(element => {
setTimeout(() => { // <----------- HERE -------------
fetchNamesData(req, element.dataValues.name).then((dbRes) => {
//here I will have all the records
}).catch((dbErr) => {
console.log(dbErr)
});
},500); // <----------- HERE -------------
});
我找到了解决方案 - 删除不需要的console.log()和 - 您的硬件配置也取决于它的超时错误。 - 当查询触发时不启动或运行任何其他工作,它将导致超时错误[当有多个crud操作正在进行时]。 - 当在where子句中使用特定字段时,也为表字段提供索引。