MongoDB查询从Heroku上的Node.js应用程序开始需要2-3秒

Question

我遇到MongoDB的主要性能问题。简单的find（）查询有时需要2,000-3,000毫秒才能在少于100个文档的数据库中完成。

我在MongoDB Atlas M10实例以及我在具有4GB RAM的VM上在Digital Ocean上设置的集群中都看到了这一点。当我在Heroku上重新启动我的Node.js应用程序时，查询表现良好（小于100毫秒），持续10-15分钟，但随后它们变慢。

我是否错误地连接到MongoDB或从Node.js错误地查询？请参阅下面的应用程序代码。或者这是共享VM环境中缺少硬件资源？

任何帮助将不胜感激。我已经完成了解释查询和Mongo shell的所有故障排除。

var Koa = require('koa'); //v2.4.1
var Router = require('koa-router'); //v7.3.0

var MongoClient = require('mongodb').MongoClient; //v3.1.3

var app = new Koa();
var router = new Router();

app.use(router.routes());

//Connect to MongoDB
async function connect() {
    try {
        var client = await MongoClient.connect(process.env.MONGODB_URI, {
            readConcern: { level: 'local' } 
        });
        var db = client.db(process.env.MONGODB_DATABASE);

        return db;
    }
    catch (error) {
        console.log(error);
    }
}

//Add MongoDB to Koa's ctx object
connect().then(db => {
    app.context.db = db;
});

//Get company's collection in MongoDB
router.get('/documents/:collection', async (ctx) => {
    try {
        var query = { company_id: ctx.state.session.company_id }; 

        var res = await ctx.db.collection(ctx.params.collection).find(query).toArray();

        ctx.body = { ok: true, docs: res };
    }
    catch (error) {
        ctx.status = 500;
        ctx.body = { ok: false };
    }
});

app.listen(process.env.PORT || 3000);

UPDATE

我正在使用MongoDB Change Streams和标准的Server Sent Events来为应用程序UI提供实时更新。我关闭了这些，现在MongoDB似乎再次表现良好。

MongoDB Change Streams是否会影响读/写性能？

Answer 1

更改流确实会影响服务器的性能。正如this SO question所述。

正如那里的accepted answer所提到的，

MongoDB的Node.js客户端中的default connection pool size是5.由于每个更改流游标都打开一个新连接，因此连接池必须至少与游标数一样大。

const mongoConnection = await MongoClient.connect(URL, {poolSize: 100});

（感谢MongoDB Inc.调查this issue。）

您需要增加池大小才能恢复正常性能。

Answer 2

我建议你做更多的日志工作。重启一段时间后查询速度慢可能比您想象的要糟糕。

对于在普通计算机上运行的现代数据库/ Web应用程序，如果您做得正确，遇到性能问题并不容易。可能存在内存泄漏或其他未发布的资源或网络拥塞。

恕我直言，您可能想先确定它是否是网络问题，并通过启用MongoDB上的慢查询日志并登录查询开始和结束的代码，您可以实现此目的。

如果网络完全正常并且您没有看到MongoDB慢查询，则表示您自己的应用程序出现问题。详细的日志记录可能真的有助于查询变慢。

希望这会有所帮助。