我在 EC2 nano 中设置了一个端点，该端点主要从我的 mongodb 获取并提取相关数据，将其转换为 Excel 文件，并以 url 响应该 excel 文件。
我现在面临的问题是，如果我从 mongodb 获取大量数据，服务器就会崩溃，响应为 502。我能想到的一个快速修复是将服务器更改为 EC2 宏，但这将是一个临时修复。
考虑到不可能升级服务器，是否有更好的方法来处理此类处理。
我尝试过使用 ETL 和 kafka 来分块发送数据进行处理，但我不知道如何准确地实现工作流程。
如果您想保持相同的处理能力，您确实必须限制服务器在给定时间处理的最大数据量。通常一个好的 API 会引入分页。您对 MongoDB 的查询始终返回相同的行数并接受偏移量作为输入，以便您可以逐页浏览数据。
您还可以按照您的建议在后台实施转换，这样您就不会一遍又一遍地将数据转换为 Excel。您可以使用 AWS Batch 或 AWS Glue 并安排定期转换。不过，您将遇到相同的容量问题（即正确调整您的任务或工作的大小以处理最大情况或以一种或另一种方式分页）。