AWS Lambda FastAPI 后台任务问题

Question

我有一个在 AWS Lambda 上运行的简单 FastAPI REST 服务器。它正在使用 AWS Kinesis Firehose 将日志写入 S3，批量为 20 个。

我有 2 个与后台任务相关的问题：

• 写入后台任务阻塞主线程。
• 如果少于 20 个事件到达，数据就会丢失，除非有持续的网络流量，否则我的写入任务不会完成，并且我的定期刷新后台任务会停止。

唯一可靠的选择是一次向 Firehose 发送 1 个事件，但这非常慢。我尝试了很多解决方法，但都遇到了问题。

用于批处理事件写入的 FastAPI 后台任务

我使用 Boto3 lib 将事件发送到 Firehose，这不是异步的。为了保持较低的延迟，我将事件放入事件队列中，并将 20 个事件批量写入 Firehose，每个批次都在 FastAPI 后台任务中运行。

也许BackgroundTasks 不是适合AWS Lambda 的工具？

阻止后台任务

为了防止在主线程中等待，我在普通函数中而不是异步中批量写入 Firehose。我可以看到批量写入正在与主线程分开的单独线程中运行。然而，在进行写入时，主线程中没有发生任何事情。

AWS Lambda 不活动时后台任务关闭

我还尝试让异步周期性后台任务每分钟唤醒一次，并刷新未达到批量写入 20 的事件。但是，除非端点有持续流量，否则此后台任务将关闭。此关闭还将阻止已启动的后台写入任务完成。

增加 AWS Lambda 中的 Uvicorn 工作人员数量？

一个可能的问题是 FastAPI 的服务器 Uvicorn 默认情况下仅运行 1 个工作线程。我还尝试找到一个地方来更改 Terraform 或 AWS 控制台中的 Unicorn 工作人员数量，但我还没有找到有关如何执行此操作的文档。我什至将内存大小增加到 1.8 GB，为我的 microVM 获取 2 个核心。

AWS Lambda 或 EC2 上的 FastAPI

我无法判断我的问题是否是一个小的配置错误，或者在静态 EC2 实例上运行 FastAPI 是否会更容易。 EC2 上的后台任务可能不会出现问题，但与 API Gateway 的集成可能会更困难。

Answer 1

经过大量实验，我找到了一个快速简单的解决方案：

• 使用同步事件处理程序
• 一次将事件发送到 AWS Firehose 1 个
• 避免 FastAPI 的后台任务
• 缓存AWS客户端，每次获取都很慢，Boto3不缓存

我的新同步事件处理程序

@app.post("/event/")
def post_sync(events: list[Event]) -> None:

AWS Lambda 的平均持续时间约为 20 毫秒。

原始批量异步事件处理程序

@app.post("/event_async/")
async def post_async(tasks: BackgroundTasks,  events: list[Event]) -> None:

AWS Lambda 的平均持续时间约为 20 毫秒。

尽管尝试了许多巧妙且复杂的策略，但我找不到清除杂散事件的方法。另外，一些 Firehose 写入后台任务在完成之前就关闭了。

同步或异步

FastAPI是一个ASGI（异步服务器网关接口）框架，所以我编写了一个异步处理程序。我认为 FastAPI 和 AWS Lambda 等两种超级流行的技术应该可以毫无问题地协同工作。但在 Lambda 上，您应该小心使用后台线程，包括 FastAPI 的 BackgroundTasks。无服务器应该是暂时的，而不是持续的。我与其他 AWS 用户讨论了我的问题。我的结论是，AWS 有一些特性，您只需要解决这些特性即可。