自动缩放的负载减少和速率限制(API 节流)

问题描述 投票:0回答:1

如果我们已经通过 K8s/Serverless 实现了自动缩放,我们是否还需要考虑实施减载和速率限制?

kubernetes autoscaling rate-limiting
1个回答
0
投票

正如@David Maze 在评论中提到的那样,是的;取决于管理负载或流量。有时我们需要使用自动缩放来实现减载和速率限制(API 节流)。

以下信息来源于Vikas Kumar写的文档

自动缩放

它有它的用武之地,但在处理过载情况方面存在不足。当传入流量逐渐增加时,自动缩放效果最佳。当流量突然增加时,它通常反应不够快。

减载

管理过载的一种有效技术是减载。与其尝试接受和处理每一个请求,不如及时接受您可以处理的内容并拒绝多余的请求。这里的关键思想是优雅降级。当退化时,最好熬夜做一些有用的工作,而不是在试图完成所有工作的压力下崩溃。

速率限制

每秒限制请求。速率限制在某些情况下很有用,例如基于每个客户端的速率限制以防止单个恶意客户端。然而,作为一种保护服务免受过载的负载卸载机制,它并不是非常有效。

速率限制可以在所有请求的请求处理时间始终稳定的理想场景中工作,这与现实相差无几。当服务降级时,速率限制机制可以发送比服务能够处理的更多请求,从而导致过载。

参见 Cooper Bethea、Gráinne Sheerin、Jennifer Mace 和 Ruth King 与 Gary Luo 和 Gary O'Connor 的管理负载或流量由 O'Reilly Media 发布 了解更多信息

© www.soinside.com 2019 - 2024. All rights reserved.