Kubernetes：AWS EKS：HELM：Promtail Grafana Loki Stack：存储优化

Question

对于 AWS EKS (1.26) 中的测试基础设施，我正在使用 Helm Charts 配置 Promtail Loki 和 Grafana Stack，但我发现存储日志有些困难，需要保留方面的帮助。

要求：

• 存储类型：Gp2
• 最大允许存储：105 GiB
• 每日日志存储：10-15 GiB（观察到）
• 保留：8天（之后所有日志都可以安全删除，需要删除）

我观察到 loki-0 pod 目录中的“/data”很快就被填满了。

用于配置堆栈的Helm命令：

helm upgrade --install loki grafana/loki-stack --namespace=loki --set grafana.enabled=true,\
prometheus.enabled=true,\
prometheus.alertmanager.persistentVolume.enabled=true,\
prometheus.server.persistentVolume.enabled=false,\
loki.persistence.enabled=true,\
loki.persistence.storageClassName=gp2,\
loki.persistence.size=105Gi,\
config.table_manager.retention_deletes_enabled=true,\
config.table_manager.retention_period=192h,\
loki.limits_config.max_entries_limit=15000,\
compactor.retention_enabled=true,\
compactor.retention_delete_delay=2h,\
compactor.compaction_interval=10m,\
compactor.retention_delete_worker_count=150

使用压缩器，我认为我可以减小索引的大小，但我需要知道如何在 8 天后释放存储空间，以便新日志可以进入。

我需要有关 8 天后日志清理的帮助，有什么方法可以微调存储使用情况，是否有任何配置错误或我缺少或需要添加任何 --set 标志？

Answer 1

在浏览了大量文档和网站后，我使用以下设置来简化部署：

我的用例的自定义 helm 值，即 loki-stack-values.yaml:

loki:
  config:
    limits_config:
      retention_period: 192h
      max_entries_limit_per_query: 50000
    compactor:
      retention_enabled: true
      retention_delete_delay: 12h
      compaction_interval: 12h
    table_manager:
      retention_deletes_enabled: true
      retention_period: 192h
    server: 
      grpc_server_max_recv_msg_size: 2147483648
      grpc_server_max_send_msg_size: 2147483648
      http_server_read_timeout: 3600s
      http_server_write_timeout: 3600s
      http_server_idle_timeout: 3600s
grafana:
  enabled: true
  sidecar:
    datasources:
      enabled: true
  image:
    tag: latest

并将其与我的 helm 安装命令一起使用：

$ helm upgrade --install loki grafana/loki-stack --namespace=loki --values loki-stack-values.yaml --set grafana.enabled=true,\
prometheus.enabled=true,\
prometheus.alertmanager.persistentVolume.enabled=true,\
prometheus.server.persistentVolume.enabled=false,\
loki.persistence.enabled=true,\
loki.persistence.storageClassName=gp2,\
loki.persistence.size=150Gi,\
loki.limits_config.retention_period=192h,\
loki.limits_config.max_entries_limit_per_query=50000,\
config.table_manager.retention_deletes_enabled=true,\
config.table_manager.retention_period=192h,\
loki.limits_config.max_entries_limit=50000,\
compactor.retention_enabled=true,\
compactor.retention_delete_delay=12h,\
compactor.compaction_interval=12h,\
compactor.retention_delete_worker_count=150