在 Google Cloud 上进行访问日志每日聚合的经济有效的方法

问题描述 投票:0回答:1

我正在努力聚合 Google Cloud 中的负载均衡器访问日志,以构建跟踪每日指标的数据集。具体来说,我需要记录每个端点的请求数以及每天访问这些端点的唯一 IP。

虽然 Google Cloud 的 Log Analytics 工具提供了对这些数据的访问,但它似乎缺乏 API 支持,这导致无法自动执行这些查询以进行日常聚合。这对于成本效益至关重要,因为直接存储大量访问日志的成本很高。

有谁知道一种经济高效的解决方案或替代方法来自动执行这些指标的日常聚合,而不会产生高昂的存储成本?

google-cloud-platform logging aggregation
1个回答
0
投票

您可以在 BigQuery 中创建链接数据集,然后每天使用它来查询您的数据(通过聚合)。通常,在 BigQuery 中使用计划查询。

但是,您需要首先将日志存储在 Cloud Logging 中,以便可以在 BigQuery 中查询。

当然,您可以使用保留几天的自定义日志存储桶来限制存储大小,但是此存储桶中的日志处理和存储是要计费的(而且是最昂贵的部分)

© www.soinside.com 2019 - 2024. All rights reserved.