Postgres 的 GCP Cloud SQL 查询日志记录

Question

我几周来一直在努力尝试获取 Cloud SQL Postgres 实例来执行任何类型的查询日志记录，但我只是没有取得任何进展。我意识到这应该是一个超级简单的练习，但我没有更多的解释可以给出，只是它似乎不起作用。

我尝试设置以下标志：

log_min_duration_statement

，值为 0、100、500 和 1000。

log_statement

，值为“ddl”、“mod”和“all”。

log_statement_stats

设置为“打开”。

我还尝试了此处列出的其他一些“可能的嫌疑人”：https://cloud.google.com/sql/docs/postgres/flags无济于事。

我什至尝试启用 pgaudit 日志，但这似乎没有做任何事情。

鉴于此，总是有可能记录这些数据，但我只是找不到它，所以在 stackdriver 中，我的过滤器是：

resource.type="cloudsql_database"
resource.labels.database_id="<<project-name>>:<<instance-name>>"

这显示了数据库上发生的任何错误，例如查询不存在的表，或尝试比较两种不同的数据类型，但没有任何类型的查询。

我什至扫描了我们所有的日志：

textPayload:"select"

这也没有出现任何结果。

任何建议、提示或技巧将不胜感激！

编辑：附加信息。

我正在测试的实例如下图所示：

我能够在我的所有模式上创建 pgaudit 扩展，没有任何错误。 psql 客户端只是回显“CREATE EXTENSION”。

我正在使用私有 IP 从 GKE 环境连接到实例，并且我的应用程序运行 DDL 和 DML 语句。

这是我在云控制台的访问部分中为云 SQL 启用的“审核日志”的图像：

这是我用于负载测试的全新实例，因此每天早上我都会使用 terraform 脚本创建一个新实例，以下是相关资源：

resource "google_sql_database_instance" "loadtesting_postgres_master" {
   database_version = "POSTGRES_12"
   name             = "loadtesting-test-instance-12"
   project          = "${var.projectId}"
   region           = "${var.region}"

   depends_on = ["google_service_networking_connection.private_vpc_connection"]
   deletion_protection = false

   settings {

activation_policy = "ALWAYS"
availability_type = "ZONAL"

backup_configuration {
  binary_log_enabled             = "false"
  enabled                        = "true"
  location                       = "eu"
  point_in_time_recovery_enabled = "true"
  start_time                     = "03:00"
}

disk_autoresize        = "false"
disk_size              = "1000"
disk_type              = "PD_SSD"

ip_configuration {
  ipv4_enabled    = "true"
  private_network = "projects/my-project-name/global/networks/loadtesting-vpc"
  require_ssl     = "false"
}

location_preference {
  zone = "${var.region}"
}

maintenance_window {
  day  = "7"
  hour = "0"
}

pricing_plan     = "PER_USE"
tier             = "db-custom-8-15360"
  }
}

实例启动后，我手动添加您推荐的两个标志，一次一个。

在我的每个模式上手动创建 pg 审核扩展，并开始运行我的测试。

仍然没有任何内容登录到 stackdriver。

Answer 1

所以看起来您需要启用

pgaudit

标志。 （目前处于测试阶段）

总结一下链接：

INSTANCE_NAME=sql-playground
gcloud sql instances patch $INSTANCE_NAME --database-flags cloudsql.enable_pgaudit=on`
gcloud sql connect $INSTANCE_NAME

进入数据库后，运行以下命令：

> CREATE EXTENSION pgaudit;

然后回到 gcloud land：

gcloud sql instances patch $INSTANCE_NAME --database-flags \
  cloudsql.enable_pgaudit=on,pgaudit.log=all

需要重新启动一两次，中间需要一些时间，但我确实让它记录了语句：

当然，在生产环境以及 PII 数据等方面要小心

Answer 2

请考虑到您需要启用 数据访问审核日志，但日志仅写入到 Cloud Logging 如果操作是经过身份验证的用户驱动的 API 调用。

尽管该产品仍处于 Pre-GA 产品条款中，但我建议您测试

pgaudit

扩展，如公共文档相关部分中所述。步骤非常简单，您应该这样做：

通过发出
1. gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on

    在实例上启用相关标志。

通过具有 cloudsqlsuperuser 角色的用户通过 psql 客户端登录实例，使用命令在实例（或特定数据库）内创建扩展：
2. CREATE EXTENSION pgaudit;
设置 pgaudit.log 标志的值（例如，打开实例内的所有数据库操作：
3. gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on,pgaudit.log=all

   ）。

请注意，根据数据库接收的负载，启用这些标志可能会导致

CPU 和内存过载，因此根据当前负载过度配置分配给实例的层可能是明智之举，并且启用此类日志可能会导致计费增加，因为您可以在 cloudaudit.googleapis.com/data_access

单独收费的数据访问审核日志中看到日志。

Answer 3

您可能还需要考虑验证您的用户是否具有

roles/logging.privateLogViewer

“私人日志查看者”角色。根据

https://cloud.google.com/logging/docs/access-control#considerations：

roles/logging.privateLogViewer (Private Logs Viewer) includes roles/logging.viewer, plus the ability to read Access Transparency logs and Data Access audit logs in the _Required and _Default buckets. 我们花了很长时间才弄清楚为什么我们自己看不到这些日志，最终发现“日志查看者”角色不足以读取这些数据访问日志。

Answer 4

我已在 Postgres 服务上从 GCP 控制台启用了以下标志，现在能够生成所有类型的数据库活动/查询日志

cloudsql.iam_authentication
on
pgaudit.log
all
log_statement
all