我们有 terraform 资源来创建“google bigquery sink v2”kafka 连接器吗

Question

我们是否有 terraform 资源来创建“google bigquery sink v2”kafka 连接器，用于将 kafka 主题写入 bigquery。或者是否有其他方法可以自动化此过程？

我搜索了 confluence 文档和 terraform 文档，但没有提到此连接器。 https://github.com/confluenceinc/terraform-provider-confluence/blob/master/examples/configurations/connectors

我可以使用 https://registry.terraform.io/providers/confluenceinc/confluence/latest/docs/resources/confluence_custom_connector_plugin

同样吗？

Answer 1

您主要可以使用 confluence/terraform 文档提供的示例，并将其更改为与 BigQuery Sink Connector Sink V2 匹配的格式。
请关注this官方文档，该文档提供了 BigQuery Sink Connector Sink V2 的服务帐户凭据的 JSON 格式。

这是我写的一个适合我的简短示例，环境/集群/...名称作为汇合文档示例：

resource "confluent_connector" "bigquery-sink" {
  environment {
    id = confluent_environment.staging.id
  }
  kafka_cluster {
    id = confluent_kafka_cluster.basic.id
  }

  
  config_sensitive = {
    "keyfile" = file(var.gcp_credentials)
  }

  
  config_nonsensitive = {
    "topics"                   = confluent_kafka_topic.orders.topic_name
    "data.format"              = "AVRO"
    "connector.class"          = "BigQueryStorageSink"
    "name"                     = "confluent-bigquery-sink"
    "kafka.auth.mode"          = "SERVICE_ACCOUNT"
    "kafka.service.account.id" = confluent_service_account.app-manager.id
    "project"                  = var.gcp_project
    "datasets"                 = var.gcp_dataset
    "tasks.max"                = "1"
    "auto.create.tables"       = "true"
  }
}