基于BigTable在BigQuery中创建外部表

Question

我在 BigTable 中有数据，想要对质量进行一些检查。

如何使用 SQL 在 BigQuery 中创建（外部）表来执行这些检查。

Answer 1

一如既往，细节决定成败。

• 确保 bigtable_options 中的最后一行或其中一个字典中的最后一行，末尾没有逗号
• 确保在“家庭”列中正确设置

  type

  和

  encoding

  。现在我正在使用默认值。
• 确保检查文档。请参阅代码下方的链接。

您可以按如下方式创建外部表：

CREATE EXTERNAL TABLE `your_project.your_dataset.your_table_name_bigtable_external_table`
OPTIONS (
  format = 'CLOUD_BIGTABLE',
  uris = ['https://googleapis.com/bigtable/projects/your_project/instances/your_instance_in_bigtable/tables/your_table_in_bigtable'],
  bigtable_options =
    """
    {
      columnFamilies: [
        {
          "familyId": "name_of_your_column_family",
          "onlyReadLatest": true,
          "columns": [
            {
              "qualifierString": "your_column_name",
              "fieldName": "your_column_name_if_it_contains_illegal_bq_characters"
            }
          ]
        }
      ],
      readRowkeyAsString: true
    }
    """
);

SELECT 
    *
FROM
    `your_project.your_dataset.your_table_name_bigtable_external_table`
LIMIT 100;

有关如何创建和查询bigtable外部表的信息：
https://cloud.google.com/bigquery/docs/create-bigtable-external-table#create-external-table

有关

bigtable_options

的信息可以在这里找到：
https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#bigtableoptions

有关选项

columnFamily

的信息可以在这里找到：
https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#bigtablecolumnfamily

有关家庭专栏

columns

的信息可以在这里找到：
https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#bigtablecolumn

相关问题：

• GCP - BigTable 到 BigQuery
• GCP 将 Bigtable 数据移动到 BigQuery