BigTable 适合频繁插入单行吗?

问题描述 投票:0回答:2

我们有一个流解决方案,它从 pubsub 主题获取消息,并使用 DataFlow 将每条消息流式传输到 BigQuery 表中。这是 BigQuery 的一个非常合适的用例。

我们还希望获取这些消息的子集并将其在 BigTable 中提供。我的想法是,我们可以使用云函数从 pubsub 主题中读取每条所需的消息,然后调用 BigQuery API 将一行插入到 BugTable 中。我们每小时有数百条这样的消息。

我的问题是,多次调用 BigTable API,每次插入一行是否合适?难道我的想法全错了?

google-cloud-bigtable bigtable
2个回答
0
投票

根据问题下面的评论,OP 在公共 GCP 文档中找到了答案。

看来BigTable确实支持单行写入。这些文档包括多种编程语言的示例,例如 Golang、PHP、Python、Java、Node.js、HBase、C#、C++ 和 Ruby。


0
投票

是的。事实上,Bigtable 比 BigQuery 更适合这种类型的写入模式。您可以使用单个 Bigtable 节点每秒写入一万多条此类消息,并构建每秒执行数百万次写入的集群。

© www.soinside.com 2019 - 2024. All rights reserved.