bigtable 相关问题

Bigtable是一个分布式存储系统(由Google构建),用于管理结构化数据,旨在扩展到非常大的规模:数千个商用服务器上的数PB数据。

何时使用 BigTableIO.write() API 与 CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn API

我看到两个可用于写入 GCP BigTable 的 API:BigTableIO.write() 与 CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn。我正在开发一个数据流管道来从一个 BigT 读取数据......

回答 2 投票 0

Bigtable 的最大行数限制

我需要在 Big Table 中存储大约 100 亿行。未来数据可能会增长到约 1000 亿。 我试图在此处的文档中找到最大信息,但没有这样的提示......

回答 0 投票 0

BigTable - 使用 Pyspark 的 HBase 连接器——java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/TableDescriptor

我正在尝试执行将数据帧写入 Bigtable 的 Pyspark 作业,但出现以下错误。 我在 Google Dataproc 集群上执行它 将数据写入 BigTable 的代码

回答 0 投票 0

是否可以通过 Python API 在 Bigtable 中获取多个列族/限定符组合?

我目前正在使用过滤器通过 Bigtable Python API 获取多个列限定符,例如: row_filters.ColumnQualifierRegexFilter("c1|c2") 列限定符只需要是 ...

回答 0 投票 0

bigtable 中的数据过滤

我的表包含 rowKey 和 2 列。 RowKey 看起来像 string#timestamp,第一列包含字符串值,第二列包含 json 作为字符串。 Query query = Query.create(bigTableTableN...

回答 1 投票 0

无法使用 Google CBT CLI 创建表 | rpc错误

我无法使用 Google CBT CLI 创建大表。请看下面—— $ cbt createtable 我的表 2023/02/19 12:22:41 -creds 标志未设置,将使用 gcloud 凭证 2023/02/19 12:22:43 创作

回答 0 投票 0

用python进行Bigtable数据建模和查询。

这是我第一次使用BigTable,我不知道是我不懂Bigtable建模还是不懂如何使用python库。关于我存储的东西的一些背景。我存储的是时间序列事件...

回答 1 投票 1

关于BigTable中实例数量的建议

关于BigTable中应该有多少个实例,有什么好的做法或建议吗?在这两种情况下,什么是好的做法? a) 有2个INSTANCES,每个Instance有2个集群......。

回答 1 投票 0

如何在HappyBase中用一个API调用来扫描行的集合?

我想扫描big -table中的id列表(或id的前缀)(使用python happybase) 有什么方法可以在服务器端做到这一点吗? 即在一个api调用中发送startstop行的列表,而不是...

回答 1 投票 0

如何在HappyBase中用一个API调用来扫描行的集合?

我想在一个大表中扫描一个ID列表 (或ID的前缀) (使用Python HappyBase). 有什么办法可以在服务器端实现吗?也就是说,我想发送一个要扫描的起始行列表......。

回答 1 投票 0

Bigtable Emulator & 使用Python的Google Discovery资源。

我试图在googleapiclient.discovery.Resource模块的python中使用bigtable仿真器。Bigtable仿真器运行在127.0.0.1:8086下面的post请求是由discovery发送的:http:/127.0.0......。

回答 1 投票 0

为什么说HBase的行是按词法排序存储的?

根据HBase的文档,同样按照Google BigTable论文中的参考,据说行的存储方式是行键的词法排序。可见,行 ...

回答 1 投票 1

BigTable节点的磁盘可以少于2.5TB吗?

在GCP用户界面中,我可以估算出我想使用的任何磁盘大小的价格,但是当我想创建我的BigTable实例时,我只能选择节点的数量,而且每个节点都带有......。

回答 1 投票 0

大表复制指南

根据Bigtable的文档。Bigtable允许读写操作以最短距离为基础。因此,它应该总是向最近的可用集群写入或读取,...

回答 1 投票 0

Bigtable性能基准测试

我找到了这个GitHub参考资料来测量Bigtable的写入性能- https:/github.comGoogleCloudPlatformcloud-bigtable-examplestreemasterjavasimple-performance-test 按照官方...

回答 1 投票 0

在Bigtable中插入行时如何设置列族

我想向Bigtable插入一行,我尝试了以下简单代码const rowToInsert = {key:`$ {tenantId}:$ {customerId}`,data:personalInfo};等待table.insert(rowToInsert);但出现错误...

回答 1 投票 1

[msck修复大表需要很长时间

我每天都将数据摄取到HDFS中。从数据到HDFS,我生成按日期和另一列划分的Hive表。一天有130G数据。生成数据后,我运行msck修复。现在...

回答 1 投票 1

从Google bigtable删除空行 的有效方法

我们已经为bigtable中的列设置了过期时间。在一段时间内,不保存任何数据(仅键)的行数增加了。我正在寻找删除这些空行的有效方法...

回答 1 投票 -1

R中有一种方法,如果满足另一列中的特定条件,则该列的值应为上面的值

我希望myrate列中的值成为myrate的第一个值应为卢比(减),而myrate列第二行的值应为myrate的第一个值(在第1点生成的值...

回答 1 投票 -1

[如何从bigTable获取数据时添加限制选项?有人可以在NodeJS中给我正确的语法吗

Currenlty,我正在这样做var [rowData] = await table.row(key).get({limit:2});仍然得到4个结果而不是2。

回答 1 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.