partitioning 相关问题

分区是一种性能策略,您可以将可能非常大的数据组划分为一些较小的数据组。

划分相似度矩阵

考虑一组集合列表

回答 1 投票 0

我如何减少或有必要减少Cassandra中大量数据的分区数量?

我估计有5亿行数据具有500万个唯一数字。我的查询必须按数字和event_date获取数据。数字作为分区键,将有500万个分区。我认为不是...

回答 1 投票 0

使用Microsoft sql服务器中的分区方案查找最近6个月的付款

这是该帖子的后续内容。我现在要做的是总结过去6个月的付款总额。例如,我们有这笔贷款,您可以看到他们在...

回答 2 投票 0

减少Spark作业从s3读取时的分区数

我有一个AWS Glue ETL作业,该作业从s3中读取实木复合地板,然后再次以实木复合地板格式将其写入s3。 val res = gumContext .getSourceWithFormat(connectionType =“ s3”,...

回答 1 投票 0

java.lang.RuntimeException:org.apache.hadoop.hive.ql.parse.ParseException:行无法识别'date_format''('''DATE_SUB'常量附近的输入

我的配置单元查询如下。 ALTER TABLE staging_customer360.buswspr_dly_rate_plan_chng_orc DROP PARTITION(part_load_month_year> = date_format(DATE_SUB('2020-05-01',760),'yyyy-MM'));这是...

回答 1 投票 0

Spark中的分区和分区

Spark中的partiton和partitionby有什么区别?例如,这里发生了什么? JavaPairRDD ,row> rddH = rddHB.partitionBy(new org.apache.spark ....

回答 1 投票 -1

无法查看已创建的分区

我能够使用分区创建表Employee(PRIMARY KEY(dateofbirth,姓,名),dateofbirth日期,姓varchar(20),名字varchar(20)不为null来创建表…

回答 2 投票 0

根据SQL Server中的“捕获日期”查找“ MTD_Days_Worked”的总数

我想根据下表清楚地问我的问题:必需的表,Employee_Working_Table:表说明:该表显示了员工的每月工作数据(有意...

回答 1 投票 1

[0,1]的间隔分区

嘿,我想在[Python 3]中将[0,1]划分为长度为0.05的相等分区。

回答 1 投票 -1

DeltaTable更新分区列值并删除旧的Blob分区?

我正在使用此处描述的Python中的merge命令更新Delta表。该表已经被“ Number”列预先分区,但是这些是我实际上正在更新的值。所以...

回答 1 投票 0

按字符串划分BigQuery

我有一个数据集,我试图在BQ中为其创建一个表,我想通过一个类似于“ Mar1998”的“ yearmonth”字段对它进行分区。这些月份中有80个月,它们使我的660M崩溃了……

回答 1 投票 0

找到同一组两个分区之间所有不同交点的Python高效方法

我需要找到同一集合的两个分区之间的所有不同交集。例如,如果我们有以下两个具有相同集合的分区x = [[1,2],[3,4,5],[6,7,8,8,9,10]] ...

回答 1 投票 0

无法通过Spark查询分区数据上的BigQuery外部表

我试图在由Spark作业写入的GCS中的分区数据上创建一个外部表,并以PARQUET格式对日期进行分区。数据是GCS桶如图所示。我...

回答 1 投票 0

为什么我的3分区问题未能通过给定的测试用例? (3-分区问题)

参考以下内容:3-PARTITION问题有人可以解释一下为什么在R. Gurung的cpp解决方案中我们从总和开始j和k的循环吗?如果从0开始循环,该怎么办?我...

回答 1 投票 -1

我如何在AWS ec2上增加ebs分区的卷大小?

当我在某个分区上(在aws-ec2实例上)部署应用程序时,出现致命错误,我在此块上没有空间,设备上没有剩余空间。如何在...

回答 2 投票 1

我应该基于什么来决定给定表的最佳散列分区数?

例如,我想创建一个哈希分区表,如下所示:CREATE TABLE partition_table(some_id INT NOT NULL)PARTITION BY HASH(some_id);我首先创建4个分区...

回答 1 投票 0

如何在Linux Centos 7.7(AltArch)中的/ dev / root中增加可用的文件系统大小?

我正在运行CentOS 7.7的全新安装。在我的Raspberry Pi 3上,不幸的是,在安装yum软件包时,我的大小用完了:[root @ centos7〜]#df -h使用的文件系统大小可用...

回答 1 投票 0

测试Postgres表分区的HASH函数

我正在使用Postgres 11,并且希望在主键为UUID的表上使用哈希分区。我了解我需要预先选择多个分区,并且...

回答 1 投票 0

尝试在Prolog中实现分区谓词

我正在尝试在序言中实现一个分区谓词,该谓词将列表分成其前缀和后缀part(L,P,S),其中前缀和后缀的定义如下:prefix(P,L):-append(P, _,L)。 ...

回答 1 投票 0


© www.soinside.com 2019 - 2024. All rights reserved.