partitioning 相关问题

分区是一种性能策略,您可以将可能非常大的数据组划分为一些较小的数据组。

如何通过CLI从云存储上载CSV(按列名称划分)到BigQuery?

我想通过CLI将CSV文件(按列名分区)上载到bigquery。例如:表应按名为“ Time-Key”的列名进行分区。这是我当前的代码:bq load \ --...

回答 1 投票 1

Hive使用哪种哈希算法进行分区?

我需要了解Hive用于哈希分区数据的算法。例如,Spark使用Murmur Hashing。有任何想法或资源吗?

回答 1 投票 0


使用pySpark将hdfs中的分区文本文件读取到数据帧中

我在hdfs位置中存储了多个文件,如下所示/ user / project / 202005 / part-01798 / user / project / 202005 / part-01799有2000个这样的零件文件。每个文件的格式为{'Name':'...

回答 1 投票 0

T-SQL重复检查

从一段时间以来我正面临这个问题-我有这种选择结果:col1 col2 col3 5 95.91.232.198 1 8 95.91.232.198 1 9 95.91.222.206 5 152 95.91.222.206 1 25 95.91.204.108 ...

回答 1 投票 -1

数据选择/行选择

我有一种情况,我必须编写一个SQL查询,其中我仅考虑负值[输出]如何实现输出

回答 1 投票 0

可变分支与约束分支

有人可以向我解释,变量分支和约束分支(Ryan和Foster)之间有什么区别?我正在阅读文章:“大规模广义集的解...

回答 1 投票 0

如何对无状态Service Fabric服务进行分区

我想对无状态Service Fabric服务进行分区。我没有找到该怎么办。我想将数字设置为10。 ApplicationManifest.xml ]

回答 1 投票 1

Cassandra遵循哪种分区技术?

我是Cassandra的新手,在阅读有关对数据库进行垂直和水平分区时,我很困惑,想知道Cassandra是否遵循水平分区(分片)或...

回答 2 投票 0


划分相似度矩阵

考虑一组集合列表

回答 1 投票 0

我如何减少或有必要减少Cassandra中大量数据的分区数量?

我估计有5亿行数据具有500万个唯一数字。我的查询必须按数字和event_date获取数据。数字作为分区键,将有500万个分区。我认为不是...

回答 1 投票 0

使用Microsoft sql服务器中的分区方案查找最近6个月的付款

这是该帖子的后续内容。我现在要做的是总结过去6个月的付款总额。例如,我们有这笔贷款,您可以看到他们在...

回答 2 投票 0

减少Spark作业从s3读取时的分区数

我有一个AWS Glue ETL作业,该作业从s3中读取实木复合地板,然后再次以实木复合地板格式将其写入s3。 val res = gumContext .getSourceWithFormat(connectionType =“ s3”,...

回答 1 投票 0

java.lang.RuntimeException:org.apache.hadoop.hive.ql.parse.ParseException:行无法识别'date_format''('''DATE_SUB'常量附近的输入

我的配置单元查询如下。 ALTER TABLE staging_customer360.buswspr_dly_rate_plan_chng_orc DROP PARTITION(part_load_month_year> = date_format(DATE_SUB('2020-05-01',760),'yyyy-MM'));这是...

回答 1 投票 0

Spark中的分区和分区

Spark中的partiton和partitionby有什么区别?例如,这里发生了什么? JavaPairRDD ,row> rddH = rddHB.partitionBy(new org.apache.spark ....

回答 1 投票 -1

无法查看已创建的分区

我能够使用分区创建表Employee(PRIMARY KEY(dateofbirth,姓,名),dateofbirth日期,姓varchar(20),名字varchar(20)不为null来创建表…

回答 2 投票 0

根据SQL Server中的“捕获日期”查找“ MTD_Days_Worked”的总数

我想根据下表清楚地问我的问题:必需的表,Employee_Working_Table:表说明:该表显示了员工的每月工作数据(有意...

回答 1 投票 1

[0,1]的间隔分区

嘿,我想在[Python 3]中将[0,1]划分为长度为0.05的相等分区。

回答 1 投票 -1

DeltaTable更新分区列值并删除旧的Blob分区?

我正在使用此处描述的Python中的merge命令更新Delta表。该表已经被“ Number”列预先分区,但是这些是我实际上正在更新的值。所以...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.