pyspark-sql 相关问题

将此标记用于与PySpark中的SQL模块相关的问题。

我在Spark中创建Row对象。我不希望我的字段按字母顺序排序。但是，如果我执行以下操作，则按字母顺序排序。 row = Row（foo = 1，bar = 2）然后它创建一个...

python apache-spark pyspark apache-spark-sql pyspark-sql

回答 3 投票 11

考虑一个示例数据帧：df = + ------- + ----- + |高新|状态| + ------- + ----- + | 70 | wa | | 50 | mn | | 20 | fl | | 50 | mo | | 10 | ar | | 90 | wi | | 30 | al | | ...

pyspark apache-spark-sql pyspark-sql

回答 1 投票 0

pyspark approxQuantile功能

我有这些列id，price，timestamp的数据框。我想找到按ID分组的中值。我正在使用此代码来查找它，但它给了我这个错误。来自pyspark.sql导入...

apache-spark pyspark apache-spark-sql pyspark-sql

回答 2 投票 8

如何在pyspark中创建派生列时解决以下问题？

我试图根据字典中给出的数据对数据框中的特定列进行分箱。下面是我使用的数据帧：df SNo，Name，CScore 1，x，700 2，y，850 3，z，560 4，a，578 5，b，456 6，...

python-3.x apache-spark pyspark apache-spark-sql pyspark-sql

回答 1 投票 0

Pyspark - 在groupby和orderBy之后选择Column中的Distinct值

所以我的表看起来像这样：+ ------------------- + ------- + ---------- + --- --------- + | trip_id | line_id | ef_ar_ts |站| + ------------------- ------- + + ---------- + ---------- - + | 80：......

python pyspark pyspark-sql

回答 1 投票 0

Spark过滤器未按预期工作。“Column”对象不可调用

在Spark Dataframe中使用过滤器中的“and”子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但对于一个条件，它工作正常。如何显示（）或迭代Spark Sql ...

apache-spark dataframe filter pyspark pyspark-sql

回答 1 投票 0

使用另一个（布尔）数组列子集一个数组列

我有这样的Dataframe（在Pyspark 2.3.1中）：来自pyspark.sql import Row my_data = spark.createDataFrame（[Row（a = [9,3,4]，b = ['a'，'b'， 'c']，mask = [True，False，False]），行（a = [7,2,6,4]，...

apache-spark pyspark apache-spark-sql pyspark-sql

回答 3 投票 2

从dataframe插入hive不起作用

我正在尝试使用以下命令将数据框中的记录插入到hive表中。命令成功但目标表未加载记录。 mergerdd.write.mode（ “追加”）....

pyspark pyspark-sql

回答 3 投票 0

Pyspark udf对于没有参数的函数失败，但适用于没有参数的lambda

我正在尝试使用withColumn和不带参数的udf向我的Spark DataFrame添加一列。如果我使用lambda来封装我的原始函数，这似乎只有效。这是一个MWE：来自......

apache-spark pyspark apache-spark-sql user-defined-functions pyspark-sql

回答 1 投票 1

两个依赖于公共列的数据帧之间的交叉连接

crossJoin可以按如下方式完成：df1 = pd.DataFrame（{'subgroup'：['A'，'B'，'C'，'D']}）df2 = pd.DataFrame（{'dates'：pd .date_range（date_today，date_today + timedelta（3），freq ='D'）}）sdf1 = spark ....

apache-spark pyspark pyspark-sql

回答 1 投票 -1

在hadoop集群上运行PySpark-SQL时执行时间长？

我有一个天气数据的数据集，我试图查询它以获得每年的平均低点和平均高点。我提交工作并获得理想的结果没有问题，但它正在......

pyspark pyspark-sql

回答 1 投票 1

Spark是否受益于持久表中的`sortBy`？

Spark v2.4没有Hive Spark受益于bucketBy，它知道DataFrame具有正确的分区。那怎么样的sortBy？ spark.range（100，numPartitions = 1）.write.bucketBy（3，'id'）。sortBy（'...

apache-spark pyspark apache-spark-sql pyspark-sql

回答 1 投票 1

当我尝试将字符串列转换为数字时，PySpark返回异常

我正在尝试将字符串列转换为数字，但我在PySpark中得到一个例外。我在下面提供了代码和错误消息。是否可以从csv导入特定列...