如何从pyspark中的数据框中选择一系列行

Question

我有一个10609行的数据帧，我希望一次将100行转换为JSON并将它们发送回Web服务。

我尝试过像temptable = spark.sql("select item_code_1 from join_table limit 100")一样使用SQL的LIMIT子句。这将返回前100行，但如果我想要接下来的100行，我尝试了这个但是没有用。

temptable = spark.sql("select item_code_1 from join_table limit 100, 200")

错误：Py4JJavaError：调用o22.sql时发生错误。 ：org.apache.spark.sql.catalyst.parser.ParseException：不匹配的输入'，'期待（第1行，位44）

== SQL ==

select item_code_1 from join_table limit 100, 200
--------------------------------------------^^^

Answer 1

您必须创建一个行号列，该列将序列号分配给列，并使用该列通过过滤器获取范围内的数据。

df = spark.createDataFrame([('a',),
                            ('b',),
                            ('c',),
                            ('d',),
                            ('e',)
                            ],'item : string')
df.show()

#+----+
#|item|
#+----+
#|   a|
#|   b|
#|   c|
#|   d|
#|   e|
#+----+

我正在使用虚拟静态列lit('a')来生成row_num。请根据您的实际数据更新以下逻辑（这将生成row_num）。

partitionBy(lit('a')).orderBy(lit('a')

数据帧示例 -

from pyspark.sql.functions import lit,row_number,col
from pyspark.sql.window import Window

w = Window().partitionBy(lit('a')).orderBy(lit('a'))

df1 = df.withColumn("row_num", row_number().over(w))

df1.filter(col("row_num").between(1,2)).show()     

#+----+-------+
#|item|row_num|
#+----+-------+
#|   a|      1|
#|   b|      2|
#+----+-------+

df1.filter(col("row_num").between(3,4)).show()

#+----+-------+
#|item|row_num|
#+----+-------+
#|   c|      3|
#|   d|      4|
#+----+-------+

Spark SQL示例 -

df1.createOrReplaceTempView("dfTable")

spark.sql("SELECT * FROM dfTable WHERE row_num between 1 and 2").show()

#+----+-------+
#|item|row_num|
#+----+-------+
#|   a|      1|
#|   b|      2|
#+----+-------+