pyspark-sql 相关问题

将此标记用于与PySpark中的SQL模块相关的问题。

从datetime导入timedelta，date def daterange（date1，date2）：范围内的n（int（（date2-date1）.days）+1）：产生date1 + timedelta（n）start_dt = date（2015，12， 20）end_dt = date（...

pandas dataframe pyspark pyspark-sql pyspark-dataframes

回答 1 投票 1

为什么我的简单PySpark代码需要这么长时间才能运行？

我的输入数据是3000万行* 113列各种类型的数据。我只是想使用PySpark来增加数据中一列的值，但是它要花很多时间才能运行（有时会因OOM崩溃...

pyspark pyspark-sql pyspark-dataframes

回答 1 投票 0

如何在pyspark中读取二进制数据

我正在使用pyspark阅读二进制文件http://snap.stanford.edu/data/amazon/productGraph/image_features/image_features.b。从io导入数组导入StringIO img_embedding_file = sc.binaryRecords（“ ...

apache-spark pyspark apache-spark-sql pyspark-sql amazon-emr

回答 1 投票 0

是否有一种方法可以使胶粘作业始终以字符串形式从xml读取数据？

我有这个xml，我可以通过AWS Glue读取并插入到RDS。下面是示例xml。 [[[123456D

pyspark-sql aws-glue

回答 1 投票 0

从pyspark数据框中获取空计数，多（100+）列的最小值和最大值的最佳方法

说我有一个列名列表，它们都存在于数据框中Cols = ['A'，'B'，'C'，'D']，我正在寻找一种获取表/数据框的快速方法像NA_counts最小最大A 5 ...

python-3.x apache-spark pyspark apache-spark-sql pyspark-sql

回答 1 投票 0

具有数据库大小的SQL插入和降低性能的时间复杂度-通过pandas`to_sql（）`将pyspark实木复合地板文件转换为sql

使用pandas to_sql（）功能迭代地追加到SQLite数据库似乎在每次迭代中性能下降。我要在每个...中附加的数据框...

sql pandas performance pyspark pyspark-sql

回答 1 投票 0

Pyspark转换：列名到行

我正在使用pyspark，并希望转换此Spark数据框：+ ---- + --------------------------- ---- + ------------------------------- + ------------- ------------------ + ------------------------...

pyspark pyspark-sql pyspark-dataframes

回答 2 投票 -1

明智地使用从列映射以填充pyspark数据帧中另一列的值

我有一个包含多列的数据框：+ ----------- + ----------- + ----------- + | col1 | col2 | col3 | + ----------- + ----------- + ----------- + | s1 | c1 | p3 | | ...

python-3.x pyspark pyspark-sql pyspark-dataframes

回答 1 投票 0

运行总和/带有上下限Py Spark的累计总和

我是火花新手，我正在尝试计算以0为底，以8为上限的窗口运行总和。下面给出一个玩具示例（请注意，实际数据更接近数百万行）：。

apache-spark pyspark pyspark-sql pyspark-dataframes

回答 2 投票 2

如何在PySpark中查找数组的平均值

我有一个PySpark数据框，其中的一列（例如B）是一个数组数组。以下是PySpark数据框：+ --- + --------------------------------------------- + --- + | A | B。 ..