pyspark 相关问题

使用pyspark从具有键值对（empval）的json对象的嵌套数组中删除id字段输入 +----------+--------+---------------------------- ------------------------------------------------------...

pyspark databricks

回答 1 投票 0

如何从 PySpark 数据框中的嵌套 JSON 中提取列值？

我正在开发一个 PySpark 数据框（es_query），其中包含嵌套的 JSON 列（r_json、brd_json、vs_json）。我需要帮助提取列数据并将其存储在另一个数据框中（e_re...

python json apache-spark pyspark azure-databricks

回答 1 投票 0

无法让 PostgreSQL JDBC 在 Spark 环境中与 PySpark 配合使用

我想与远程 Linux 机器中的 postgresql 数据库进行交互。 Postgres 是 12，Linux 是 openjdk 1.8.0_402。为了获取 postgresql JDBC，我访问了 https://jdbc.postgresql.org/download/...

apache-spark pyspark jdbc

回答 1 投票 0

按 pyspark 数据框中的映射类型值过滤

Spark 数据框： Text_col Maptype_col 那么什么是{3:1, 5:1, 1:1} 什么是火花{3:2, 5:1} 我想过滤（删除）Maptype_col 中至少有一个条目的行...

apache-spark pyspark

回答 1 投票 0

从 pyspark 中的文本中提取地址

我对描述中的每个令牌都有一些描述和标签。标签指定令牌的类型。我想从描述中提取地址，即：对应于...的所有代币

arrays string pyspark

回答 1 投票 0

使用 pyspark 数据框，嵌套数组的爆炸和存储在单独的行中花费了太多时间

我使用下面的代码片段来分解由嵌套 json 创建的数据帧中的列。查询花费太多时间才能完成。我可以得到一些关于如何改进的建议吗

python pyspark azure-databricks

回答 1 投票 0

如何在同一个glue任务中用处理结果替换数据源

我想处理A中的一些数据，并用处理后的结果替换A。 write() 操作完成后，我可以在任何“地方”做一些事情吗？或者有什么办法可以替代原来的d...

python-3.x scala pyspark apache-spark-sql aws-glue

回答 1 投票 0

根据时间戳识别重叠记录并删除 pyspark 中的旧重叠

这是一个pyspark重叠时间段问题：样本数据数据 = [ (1、“2024-01-28T05:00:00Z”、“2024-01-28T06:00:00Z”、“1/24/24”), (1、“2024-01-28T05...

python join pyspark databricks overlapping

回答 1 投票 0

Pyspark - 创建一个 json 列，其键来自另一个 CSV 列

输入数据集如下所示 |编号 |领域 | f1 | f2 | f3 | f4 | | -------- | -------- | -------- | -------- | -------- | -------- | | 1 ...

python apache-spark pyspark apache-spark-sql

回答 1 投票 0

莫名其妙的 PySpark SQL 数组索引错误：索引 1 超出长度 1 的范围

我看到一个莫名其妙的数组索引引用错误，索引 1 超出长度 1 的范围 ...我无法解释，因为我没有看到在我的 AWS 上下文中引用任何相关数组...

pyspark mwaa emr-serverless

回答 1 投票 0

pyspark 相关问题

最新问题