apache-spark-sql 相关问题

给定的字符串可以采用以下任何格式： “2021 年 5 月 8 日上午 12:00:00”或 '05/8/2021 12:00:00 AM' 或 “2021 年 5 月 8 日上午 12:00:00”或 '05/08/2021 12:00:00 上午' 所需输出 = 'YYYY-... 中的 '2021-05-08'

apache-spark-sql

回答 1 投票 0

使用 pyspark 解析嵌套 JSON 负载

我正在尝试使用 pyspark 解析、展平嵌套数据。关于如何解析此类 json 文件的任何建议这是迄今为止尝试过的示例代码，但没有成功。 json数据=“”“{ &

json pyspark apache-spark-sql

回答 1 投票 0

Java Spark Bigtable 连接器将数据集写入 Bigtable 表

错误：线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/TableDescriptor 在 org.apache.hadoop.hbase.spark.DefaultSource.createRelation(DefaultS...

apache-spark apache-spark-sql google-cloud-bigtable bigtable spark-connect

回答 1 投票 0

查找组中的重叠部分并分类到新的不同组中

最初我认为这是一个简单的问题，但我就是想不通。这是一个简化的示例。我有 8 个不同的人从商店购买一些商品。之后我想看看...

apache-spark pyspark apache-spark-sql

回答 1 投票 0

参数中设置的日期与查询参数时的日期不符

正如您在屏幕截图中看到的，我设置了一个数据类型为日期的参数，并选择了日期 2024-05-27。然而，当我在 SQL 中查询这个参数时，我得到了一个完全不同的值（...

sql apache-spark-sql databricks-sql

回答 1 投票 0

在带有Feature Store的Pyspark中使用分数批次时如何获取概率？

我正在使用 from databricks.feature_engineering import FeatureEngineering 函数用于未来的商店。我想执行分数批量推理。记录一个简单的 RF 分类器后：铁 =

pyspark apache-spark-sql azure-databricks feature-store

回答 1 投票 0

如何在spark/iceberg中启用存储分区连接？

如何使用Spark 3.3.0中的存储分区连接功能？我已经尝试过，我的查询计划仍然显示昂贵的 ColumnarToRow 和 Exchange 步骤。我的设置如下：连接两个

apache-spark apache-spark-sql apache-iceberg

回答 3 投票 0

Spark消费者使用docker运行时找不到kafka主题分区

当我提交连接到 kafka 代理的 Spark 应用程序时，它会执行 kafka 查询，但不会将任何内容返回到控制台。找不到主题分区。这是我的日志

apache-spark pyspark apache-kafka apache-spark-sql spark-structured-streaming

回答 1 投票 0

包含 pyspark SQL：TypeError：“Column”对象不可调用

我使用的是spark 2.0.1， df.show() +--------+------+---+-----+-----+----+ |幸存|Pclass|性别|SibSp|Parch|票价| +--------+------+---+-----+-----+----+ | 0.0| 3.0|1.0| 1.0| 0.0| 7.3| | ...

python apache-spark pyspark apache-spark-sql

回答 2 投票 0

在 Spark SQL 中连接两个 DataFrame 并仅选择其中一个的列

我在 Spark SQL 中有两个 DataFrame（D1 和 D2）。我正在尝试将它们两者进行内部连接 D1.join(D2,“某些列”) 并且只返回D1的数据，而不是完整的数据集。 D1和D2都是h...

scala apache-spark apache-spark-sql

回答 5 投票 0

我们可以使用多个sparksessions来访问两个不同的Hive服务器吗

我有一个场景来比较来自两个单独的远程配置单元服务器的两个不同的表源和目标，我们是否可以使用两个 SparkSession，就像我在下面尝试的那样：- 瓦尔火花 =

scala apache-spark hive apache-spark-sql

回答 3 投票 0

apache-spark-sql 相关问题

最新问题