Apache Spark SQL是Spark上的“SQL和结构化数据处理”工具，Spark是一种快速通用的集群计算系统。
使用 Apache Spark（或 pyspark），我可以将文本文件读取/加载到 Spark 数据帧中，并将该数据帧加载到 sql 数据库中，如下所示： df = Spark.read.csv("MyFilePath/MyDataFile.txt", sep=...
当我有一个数据框并且它有一个列名称是属性并且属性类型是时，我遇到以下问题 |-- 属性：字符串（可空 = true） 在那一栏中我有这样的价值观...
我有一个用例，我需要从 SparkSQL 中的表的不同列中获取最大值。 下面是一个示例表 - 我想在不使用
我在 HDFS 上有一个文本文件，我想将其转换为 Spark 中的数据帧。 我正在使用 Spark 上下文加载文件，然后尝试从该文件生成各个列。 val myFile...
在 columnSimilarties() Spark scala 之后获取列名称
我正在尝试使用spark中的columnSimilarities()构建基于项目的协同过滤模型。使用 columnsSimilarities() 后，我想将原始列名称分配回结果......
我有一个像这样的数据集 用户 ID |价值 第1111章 1111 活跃 2222 活跃 我想分组并获取每个用户的第一个可用值，所以我这样做 选择 用户身份，
未找到键：{columnName}#{randomNumber}
我在databricks中的Spark中有以下查询- 选择 bu.tenant_id、bu.service_location_id、bu.account_id、bu.commodity_type、bu.commodity_usage、bu.commodity_units、bu.charges、bu.billed_usage_start、bu。
我正在尝试使用以下数据获取每个 id 和状态更改的时间差： 创建表Table1（idversion文本，id文本，状态文本，dt日期时间）； 插入表1值 （“...
我在 YARN 上的 Spark 和 K8s 上的 Spark 中运行相同的查询。 K8s 和 YARN 都引用相同的 hive 元存储和 hdfs 路径。当我在 YRAN 中运行作业时，某些表正在被广播（在...
我有2张桌子。销售和产品价格。 销售情况如下： ID 代理门密钥 交易日期 1 第343章 2020-09-01T00:00:00 2 3 2020-08-01T00:00:00 3 3 2020-10-01T00:00:00 4 96 2020-09-01T00:00:00 ...
如何在顶部 csv 文件上创建临时视图。我正在 Azure Data bricks 中执行此视图创建。帮助我如何创建视图和读取数据。 我的数据如下所示： 德利米特：~ “1”~&quo...
如何将 SparkDFDataset 添加到我的远大前程验证器中？
感谢您对以下问题的建议。 我正在测试远大前程是否可以在我的蜂巢表上使用。理想情况下，我想打开一个 html 文件，显示我对用户朋友的期望......
我有一个具有以下定义的yaml，但是在读取文件时我收到错误#错误：运行读取报告配置时失败。 非法模式字符：n - 来源：内部
我有一个 SQL Server 代码片段，其中存储过程。使用 DATEADD 函数将分钟添加到时间戳。这是代码： DATEADD（分钟，要添加的分钟数，时间戳列）AS new_time...
迁移到 python 3.12.2 在 Spark 数据帧创建期间会生成 PicklingError
我对spark、spark上下文元素和处理它们不是很有经验...请就以下问题提出建议： 我曾经运行过一个测试，涉及在 pyth 中创建模拟 Spark 上下文......
PySpark to_date 函数在一年中的第 1 周返回 null
当我在 to_date 函数中使用一年中的第几周时，一年中的第一周多年来都返回 null。 df=pyrasa.sparkSession.createDataFrame([["2013-01"],["2013-02"],["...
我试图保留一个临时视图，以便通过sql再次查询它： val df = Spark.sqlContext.read.option("header", true).csv("xxx.csv") df.createOrReplaceTempView(“xxx”) 坚持/cac...
我想查找 Spark SQL 中商品过去 4 周的平均销售额。 物品 周数 销售量 1 202401 4 1 202402 6 1 202403 2 1 202404 6 2 202401 4 2 202402 1 2 202403 1 3 202401 8 我想要...
我的 SparkSQL DataFrame 如下所示： +------------+----------+----------+----------+ |a |b |c |d | +----------+----------+----------+----------+ | 123| ...
数据文件（CSV）说明： 磁盘上 12.1GiB 序列化内存 - 1.9 GiB 我运行以下代码： ###进口 导入pyspark 从 pyspark.sql 导入 SparkSession 从 pyspark.sql 导入函数...