databricks 相关问题

有关Databricks统一分析平台的问题

克隆 repo 后在 Databricks 上打开 Jupyter notebook

如标题所述:我在 Databricks 上克隆了一个 repo,现在我需要打开并运行一个 Jupyter notebook。我怎样才能做到这一点?如果我打开文件,我会看到它是一个文本文件(见下文)。

回答 0 投票 0

保存的 delta 文件读取为 df - 它仍然是 delta lake 的一部分吗?

我无法理解三角洲湖的概念。例子: 我读了一个镶木地板文件: taxi_df = (spark.read.format("parquet").option("header", "true").load("d...

回答 0 投票 0

在 Databricks 中安装 Plotly Dash

我正在尝试在 Databricks 中使用 Plotly Dash,但出现以下错误: 'DummyMod' 对象没有属性 'startswith' 首先,我在 Databricks 中安装 Dash 库及其要求。 然后,...

回答 0 投票 0

在 Pyspark 中将多行作为 JSON 对象与定义的模式组合

我想对数据框执行以下操作。对于具有相似 id(L_ID) 的行,我需要通过传递定义的模式将关联的列组合成一个 JSON。如图

回答 0 投票 0

databricks平台pyspark中的Dataframe展示功能

我是数据块的新手,我正在研究 pyspark 中的主题数据框 df = spark.read.parquet(销售路径) 显示(df) 以上是我的代码,我不明白,向上箭头实际上是做什么的? 为什么这个美女...

回答 0 投票 0

Databricks。如何在%SQL QUERY中获取集群标签

目前用状态%SQL查询。"SET "我可以得到集群中定义的标签值。%sql SET spark.databricks.clusterUsageTags.clusterName; 但是,我怎么能在"... "中使用这些值呢?

回答 1 投票 0

Databricks Notebook - Microsoft Azure - 连接到群集时,自动完成不工作。

数据砖笔记本 - Microsoft Azure - 当数据砖笔记本连接到集群时,自动完成不工作。谁能告诉我们如何解决这个问题?

回答 1 投票 0

在Databricks中使用Pyspark更新数据库表。

我在Azure SQL Server数据库中有一个表,它是从我的数据框架中填充的。我想根据多个条件databricks使用pyspark pandas来udpate这个表。我是新的PySpark ...

回答 1 投票 0

Prod1

我使用Azure Databricks与使用PySpark for Notebooks。以下是文本文件Orders.txt的示例:- Order1/spark.apache.orgdocs2.2.1sql-programming-guide.html。

回答 1 投票 0

azure datalake gen2 databricks ACLs 权限

我想知道为什么我的ACL权限在Databricks中不能正常工作。场景:我有2个用户,其中一个在文件系统上有完全权限,另一个没有任何权限。I ...

回答 1 投票 0

使用 CLI 或 API 给予 Databricks 工作的查看权限

我正在使用 CLI 创建一个 Databricks 作业。是否可以让其他用户使用Databricks CLI或API查看我的工作?如果可以,请提供有关如何实现这一功能的详细信息。

回答 1 投票 0

我不知道如何从一列中获取一个有条件的列的值。

我必须从数据框架中获取具有最高攻击力的小精灵的名称("名称 "代表一列和 "攻击"),对于每种类型(例如水或火等),我写下这个......

回答 1 投票 1

解决数据砖中可能存在底层文件被更新的问题。

val mnt_point_write="mntpnt" ord_JsonDF.write.mode("overwrite").format("json").option("header",true).json(mnt_point_write+"Processed_file") 原因是:org.apache.spark.SparkException: 工作中止...

回答 1 投票 0

如何将RDD转换为Dataframe Spark 2.4.5 Python?

我对databricks和spark完全是个新手。我使用的是data bricks社区版和Spark 2.4.5集群。我试图修改代码从Spark 1.6.2运行到Spark 2.4.5,因为在 ...

回答 1 投票 0

PySpark - 在SQL Server中使用Spark连接器。

希望大家一切顺利。我们目前正在探索在DataBricks中使用PySpark加载SQL Server表的方案。我们有不同的来源,包括文件和表格。我们正在使用python作为 ...

回答 1 投票 0

在pyspark中,从文本文件创建数据框架无法工作。

以下是将用^隔开的数据文件列表读取到数据框中的代码。但是,每个字段都是作为单独的一行加载的,而不是逐行读取。换句话说,一行...

回答 1 投票 0

使用本地IDE,如Microsoft visual code来使用额外的计算。

我正试图找出关于我们如何使用本地IDE如microsoft visual studio代码来使用分布式计算能力的最佳方法。目前,我们正在本地刷新数据,但它不...

回答 1 投票 0

Pyspark Grouped Map Pandas UDF - 是否保留了组中行的顺序?

我在 pyspark 中使用 pandas_udf 创建一个分组地图 (split-apply-combine pattern) UDF,我需要知道当传递给 UDF 时,行的顺序是否被保留 (我的转换取决于每个组的行的顺序)。

回答 1 投票 1

如何将sql查询转换为Pandas Dataframe和PySpark Dataframe?

SELECT county, state, deaths, cases, count (*) as count FROM table GROUP BY county, state, deaths, cases HAVING count(*)>1 我通过SQL上面的查询得到下面的数据。我想要的是...

回答 1 投票 0

Azure Databricks 工作通知电子邮件

我正在使用 Databricks 进行 ETL,我已经配置了作业成功和作业失败的通知邮件。电子邮件通知工作正常。现在,我需要创建一个管道来发送失败......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.