databricks 相关问题

克隆 repo 后在 Databricks 上打开 Jupyter notebook

如标题所述：我在 Databricks 上克隆了一个 repo，现在我需要打开并运行一个 Jupyter notebook。我怎样才能做到这一点？如果我打开文件，我会看到它是一个文本文件（见下文）。

保存的 delta 文件读取为 df - 它仍然是 delta lake 的一部分吗？

我无法理解三角洲湖的概念。例子： 我读了一个镶木地板文件： taxi_df = (spark.read.format("parquet").option("header", "true").load("d...

在 Databricks 中安装 Plotly Dash

我正在尝试在 Databricks 中使用 Plotly Dash，但出现以下错误： 'DummyMod' 对象没有属性 'startswith' 首先，我在 Databricks 中安装 Dash 库及其要求。 然后，...

在 Pyspark 中将多行作为 JSON 对象与定义的模式组合

我想对数据框执行以下操作。对于具有相似 id(L_ID) 的行，我需要通过传递定义的模式将关联的列组合成一个 JSON。如图

databricks平台pyspark中的Dataframe展示功能

我是数据块的新手，我正在研究 pyspark 中的主题数据框 df = spark.read.parquet(销售路径) 显示(df) 以上是我的代码，我不明白，向上箭头实际上是做什么的？ 为什么这个美女...

Databricks。如何在%SQL QUERY中获取集群标签

目前用状态%SQL查询。"SET "我可以得到集群中定义的标签值。%sql SET spark.databricks.clusterUsageTags.clusterName; 但是，我怎么能在"... "中使用这些值呢？

Databricks Notebook - Microsoft Azure - 连接到群集时，自动完成不工作。

数据砖笔记本 - Microsoft Azure - 当数据砖笔记本连接到集群时，自动完成不工作。谁能告诉我们如何解决这个问题？

在Databricks中使用Pyspark更新数据库表。

我在Azure SQL Server数据库中有一个表，它是从我的数据框架中填充的。我想根据多个条件databricks使用pyspark pandas来udpate这个表。我是新的PySpark ...

Prod1

我使用Azure Databricks与使用PySpark for Notebooks。以下是文本文件Orders.txt的示例：- Order1/spark.apache.orgdocs2.2.1sql-programming-guide.html。

azure datalake gen2 databricks ACLs 权限

我想知道为什么我的ACL权限在Databricks中不能正常工作。场景：我有2个用户，其中一个在文件系统上有完全权限，另一个没有任何权限。I ...

使用 CLI 或 API 给予 Databricks 工作的查看权限

我正在使用 CLI 创建一个 Databricks 作业。是否可以让其他用户使用Databricks CLI或API查看我的工作？如果可以，请提供有关如何实现这一功能的详细信息。

我不知道如何从一列中获取一个有条件的列的值。

我必须从数据框架中获取具有最高攻击力的小精灵的名称（"名称 "代表一列和 "攻击"），对于每种类型（例如水或火等），我写下这个......

解决数据砖中可能存在底层文件被更新的问题。

val mnt_point_write="mntpnt" ord_JsonDF.write.mode("overwrite").format("json").option("header",true).json(mnt_point_write+"Processed_file") 原因是：org.apache.spark.SparkException: 工作中止...

如何将RDD转换为Dataframe Spark 2.4.5 Python？

我对databricks和spark完全是个新手。我使用的是data bricks社区版和Spark 2.4.5集群。我试图修改代码从Spark 1.6.2运行到Spark 2.4.5，因为在 ...

PySpark - 在SQL Server中使用Spark连接器。

希望大家一切顺利。我们目前正在探索在DataBricks中使用PySpark加载SQL Server表的方案。我们有不同的来源，包括文件和表格。我们正在使用python作为 ...

在pyspark中，从文本文件创建数据框架无法工作。

以下是将用^隔开的数据文件列表读取到数据框中的代码。但是，每个字段都是作为单独的一行加载的，而不是逐行读取。换句话说，一行...

使用本地IDE，如Microsoft visual code来使用额外的计算。

我正试图找出关于我们如何使用本地IDE如microsoft visual studio代码来使用分布式计算能力的最佳方法。目前，我们正在本地刷新数据，但它不...

Pyspark Grouped Map Pandas UDF - 是否保留了组中行的顺序？

我在 pyspark 中使用 pandas_udf 创建一个分组地图 (split-apply-combine pattern) UDF，我需要知道当传递给 UDF 时，行的顺序是否被保留 (我的转换取决于每个组的行的顺序)。

如何将sql查询转换为Pandas Dataframe和PySpark Dataframe？

SELECT county, state, deaths, cases, count (*) as count FROM table GROUP BY county, state, deaths, cases HAVING count(*)>1 我通过SQL上面的查询得到下面的数据。我想要的是...

Azure Databricks 工作通知电子邮件

我正在使用 Databricks 进行 ETL，我已经配置了作业成功和作业失败的通知邮件。电子邮件通知工作正常。现在，我需要创建一个管道来发送失败......