databricks 相关问题

有关Databricks统一分析平台的问题

Databricks SQLAlchemy TBLPROPERTIES

因此,我们使用 SQLAlchemy 创建了一个模型,并且希望将其部署在 DataBricks 上。我们模型中的表具有列的默认值。我们如何使用 SQLAlchemy 部署表并使用...

回答 1 投票 0

将多个笔记本从当前环境迁移到新环境

我正在尝试将多个笔记本从当前环境迁移到新的启用 UC 的环境。 我正在寻找一种解决方案,可以将笔记本组或笔记本的每个文件夹迁移到...

回答 1 投票 0

如何避免被struct列名写入json文件?

如何避免将struct列名写入json文件?将 df 写入 json 文件时? 使用databricks pyspark写入方法。 df.write.option("header", "false").mo...

回答 1 投票 0

Azure DataBricks - 希望在 Log Analytics 中查询“工作流”相关日志(即名称、创建者、最近运行、状态、开始时间、作业)

我们希望将“工作流”部分的日志从 Azure DataBricks 获取到我们的 Log Analytics 工作区。我们的日志分析工作区与诊断中启用的所有日志连接...

回答 1 投票 0

org.apache.spark.SparkException:由于 databricks 中的阶段故障而中止作业

抱歉,同样类型的问题。我在 SO 中看到了很多关于阶段失败的帖子。但这些都无法解决我的问题。所以我再发一次。 我正在 databricks、Runtime 7.3 LTS 中运行。我...

回答 1 投票 0

在 Databricks 之外查看 Databricks 笔记本

我已经用我的所有笔记本导出了 dbc 文件。是否可以打开/转换它们以在 jupyter 笔记本或其他 IDE 中打开?

回答 2 投票 0

调用o430.save时发生错误

保存 DataFrame 时出错:调用 o430.save 时出错。 :org.apache.spark.SparkException:由于阶段失败而中止作业:阶段 16.0 中的任务 0 失败了 4 次,大多数

回答 1 投票 0

IgnoreMissingFiles 选项在某些情况下不起作用

我有一个奇怪的问题,我似乎找不到原因。 目标: 使用 databricks 实验室的 dbx 时,在 Spark 结构化流中拥有 Spark.sql.files.ignoreMissingFiles (本质上是

回答 1 投票 0

在 PySpark 中保留 parquet 文件名

我正在使用 Spark 读取一个包含 2 个分区的镶木地板文件,以便应用一些处理,让我们以这个例子为例 ├── 用户数据 │ ├── 地区=欧盟 ├── 国家=法国 ├─-

回答 1 投票 0

将 SQL 单元输出合并到 Databricks Notebook 中的 Markdown 单元中

我想在 SQL 中运行一个单元格,然后包含一个包含单元格输出的 Markdown 单元格。 SQL 单元格:从表中选择 count(*) 1500 返回 1 行 预期输出: Markdown 单元格:行...

回答 1 投票 0

固定间隔微批次和AvailableNow 触发器

“固定间隔微批次”和“AvailableNow”触发器之间的根本区别是什么? 我发现有关这些内容的文档令人困惑。 根本不同吗...

回答 1 投票 0

如何在 Databricks 作业/工作流程上运行 R 脚本

尝试从 Databricks 工作流程运行 R 脚本,但我只看到可用的 python 脚本选项。有没有办法在databricks上运行R脚本,而只能在笔记本中运行R?

回答 1 投票 0

从大型机传输到 Azure 的文件的 SHA256 校验和

我已以 ASCII 模式通过 SFTP 将文件从大型机传输到 Azure。我想将大型机文件的校验和与 Azure 中的文件进行比较。我该怎么做? 我可以计算文件的 SHA256 我...

回答 1 投票 0

无法使用 dbutils.notebook.run("mynotebook", 3600) 从另一个笔记本运行 databricks 笔记本

当我尝试使用 dbutils.notebook.run("mynotebook", 3600) 从另一个 databricks 笔记本运行笔记本时,出现错误: com.databricks.WorkflowException:com.databricks。

回答 1 投票 0

Databricks:来自 Kafka 的 Spark 结构化流卡在“流初始化”

我想使用kafka源在databricks中创建一个结构化流。 我按照此处所述的说明进行操作。我的脚本似乎已启动,但是我无法在

回答 1 投票 0

如何使用 Databricks API 创建目录

我正在尝试使用 Databricks API 创建一个目录,但我很难在 cURL 请求中找到正确的占位符。 我尝试使用 mkdirs 创建目录,但没有成功! 卷曲 -X POST https...

回答 1 投票 0

在 Databricks 中添加管道运算符 (%>%) 作为快捷方式

有没有办法将 R 管道运算符 (%>%) 合并为 Databricks 中的快捷方式?

回答 1 投票 0

我想在 Databricks 中创建一个计划,在每个月的第一个工作日运行作业

我想在 Databricks 中创建一个计划,在每个月的第一个工作日(工作日指周一至周五)运行作业。 我尝试使用 Cron 语法,但没有任何运气......

回答 1 投票 0

在 Databricks 中重试从 Snowflake 读取流的安全方法

我们正在探索从 Azure Databricks 中读取雪花流数据的场景。 细节: 我们有一个大的雪花桌子,上面已经设置了流。 我们还有其他来源...

回答 1 投票 0

优化Delta表命令

我有启用了液体集群的增量表,当表上正在进行另一个写入操作时,我可以在增量表上运行优化命令吗?它会损坏数据、日志和我吗...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.