databricks 相关问题

有关Databricks统一分析平台的问题

使用 Rest API 在 Databricks SQL 仓库上执行 SQL 查询

有没有办法使用 Rest API 在 Databricks SQL Warehouse 上执行 SQL 查询? 我可以在文档中看到有用于创建查询的 API,但没有看到任何用于运行查询的 API。

回答 3 投票 0

无法在DataBrick中挂载文件夹

我正在尝试运行代码以将文件夹装载到 Azure Blob 存储中。我尝试使用另一个启用了软删除的 Blob 存储帐户,它仍然有效。但是当我创建另一个 blob 存储时

回答 1 投票 0

DLT - 视图 v 物化视图语法以及如何声明?

我正在使用徽章架构创建 DLT 管道。在 Silver 中,我使用 CDC/SCD1 按日期获取最新的 id,工作正常,但我对 @dlt.view 包装器有疑问。 我现在的

回答 1 投票 0

无法使用PIP访问DBFS文件

我在启用了 Unity Catalog 的 Databricks 工作区中使用共享集群 11.3 LTS。 我有一个requirements.txt 文件,位于DBFS 中的FileStore 文件夹中,我也可以在Databricks UI 中看到它。我是...

回答 1 投票 0

Databricks 在我从 Databricks 笔记本运行时安装的轮子内找不到 csv 文件

我正在学习 Spark,因此作为一项任务,我们必须在本地创建一个轮子,然后将其安装在 Databricks 中(我正在使用 Azure Databricks),并测试它从 Databrick Notebook 运行它。这个节目

回答 1 投票 0

了解数据块中最不常见的类型

我正在阅读数据类型规则并发现了最不常见的类型。 我有个疑问。 STRING 和 INT 最不常见的类型是什么?引用的链接给出了以下示例,至少......

回答 1 投票 0

如何使用诗歌和databricks捆绑资产部署Python轮?

我正在尝试运行本教程:通过使用此链接上的 Databricks 资源包开发 Python 轮:https://learn.microsoft.com/en-us/azure/databricks/dev-tools/bundles/python -车轮 我有一个

回答 1 投票 0

Databricks SQLAlchemy TBLPROPERTIES

因此,我们使用 SQLAlchemy 创建了一个模型,并且希望将其部署在 DataBricks 上。我们模型中的表具有列的默认值。我们如何使用 SQLAlchemy 部署表并使用...

回答 1 投票 0

将多个笔记本从当前环境迁移到新环境

我正在尝试将多个笔记本从当前环境迁移到新的启用 UC 的环境。 我正在寻找一种解决方案,可以将笔记本组或笔记本的每个文件夹迁移到...

回答 1 投票 0

如何避免被struct列名写入json文件?

如何避免将struct列名写入json文件?将 df 写入 json 文件时? 使用databricks pyspark写入方法。 df.write.option("header", "false").mo...

回答 1 投票 0

Azure DataBricks - 希望在 Log Analytics 中查询“工作流”相关日志(即名称、创建者、最近运行、状态、开始时间、作业)

我们希望将“工作流”部分的日志从 Azure DataBricks 获取到我们的 Log Analytics 工作区。我们的日志分析工作区与诊断中启用的所有日志连接...

回答 1 投票 0

org.apache.spark.SparkException:由于 databricks 中的阶段故障而中止作业

抱歉,同样类型的问题。我在 SO 中看到了很多关于阶段失败的帖子。但这些都无法解决我的问题。所以我再发一次。 我正在 databricks、Runtime 7.3 LTS 中运行。我...

回答 1 投票 0

在 Databricks 之外查看 Databricks 笔记本

我已经用我的所有笔记本导出了 dbc 文件。是否可以打开/转换它们以在 jupyter 笔记本或其他 IDE 中打开?

回答 2 投票 0

调用o430.save时发生错误

保存 DataFrame 时出错:调用 o430.save 时出错。 :org.apache.spark.SparkException:由于阶段失败而中止作业:阶段 16.0 中的任务 0 失败了 4 次,大多数

回答 1 投票 0

IgnoreMissingFiles 选项在某些情况下不起作用

我有一个奇怪的问题,我似乎找不到原因。 目标: 使用 databricks 实验室的 dbx 时,在 Spark 结构化流中拥有 Spark.sql.files.ignoreMissingFiles (本质上是

回答 1 投票 0

在 PySpark 中保留 parquet 文件名

我正在使用 Spark 读取一个包含 2 个分区的镶木地板文件,以便应用一些处理,让我们以这个例子为例 ├── 用户数据 │ ├── 地区=欧盟 ├── 国家=法国 ├─-

回答 1 投票 0

将 SQL 单元输出合并到 Databricks Notebook 中的 Markdown 单元中

我想在 SQL 中运行一个单元格,然后包含一个包含单元格输出的 Markdown 单元格。 SQL 单元格:从表中选择 count(*) 1500 返回 1 行 预期输出: Markdown 单元格:行...

回答 1 投票 0

固定间隔微批次和AvailableNow 触发器

“固定间隔微批次”和“AvailableNow”触发器之间的根本区别是什么? 我发现有关这些内容的文档令人困惑。 根本不同吗...

回答 1 投票 0

如何在 Databricks 作业/工作流程上运行 R 脚本

尝试从 Databricks 工作流程运行 R 脚本,但我只看到可用的 python 脚本选项。有没有办法在databricks上运行R脚本,而只能在笔记本中运行R?

回答 1 投票 0

从大型机传输到 Azure 的文件的 SHA256 校验和

我已以 ASCII 模式通过 SFTP 将文件从大型机传输到 Azure。我想将大型机文件的校验和与 Azure 中的文件进行比较。我该怎么做? 我可以计算文件的 SHA256 我...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.