databricks 相关问题

有关Databricks统一分析平台的问题

调试 Databricks 服务端点身份验证错误

我从 UC 注册模型创建了一个服务端点。当我使用正确的授权令牌查询它时。我得到以下信息。 { “错误代码”:“BAD_REQUEST”, ”

回答 1 投票 0

有没有办法在创建视图中使用参数标记语法(:param)在SQL中的Databricks中使用参数?

在 Databricks(在 Azure 上)中,我想使用 :param 表示法(参数标记语法)编写一个查询,其工作方式如下: 创建临时视图 vvv1 或将其替换为 ( 选择 * 来自${cata...

回答 1 投票 0

连续 DLT Pipeline 在进一步运行时不会执行其他任务

我们有一个以连续模式运行的 DLT 管道,因为最上游的表是流表。 在一个在整个管道中间运行某些东西的物化视图中,我们有一些额外的

回答 1 投票 0

Databricks 中需要卷

当我们可以使用外部位置访问该位置时,为什么我们需要卷?该文档说这是要添加治理,但我们已经可以使用外部位置进行治理。那么,为什么要再加一个 l...

回答 1 投票 0

Pyspark HASH() 能否安全地将 UUID/GUID 转换为 BIGINT 并保持 Databricks 中的唯一性?

背景 我正在开发 Databricks Lakehouse 实现,并且我们正在为多个表创建一些代理键,以促进标准化下游连接。我们的数据来自...

回答 1 投票 0

Azure Databricks:无法参数化 dlt.apply_changes 的键选项

我创建了一个 DLT 元数据驱动的笔记本,它从配置表读取数据并将数据从 ADLS Gen2 处理到 DLT 表。我能够参数化所有其他选项,例如目标,

回答 1 投票 0

Databricks 交互式无服务器计算集群中的 SQL 小组件不工作

我在笔记本中有以下代码,它创建了一个具有三个选项的小部件。 创建小部件下拉环境默认“int”选择 select * from (values ('int'), ('stage'), ('prod')); 这...

回答 1 投票 0

从 Databricks 工作区读取 json 文件

我在这里使用 Databricks 官方文档中的第二个示例:使用工作区文件。但我收到以下错误: 问题:导致该错误的原因可能是什么,我们该如何解决? ...

回答 1 投票 0

如何在pyspark中用字典替换单行中的多个值?

我有一个专栏叫水果。每行的格式为 ["apple","banana","mango"]。我有一本包含 {oldvalue:newvalue} 的字典。我想更换appl...

回答 1 投票 0

Databricks 上的托管身份 - DefaultAzureCredential 无法从包含的凭据中检索令牌

我正在尝试向天蓝色的服务总线发送消息。 但我收到以下错误: ServiceBusError:处理程序失败:DefaultAzureCredential 失败 从包含的凭证中检索令牌...

回答 1 投票 0

dbx 到 databricks 资产包

我们一直在使用 dbx 来管理和部署 databricks 作业。在 dbx 中,命令 dbxexecute 在开发过程中非常有用,此时我们可以快速更改内容并执行以检查结果。执行...

回答 1 投票 0

使用命令行数据块提交具有不同参数的作业

我有 jar 和关联的属性文件。为了运行该 jar,我在 Azure 上的 Databricks 上执行了以下操作: 我点击: +创造就业机会 任务:com.xxx.sparkmex.core.ModelExecution 在我的....

回答 2 投票 0

如何在pyspark中加载databricks包dbutils

我试图在 pyspark 中运行以下代码。 dbutils.widgets.text('配置', '', '配置') 它给我一个错误说 回溯(最近一次调用最后一次): 文件“”,第 1 行...

回答 6 投票 0

如何使用 pandas 读取存储在 adls gen 2 中的文件?

我正在尝试通过 databricks 笔记本中的 pandas 读取镶木地板文件。集群有访问adls的权限。 将 pandas 导入为 pd pdf = pd.read_parquet("abfss://abc.parquet") 但是

回答 3 投票 0

从雅虎财经加拿大网站检索新闻文章

我正在尝试检索 2024 年在加拿大雅虎财经发表的有关一家股票代码为 TECK-B.TO 的公司的所有新闻文章。 文章可以在这个URL中看到: https://ca.finance。

回答 1 投票 0

Databricks 写入日志时随机发生 FileNotFoundError: [Errno 2] No such file or directory 错误

我创建了一个记录器,它将日志文件写入 Databricks 项目中的文件夹: defconfigure_logger(记录器,日志文件,级别=logging.DEBUG): ”“” 使用机器人配置记录器...

回答 1 投票 0

DLT 水印名称“窗口”未定义

我正在从流表中读取: df = Spark.readStream.option("ignoreChanges", "true").table(层次结构) 为了简单起见,我们只是说我需要获取列...

回答 1 投票 0

在列掩码函数中获取上下文

我正在尝试设置一个列屏蔽框架,该框架允许通过基于标签的方法启用/禁用列内容的屏蔽。 每个“相关”列都有一个标签,指示...

回答 1 投票 0

Databricks Widget 在执行后未启用

我正在尝试使用 dbutils 的 Widget。成功执行代码后,两个小部件都不会显示,或者有时会显示但无法插入值。 尝试跑步...

回答 1 投票 0

使用 pyspark databricks 正则表达式在特定位置添加双引号

我有下面的数据框,只有一列作为值 abc,1,2,345,765,876,库马尔·拉格万,04041996 abc,1,2,345,765,876,"sam Bailey,20541789 #这里第 6 个逗号后已经存在双引号 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.