databricks 相关问题

有关Databricks统一分析平台的问题

Databricks 无服务器 SQL 仓库查询,以架构名称作为参数

我想在无服务器 SQL 仓库上执行查询,以授予一组用户对目录上特定架构的访问权限(我们尚未启用 Unity Catalog,需要一段时间才能...

回答 1 投票 0

Databricks Github 操作授权失败

我的 Databricks Github 操作突然停止工作。有一天还好好的,第二天就开始出问题了。我不断收到错误错误:授权失败。您的令牌可能已过期...

回答 1 投票 0

如何在 Azure 数据工厂管道中使用 MLflow 运行 Databricks 笔记本?

我和我的同事在尝试在 Azure 数据工厂中运行我的 Databricks 笔记本时遇到了问题。该错误来自 MLFlow。 失败的命令如下: # 拿走...

回答 1 投票 0

Pyspark 循环速度非常慢,一次又一次更新相同的数据帧

我想在 databricks pyspark 中实现一个逻辑,我想根据过去 14 天的更新值更新接下来几天的值。我正在使用循环来做到这一点。下面是代码,但速度很慢...

回答 1 投票 0

如何统一2个同源的表?

我有一个表格,其中的值具有流程愿景(recours),其他值具有库存愿景(PSAP)。我把这张桌子分成两部分,以便将我的流动视野转换为库存视野,它有效......

回答 1 投票 0

TASK_WRITE_FAILED 将行写入 s3 时任务失败

我正在使用 Databricks SQL 运行插入语句: 插入 my_catalog.my_schema.my_table (a, b, c) 从 [...] 中选择 a、b、c; 我收到错误消息: [TASK_WRITE_FAILED] 任务失败...

回答 1 投票 0

我们可以在 Delta 表中保留版本的最大天数是多少?

我们可以在 Delta 表中保留版本的最大天数是多少? 我知道默认情况下 Delta 表保留 7 天的版本。但是,我的团队希望保留所有历史版本......

回答 1 投票 0

Pyspark 数据框奇怪的行为

我有 pyspark df 的问题。 df 有大约 300k 行。在 databricks 中运行 display() 或在 vscode 中运行 show() 时没有问题 并会显示数据。 然而,一旦有 df.select("

回答 1 投票 0

创建在线表未显示在databricks中

在 databricks 中,下拉菜单中的“创建在线表”字段(如此处的文档 https://docs.databricks.com/en/machine-learning/feature-store/online-tables.html 中所示)不是 sh ...

回答 1 投票 0

使用 Databricks (Azure) 查明网站 URL 响应是 404、500 还是 200

是否可以利用 Databricks 通过调用 URL(例如 https://myapp.company.com/)来监控多个内部应用程序,并查看它是否返回 404、500 或 200 响应代码?

回答 1 投票 0

尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误

我有一个名为 my_sdk.whl 的轮子包,是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包,并尝试在...

回答 1 投票 0

PySpark UDF - 读写其他数据帧

在 UDF 中,我想将增量表读入数据帧,根据其内容更新应用 UDF 的实际数据帧的行,然后更新增量表。我会用...

回答 1 投票 0

如何在工作流数据块中创建 for 循环

在 Databricks 中我有 2 个笔记本。第一个在 For 循环中调用第二个,如下所示: 最后的笔记本 1_CIRCUITO 有这样的内容: 对于 list_RREGA 中的文档: dbutils.notebook.run("2_CIR...

回答 1 投票 0

提供的客户端密钥无效 - Azure Databricks、API Auth

我正在尝试授权我的应用程序查询 Log Analytics API。作为 Microsoft 文档中描述的过程的一部分,我需要使用 Microsoft Entra ID OAuth2 flo 请求令牌...

回答 1 投票 0

Databricks 和 Mosaic 抛出弃用错误:没有有关 DBR 13.3 标准的附加信息

我正在尝试在 Databricks 上使用 Mosaic。 以前我能够在 DBR 11.3 上运行 Mosaic 库。但是,此 DBR 11.3 版本不支持卷。 所以我将 DBR 更改为...

回答 1 投票 0

如何从 Azure Devops 将笔记本文件夹部署到 Databricks

我想使用 azure devops 和 terraform 部署 databricks 笔记本。 我收到以下错误: 错误:无法读取笔记本:默认身份验证:azure-cli:无法获取 访问令牌:错误:请运行 'az log...

回答 1 投票 0

通过 Databricks 在 db2 中对表进行批量更新

下面是代码...... 从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = sp...

回答 1 投票 0

通过databricks在db2中对表进行批量更新。 - 面临问题

下面是代码...... `从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = s...

回答 1 投票 0

使用 Databricks(和 Apache Spark)从 AWS Redshift 读取

我正在尝试使用 Databricks 和 AWS Redshift 来执行 SQL SELECT 命令。 我浏览了 https://github.com/databricks/spark-redshift README 并配置: Spark 驱动程序到 Redshift - 我正在路过......

回答 3 投票 0

如何从查询数据库的函数中获取结果,并将行中的值作为参数

我有一个数据框,我想使用行中的值来执行查询(在 Delta Lake 上)并在新列中获取结果。但是在 Synapse 笔记本中我总是收到错误: 看来你是

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.