databricks 相关问题

有关Databricks统一分析平台的问题

Pyspark 数据框奇怪的行为

我有 pyspark df 的问题。 df 有大约 300k 行。在 databricks 中运行 display() 或在 vscode 中运行 show() 时没有问题 并会显示数据。 然而,一旦有 df.select("

回答 1 投票 0

创建在线表未显示在databricks中

在 databricks 中,下拉菜单中的“创建在线表”字段(如此处的文档 https://docs.databricks.com/en/machine-learning/feature-store/online-tables.html 中所示)不是 sh ...

回答 1 投票 0

使用 Databricks (Azure) 查明网站 URL 响应是 404、500 还是 200

是否可以利用 Databricks 通过调用 URL(例如 https://myapp.company.com/)来监控多个内部应用程序,并查看它是否返回 404、500 或 200 响应代码?

回答 1 投票 0

尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误

我有一个名为 my_sdk.whl 的轮子包,是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包,并尝试在...

回答 1 投票 0

PySpark UDF - 读写其他数据帧

在 UDF 中,我想将增量表读入数据帧,根据其内容更新应用 UDF 的实际数据帧的行,然后更新增量表。我会用...

回答 1 投票 0

如何在工作流数据块中创建 for 循环

在 Databricks 中我有 2 个笔记本。第一个在 For 循环中调用第二个,如下所示: 最后的笔记本 1_CIRCUITO 有这样的内容: 对于 list_RREGA 中的文档: dbutils.notebook.run("2_CIR...

回答 1 投票 0

提供的客户端密钥无效 - Azure Databricks、API Auth

我正在尝试授权我的应用程序查询 Log Analytics API。作为 Microsoft 文档中描述的过程的一部分,我需要使用 Microsoft Entra ID OAuth2 flo 请求令牌...

回答 1 投票 0

Databricks 和 Mosaic 抛出弃用错误:没有有关 DBR 13.3 标准的附加信息

我正在尝试在 Databricks 上使用 Mosaic。 以前我能够在 DBR 11.3 上运行 Mosaic 库。但是,此 DBR 11.3 版本不支持卷。 所以我将 DBR 更改为...

回答 1 投票 0

如何从 Azure Devops 将笔记本文件夹部署到 Databricks

我想使用 azure devops 和 terraform 部署 databricks 笔记本。 我收到以下错误: 错误:无法读取笔记本:默认身份验证:azure-cli:无法获取 访问令牌:错误:请运行 'az log...

回答 1 投票 0

通过 Databricks 在 db2 中对表进行批量更新

下面是代码...... 从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = sp...

回答 1 投票 0

通过databricks在db2中对表进行批量更新。 - 面临问题

下面是代码...... `从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = s...

回答 1 投票 0

使用 Databricks(和 Apache Spark)从 AWS Redshift 读取

我正在尝试使用 Databricks 和 AWS Redshift 来执行 SQL SELECT 命令。 我浏览了 https://github.com/databricks/spark-redshift README 并配置: Spark 驱动程序到 Redshift - 我正在路过......

回答 3 投票 0

如何从查询数据库的函数中获取结果,并将行中的值作为参数

我有一个数据框,我想使用行中的值来执行查询(在 Delta Lake 上)并在新列中获取结果。但是在 Synapse 笔记本中我总是收到错误: 看来你是

回答 1 投票 0

将Databricks社区版连接到Neo4j并收到ModuleNotFoundError:没有名为“neo4j”的模块错误

我正在使用 Databricks 社区版进行练习,并尝试将数据帧读/写到 Neo4j 并按照此处的指南进行操作 https://towardsdatascience.com/using-neo4j-with-pyspark-on-databricks-

回答 1 投票 0

使用 Kaggle 的 API 将数据集从 Kaggle 导入到 Databricks

这里尝试使用 Kaggle 的 API 将数据集从 **Kaggle ** 导入 **DataBricks **(社区)。但我已经跌倒了,迷失了三天。请好心人可以帮助我。 尝试1: !pip 安装 Kaggle

回答 3 投票 0

MLflow 1.2.0 定义MLproject文件

尝试通过指定 MLproject 和与 MLproject 文件位于不同位置的代码来运行 mlflow。 我有以下目录结构: /根/mflow_test 。 ├── 康达 │   ├── 康达。

回答 1 投票 0

Databricks - 手空格和 - 列名称

我需要在我的开发目录中创建一个表,它的第二列就是问题所在,当我运行下面的命令时,我收到错误 创建表 dev.base_header( Hdr_Template_Version 字符串, `Excel -

回答 1 投票 0

执行从 Databricks 到 Azure SQL 数据库的更新插入操作

我正在研究一种使用 PySpark 将数据更新插入我的 Azure SQL 数据库的方法。我想使用 Merge 语句来实现此目的,但我不确定如何使其与 Azure sql 数据库一起使用。我已经...

回答 1 投票 0

非 VNet 注入的 Databricks 工作区

如果我有非 vnet 注入的 Databricks 工作区设置,如何将其更新为 vnet 注入而不消除工作区并重新开始?

回答 1 投票 0

Databricks sql 输出

我在databricks sql中编写了一个查询,但输出不是我所期望的。尝试了一些方法来确定原因,但还是卡住了,希望能帮到你。 输出目前正在生产...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.