有关Databricks统一分析平台的问题
Databricks 无服务器 SQL 仓库查询,以架构名称作为参数
我想在无服务器 SQL 仓库上执行查询,以授予一组用户对目录上特定架构的访问权限(我们尚未启用 Unity Catalog,需要一段时间才能...
我的 Databricks Github 操作突然停止工作。有一天还好好的,第二天就开始出问题了。我不断收到错误错误:授权失败。您的令牌可能已过期...
如何在 Azure 数据工厂管道中使用 MLflow 运行 Databricks 笔记本?
我和我的同事在尝试在 Azure 数据工厂中运行我的 Databricks 笔记本时遇到了问题。该错误来自 MLFlow。 失败的命令如下: # 拿走...
我想在 databricks pyspark 中实现一个逻辑,我想根据过去 14 天的更新值更新接下来几天的值。我正在使用循环来做到这一点。下面是代码,但速度很慢...
我有一个表格,其中的值具有流程愿景(recours),其他值具有库存愿景(PSAP)。我把这张桌子分成两部分,以便将我的流动视野转换为库存视野,它有效......
TASK_WRITE_FAILED 将行写入 s3 时任务失败
我正在使用 Databricks SQL 运行插入语句: 插入 my_catalog.my_schema.my_table (a, b, c) 从 [...] 中选择 a、b、c; 我收到错误消息: [TASK_WRITE_FAILED] 任务失败...
我们可以在 Delta 表中保留版本的最大天数是多少? 我知道默认情况下 Delta 表保留 7 天的版本。但是,我的团队希望保留所有历史版本......
我有 pyspark df 的问题。 df 有大约 300k 行。在 databricks 中运行 display() 或在 vscode 中运行 show() 时没有问题 并会显示数据。 然而,一旦有 df.select("
在 databricks 中,下拉菜单中的“创建在线表”字段(如此处的文档 https://docs.databricks.com/en/machine-learning/feature-store/online-tables.html 中所示)不是 sh ...
使用 Databricks (Azure) 查明网站 URL 响应是 404、500 还是 200
是否可以利用 Databricks 通过调用 URL(例如 https://myapp.company.com/)来监控多个内部应用程序,并查看它是否返回 404、500 或 200 响应代码?
尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误
我有一个名为 my_sdk.whl 的轮子包,是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包,并尝试在...
在 UDF 中,我想将增量表读入数据帧,根据其内容更新应用 UDF 的实际数据帧的行,然后更新增量表。我会用...
在 Databricks 中我有 2 个笔记本。第一个在 For 循环中调用第二个,如下所示: 最后的笔记本 1_CIRCUITO 有这样的内容: 对于 list_RREGA 中的文档: dbutils.notebook.run("2_CIR...
提供的客户端密钥无效 - Azure Databricks、API Auth
我正在尝试授权我的应用程序查询 Log Analytics API。作为 Microsoft 文档中描述的过程的一部分,我需要使用 Microsoft Entra ID OAuth2 flo 请求令牌...
Databricks 和 Mosaic 抛出弃用错误:没有有关 DBR 13.3 标准的附加信息
我正在尝试在 Databricks 上使用 Mosaic。 以前我能够在 DBR 11.3 上运行 Mosaic 库。但是,此 DBR 11.3 版本不支持卷。 所以我将 DBR 更改为...
如何从 Azure Devops 将笔记本文件夹部署到 Databricks
我想使用 azure devops 和 terraform 部署 databricks 笔记本。 我收到以下错误: 错误:无法读取笔记本:默认身份验证:azure-cli:无法获取 访问令牌:错误:请运行 'az log...
下面是代码...... 从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = sp...
通过databricks在db2中对表进行批量更新。 - 面临问题
下面是代码...... `从日期时间导入日期时间,日期 def update_chk_table(ENV, notebook_name, df): # 使用 jdbc-url, + sql uname & pass 创建连接对象 连接 = s...
使用 Databricks(和 Apache Spark)从 AWS Redshift 读取
我正在尝试使用 Databricks 和 AWS Redshift 来执行 SQL SELECT 命令。 我浏览了 https://github.com/databricks/spark-redshift README 并配置: Spark 驱动程序到 Redshift - 我正在路过......
我有一个数据框,我想使用行中的值来执行查询(在 Delta Lake 上)并在新列中获取结果。但是在 Synapse 笔记本中我总是收到错误: 看来你是