databricks 相关问题

有关Databricks统一分析平台的问题

为数据块端点启用推理

我试图简单地为现有端点启用推理表,但不确定它是否显示 - 一个或多个服务实体上发生错误。 我正在关注这个 https://learn.microsoft.com/en-us/

回答 1 投票 0

无法识别的存储方案:uc-volumes

我通过将 docker 映像指定为 databricksruntime/standard:15.4-LTS 和身份验证:默认来创建计算集群。 我已将 Spark 配置设置为:spark.databricks.unityCatalog.volumes。

回答 1 投票 0

如何从 Azure Databricks 输出“底层 SQLException”而不是通用异常消息?

我们从数据工厂管道调用 Azure Databricks 笔记本,该管道执行 Azure Synapse 的摄取。但每当笔记本运行失败时,它只会显示以下错误消息: com.data...

回答 2 投票 0

如何在 Databricks 工作流 UI 中传递动态参数(例如当前日期)

我正在 Databricks 工作流 UI 中设置一个作业,我想在每次作业运行时动态传递参数值,例如当前日期 (run_date)。在Azure数据工厂中,我可以使用express...

回答 1 投票 0

Databricks SQL string_agg

希望快点; 将一些本地 SQL 视图迁移到 Databricks 并努力寻找某些函数的转换。主要函数是 string_agg 函数。 string_agg(字段名称, ', ')

回答 4 投票 0

如何从Python单元在databricks笔记本中显示Markdown输出

使用 IPython/Jupyter 可以使用 IPython 显示模块及其 MarkDown 类输出 markdown。 问题 如何使用 Azure Databricks 实现此目的? 我尝试过的 数据块显示...

回答 2 投票 0

如何使用pyspark.sql.SparkSession.builder.config(databricks)设置目录和数据库

我想使用 pyspark 创建一个 Spark 会话,并使用 Spark 配置更新会话的目录和数据库,这可能吗? 使用配置不起作用 我尝试更新目录和会话...

回答 1 投票 0

如何将输出变量从子模块传递到调用者模块

实际的例子很复杂,我尝试简化一下: 变量“输入”{ 类型=字符串 默认“忽必烈汗在世外桃源” } 模块“子”{ 苏...

回答 1 投票 0

在 Databricks Community Edition 的目录部分中看不到 DBFS 选项

当我登录 Databricks Community Edition 时,我不再看到查看 DBFS 文件的选项。我上周才能够访问它们。我已检查设置,但找不到管理控制台...

回答 1 投票 0

Spark DataFrame 中由于在特定分区上过滤时过滤器表达式过多而出现 StackOverflowError

我正在开发一个 Spark (Scala) 应用程序,我需要过滤掉特定分区(嵌套):region_name/audit_submission_date_hr_min。 Region_name 是顶级分区。

回答 1 投票 0

使用 Markdown 将 .py 文件转换为 Databricks

我希望将 python .py 文件转换为可以在具有多个单元的 Databricks 上运行的文件。我不想在 GUI 中执行此操作,因为我最终需要一个自动化过程。什么是

回答 2 投票 0

Azure Databricks Key Vault 支持使用托管身份的秘密范围

如果我有一个带有 Azure 基于角色的访问控制(推荐)访问控制的 Azure 密钥保管库, 我想通过使用服务主体或托管标识来启用 Azure 支持的机密范围,...

回答 1 投票 0

如何使用 Databricks 应用程序部署 Streamlit 应用程序

我想使用 Databricks 应用程序运行 Streamlit。 我有 python 代码(在下面找到),我可以在 Visual Studio 代码中使用它来运行 Streamlit 应用程序,甚至将上传到 Streamlit 的文件上传到 Azure blob

回答 1 投票 0

PIVOT 如何将 Dataframe api 转换为 Spark SQL

在将 dataframe api 转换为 Spark SQL 时,我得到了不同的输出。指出我错过了 sql 逻辑的地方。 我有一个名为演示的表,有两列值和标记。值列是 seq

回答 1 投票 0

如何以与语言无关的方式将本地 parquet 文件上传到远程 Databricks 表?

我有一个 dotnet 项目,我正在生成一堆 parquet 文件。我想将这些镶木地板文件上传到 Databricks。我宁愿避免将 python 引入到这个项目中。有没有...

回答 1 投票 0

为什么我可以从databricks导入sql

我尝试将Databricks与Jupyter笔记本连接并运行sql。 我 pip 安装了 Databricks,但是当我尝试“from Databricks import sql”时,它只是说我无法从 Databricks 导入 name sql。

回答 1 投票 0

为什么Spark向外部表插入数据后不创建新文件?

我有一个 .csv 文件 data.csv 存储在以下位置:dbfs:/raw/data/externalTables/emp_data_folder/emp_data.csv 以下是文件中数据的示例: 爱丽丝,25,50000,北 鲍勃,30,60000,南 查理,35,

回答 1 投票 0

覆盖 databricks 资源包中特定目标的所有任务的库设置

如何覆盖特定目标中所有任务的任务设置,而不必通过其任务键单独命名每个任务? 我知道我可以执行以下操作来覆盖库设置...

回答 1 投票 0

Databricks 笔记本命令失败并出现错误:值 SparkContext 不是 org.apache.spark.sql.SparkSession 的成员

我正在尝试获取 FileSystem 对象,以便我可以使用云存储中的文件,而无需使用 dbutils 实用程序功能。这将使我的代码可以在任何平台上运行

回答 1 投票 0

希尔伯特曲线对液体聚类的影响

我了解到 Databricks 的新 Liquid Clustering 功能使用希尔伯特曲线将记录放入不同的 DLT (Parquet) 底层文件中。 我猜您选择的列...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.