有关Databricks统一分析平台的问题
我试图简单地为现有端点启用推理表,但不确定它是否显示 - 一个或多个服务实体上发生错误。 我正在关注这个 https://learn.microsoft.com/en-us/
我通过将 docker 映像指定为 databricksruntime/standard:15.4-LTS 和身份验证:默认来创建计算集群。 我已将 Spark 配置设置为:spark.databricks.unityCatalog.volumes。
如何从 Azure Databricks 输出“底层 SQLException”而不是通用异常消息?
我们从数据工厂管道调用 Azure Databricks 笔记本,该管道执行 Azure Synapse 的摄取。但每当笔记本运行失败时,它只会显示以下错误消息: com.data...
如何在 Databricks 工作流 UI 中传递动态参数(例如当前日期)
我正在 Databricks 工作流 UI 中设置一个作业,我想在每次作业运行时动态传递参数值,例如当前日期 (run_date)。在Azure数据工厂中,我可以使用express...
希望快点; 将一些本地 SQL 视图迁移到 Databricks 并努力寻找某些函数的转换。主要函数是 string_agg 函数。 string_agg(字段名称, ', ')
如何从Python单元在databricks笔记本中显示Markdown输出
使用 IPython/Jupyter 可以使用 IPython 显示模块及其 MarkDown 类输出 markdown。 问题 如何使用 Azure Databricks 实现此目的? 我尝试过的 数据块显示...
如何使用pyspark.sql.SparkSession.builder.config(databricks)设置目录和数据库
我想使用 pyspark 创建一个 Spark 会话,并使用 Spark 配置更新会话的目录和数据库,这可能吗? 使用配置不起作用 我尝试更新目录和会话...
实际的例子很复杂,我尝试简化一下: 变量“输入”{ 类型=字符串 默认“忽必烈汗在世外桃源” } 模块“子”{ 苏...
在 Databricks Community Edition 的目录部分中看不到 DBFS 选项
当我登录 Databricks Community Edition 时,我不再看到查看 DBFS 文件的选项。我上周才能够访问它们。我已检查设置,但找不到管理控制台...
Spark DataFrame 中由于在特定分区上过滤时过滤器表达式过多而出现 StackOverflowError
我正在开发一个 Spark (Scala) 应用程序,我需要过滤掉特定分区(嵌套):region_name/audit_submission_date_hr_min。 Region_name 是顶级分区。
使用 Markdown 将 .py 文件转换为 Databricks
我希望将 python .py 文件转换为可以在具有多个单元的 Databricks 上运行的文件。我不想在 GUI 中执行此操作,因为我最终需要一个自动化过程。什么是
Azure Databricks Key Vault 支持使用托管身份的秘密范围
如果我有一个带有 Azure 基于角色的访问控制(推荐)访问控制的 Azure 密钥保管库, 我想通过使用服务主体或托管标识来启用 Azure 支持的机密范围,...
如何使用 Databricks 应用程序部署 Streamlit 应用程序
我想使用 Databricks 应用程序运行 Streamlit。 我有 python 代码(在下面找到),我可以在 Visual Studio 代码中使用它来运行 Streamlit 应用程序,甚至将上传到 Streamlit 的文件上传到 Azure blob
PIVOT 如何将 Dataframe api 转换为 Spark SQL
在将 dataframe api 转换为 Spark SQL 时,我得到了不同的输出。指出我错过了 sql 逻辑的地方。 我有一个名为演示的表,有两列值和标记。值列是 seq
如何以与语言无关的方式将本地 parquet 文件上传到远程 Databricks 表?
我有一个 dotnet 项目,我正在生成一堆 parquet 文件。我想将这些镶木地板文件上传到 Databricks。我宁愿避免将 python 引入到这个项目中。有没有...
我尝试将Databricks与Jupyter笔记本连接并运行sql。 我 pip 安装了 Databricks,但是当我尝试“from Databricks import sql”时,它只是说我无法从 Databricks 导入 name sql。
我有一个 .csv 文件 data.csv 存储在以下位置:dbfs:/raw/data/externalTables/emp_data_folder/emp_data.csv 以下是文件中数据的示例: 爱丽丝,25,50000,北 鲍勃,30,60000,南 查理,35,
覆盖 databricks 资源包中特定目标的所有任务的库设置
如何覆盖特定目标中所有任务的任务设置,而不必通过其任务键单独命名每个任务? 我知道我可以执行以下操作来覆盖库设置...
Databricks 笔记本命令失败并出现错误:值 SparkContext 不是 org.apache.spark.sql.SparkSession 的成员
我正在尝试获取 FileSystem 对象,以便我可以使用云存储中的文件,而无需使用 dbutils 实用程序功能。这将使我的代码可以在任何平台上运行
我了解到 Databricks 的新 Liquid Clustering 功能使用希尔伯特曲线将记录放入不同的 DLT (Parquet) 底层文件中。 我猜您选择的列...