有关Databricks统一分析平台的问题
通过 Terraform 创建 Databricks 元存储
我尝试通过 Terraform 创建 Databricks 元存储。我的服务主体 (SP) 是包含 Databricks 工作区和 Databricks 帐户管理员的 azure 订阅的所有者。他...
如何通过 Terraform 在 Azure DataBricks 中启用 Serverless SQL 仓库
我正在尝试在无服务器类型的 Azure DataBricks 中部署 SQL 仓库。为此，我打算使用 databricks Terraform 提供程序，其中可以使用
有人知道 Databricks 使用 databricks_mws_log_delivery Terraform 资源在 S3 存储桶中创建日志的典型持续时间吗？我已经实现了
使用databricks笔记本将两个pandas数据框写入ADLS目录中excel中的两个不同工作表
首先，我尝试直接写入 blob。但这没有用。因此，我尝试写入临时目录，然后将文件移动到所需的目录。即使这样也不起作用。我看着...
如何使用无服务器集群在 Databricks 上运行 Azure DevOps 管道
我正在编写一个 Azure Devops 管道，以在 Databricks 上使用 nutter 运行单元测试。 正如 nutter 文档中所述，这是运行测试的代码： nutter run /Shared/ $CLUSTER --recurs...
PySpark withColumn() 函数无法识别层次结构
我有一个任务，将结构类型的嵌套结构转换为内部有结构的数组类型。为此，我遵循使用 withColumn() 函数的方法。官方文档说这个
如您所见，这是 ADF 中复制活动中数据类型的常规列映射，我们可以在其中将数据类型、列名称等从源更改为目标。 如果我想在数据库中进行相同的设置...
Python Databricks Dataframe 连接过滤记录意外
在Azure Databricks中我有以下表格： [文件处理历史记录] ID bigint 客户端 varchar(255) 文件名 varchar(255) 文件类型 varchar(3) 事件类型 varchar(100) EventContext v...
有没有办法集成Databricks和pylint来liniting pyspark/python代码？如果没有，是否有其他替代方案？
使用 pyspark dataframe 从嵌套 json 中提取数据
我在名为 json_col 的列中有以下数据，用于 databricks 中的数据框产品，该产品也具有其他列。 json_col 的数据有如下数据 html:null ,语言:null ,m...
Databricks 与 Oracle Cloud 的连接：侦听器拒绝连接并出现以下错误
我对此错误感到非常沮丧，因为“侦听器拒绝连接并出现以下错误：”。我真的不知道是什么导致了这个错误，我什至没有完整的错误......
“LogisticRegressionTrainingSummary”对象没有属性“fMeasureByThreshold”
我是 Pyspark 和 Databricks 的新手，正在尝试创建 Logistic 回归模型（通过 Databrticks 本身提供的 Spark_DS&ML_exercise）。将模型适合我的训练后...
最近我在 pyspark 中遇到了一个问题，比如致命错误：python 内核无响应。是内存错误还是其他类型的错误？有人可以解释一下吗？
我们正在从大型仓库中提取数据并保存，如下所示 表格1 2024-01-01_2024-03-31 ├── _成功 ├──_commited_1849751916443920415 ├──_开始_1849751916443920415 ├── p...
我对 SQL 相当陌生，遇到了如下问题。 我有一个 EMPLOYEE 表，每天都会用最新数据刷新。它有 5 列： 员工 ID、姓名、职位、地点、员工...
有没有办法使用Python连接Delta Live Tables上的两个Live Table？
我想加入两个正在流式传输的银表实时表以创建金表，但是，我遇到了多个错误，包括“RuntimeError（”查询函数必须...
导入pyodbc 服务器 = '服务' 用户名 = '用户名' 密码='密码' 驱动程序 = '{用于 SQL Server 的 ODBC 驱动程序 17}' 架构 = '架构' 数据库='数据库' cnxn = pyodbc.connect('DRIVER='+驱动器...
在 Databricks 中的 Delta Live 表作业中在 Pyspark 中创建表
我正在运行一个 DLT（Delta Live Table）作业，该作业为两个单独的表创建青铜表 > 银表。所以最后，我有两个独立的金表，我想将它们合并成一个......
如何设置 Delta Live Tables 访问 Azure Data Lake 文件的授权？
我正在用sql编写增量实时表笔记本来访问数据湖中的文件，如下所示： 创建或刷新流直播表 MyTable AS SELECT * FROM cloud_files("DataLakeSou...
将列表/数据框（R）转换为databricks中的data.table
我通过运行以下命令在 Databricks R 中创建了一个对象：- 数据1_df <- spark_read_table(sc, "data1") The object type apparently is "list" Partial structur...