azure-databricks 相关问题


Databricks CLI 版本 0.209 - 重置 API v2.1 中的现有作业

如何使用 cli v 0.209 重置 databricks 中的现有作业。 已经参考了下面讨论旧版本 databricks-cli 的论坛 Azure Databricks CLI:更新工作流/作业定义...


无法在Azure databricks中实例化EventHubsSourceProvider

我尝试使用以下代码从 Azure Databricks 的事件中心读取数据。 从 pyspark.sql.functions 导入 * 从 pyspark.sql.types 导入 * NAMESPACE_NAME =“*myEventHub*&...


Databricks Spark:java.lang.OutOfMemoryError:GC 开销超出限制 i

我正在 Databricks 集群中执行 Spark 作业。我通过 Azure 数据工厂管道触发作业,它以 15 分钟的间隔执行,因此在成功执行三到四次之后...


在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板?

在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板? 问题是,我想将数据从 S3 存储桶直接复制到 Azure Blob 存储,而不合并它。只需 1:1 复制...


是否可以广播字典并将其用作 pyspark 中的查找?

我正在azure databricks中运行以下代码。 使用 erp_bu 创建查找字典,erp_bu 是具有两列“erp_code”和“bu”的行对象列表 广播查找字典


尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误

我有一个名为 my_sdk.whl 的轮子包,是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包,并尝试在...


将 Databricks SQL 查询转换为 DAX

我有以下 databricks sql 查询,我需要帮助通过查找转换为 DAX。 选择不同的 P.ProgramId ,P.程序名 ,DU.内部电子邮件地址 来自 gold.programid P INNER 加入黄金。


更新DataBricks中String列类型的JSON数据中的特定值

我在databricks目录中有一个列类型为字符串的表。它包含 JSON,我想从中更新特定值,例如“key1”。我已经使用 from_json 将其转换为 json...


禁用 Databricks 笔记本中的命令框

我有一个 Databricks 笔记本。我的笔记本有几个命令。其中一些只是为了我的测试,我不想在生产中运行它们。 有什么办法可以禁用命令。我不想


通过全局初始化脚本启用 Databricks 集群日志

我想通过全局初始化脚本为工作区中的所有集群(新的或旧的)设置集群日志传送。 我尝试通过自定义 Spark conf 添加底层 Spark 属性 - /databricks/dri...


将 pyspark 数据帧转换为代码/语法

假设我在 Databricks 中有以下 pyspark 数据框: 一些其他列 价格_历史记录 测试1 [{“日期”:“2021-03-21T01:20:33Z”,“price_tag”:“N”,...


pyspark 中没有发生小数点后 2 舍入

我正在databricks中进行以下计算,并四舍五入到小数点后两位。 结果 = ( 圆形的( 合并( 当(col('col')!= 0,col('col')), 当(col('col')!...


Sharepoint 文件修改时触发 Synapse Pipeline 的方法

我正在寻找一种在文件被修改时触发 Synapse 管道(运行 Databricks 笔记本和 Web 活动来刷新 PowerBI)的方法。 假设我的 Sharepoint 网站上有一个 data.xlsx


如何在Azure Function中获取连接字符串?

我在 Azure 云中有一个 Azure Function 和一个 PostreSQL DB。 我想从我的 Azure 函数访问连接字符串,我们将其称为 IT-PostgreSQL。 这是我的Azure功能: 命名空间


私有端点连接Azure SQL数据库

我已经有 Azure SQL Server 的专用端点。在 Azure 数据工厂中创建链接服务时,如何配置 Azure SQL 数据库的专用端点?


Azure DevOps 服务器到 Azure DevOps 服务迁移

我已将本地 Azure DevOps 2020 服务器迁移到 Azure DevOps 服务作为试运行。 迁移将我现有的 [email protected] 帐户映射到我的 [email protected] ...


3 月 31 日之后 Azure 应用服务备份是否可用?

关于微软针对 azure 应用程序服务的声明,摘自此处 https://learn.microsoft.com/en-us/azure/app-service/manage-disaster-recovery “从 2025 年 3 月 31 日开始,Azure ...


从消费计划Azure功能访问Azure KV

我在 VNET 中部署了一个 Azure Key Vault,并且禁用了公共访问。我需要从无服务器的消费 Azure 函数中获取该 KV 的秘密。 问题是,作为那种类型...


我对 azure devops 管道有疑问

现在,我今天有一个关于 Azure DevOps 管道的问题。您需要告诉我在下面的实例中触发 Azure DevOps 管道的原因,即使源...


Azure 存储模拟器问题

我在我的计算机上安装了 Azure 模拟器。然后尝试运行启动批处理,但失败并出现以下错误 C:\Program Files (x86)\Microsoft SDKs\Azure\Storage Emulator>


Azure API 管理:如何将原始响应正文存储为变量并输出选定字段?

我在 Azure API 管理中创建了一个简单的 API,目的是在 Azure DevOps Boards 中创建工作项。我在 Azure Board 端点的 API 策略中创建了一个 标签...


azure function 应用程序环境的配置值

您正在开发一个Azure Function App。您使用 Azure Function App 主机不支持的语言开发代码。代码语言支持 HTTP 原语。 您必须部署...


列出 Azure 帐户中所有订阅的 Azure 资源

我需要列出所有订阅的 Azure 帐户中的 Azure SQL 服务器。 我需要在一次调用中列出所有订阅的它们,或者是否有其他方法可以实现此目的,例如使用脚本...


如何从 AzureRM 类型(自动)创建服务连接 Azure DevOps(使用服务主体-自动)

我需要创建从 Azure DevOps 中的许多项目到我在 Azure 中的订阅的连接。 我还需要他来自 azure 资源管理器类型,并且将创建他们的服务主体


有没有办法在Azure API管理后面运行Azure Web App?

无法正确运行使用 API 管理和 .这个想法是在 Azure APIM 背后拥有多个 Web 应用程序 我部署了一个示例 Python (...


配置 Azure 应用程序网关以从 Azure 存储容器提供静态网站服务

我需要一些帮助来解决 Azure 应用程序网关的问题。 我的想法是从 Azure 存储容器提供 SPA,因此我配置了启用静态网站的存储帐户。后背...


无法通过PAT令牌调用Azure DevOps Rest Api

我正在尝试使用 Azure DevOps Rest api 将保存在本地目录(桌面)中的 json 文件导入到 Azure DevOps 库变量组。 这是剧本。 $jsonbody = Get-Content -Path "C: ar...


Azure 中国的 Python 资源管理器客户端指向错误的端点

我正在尝试使用ARM模板将资源部署到Azure China。我有针对 Azure 执行此操作的代码,现在我正在针对 Azure 中国进行调整,我相信我应该执行的唯一更改...


按标签列出来自 Azure 的资源

我有以下简单的代码片段,用于按 Azure 标签列出资源,但我无法使过滤器工作。我究竟做错了什么? 使用 Azure.Core; 使用 Azure.Identity; 使用 Azure。


为 Azure SQL 托管实例设置 Active Directory 管理员失败

我无法在 Azure 门户中或使用 Cloud Shell 将 Active Directory 管理员添加到新创建的 SQL 托管实例。 当我在 Azure 门户中尝试时,操作失败...


passport-azure-ad / msal.js 和动态作用域

Azure AD v2.0 讨论了动态同意的优点之一 (https://github.com/AzureAD/microsoft-authentication-library-for-js/wiki/api-scopes#request-dynamic-scopes- for-增量-c...


在 .NET Core 3.1 中验证 Azure AD 生成的 JWT 签名和算法

我是 Azure AD 新手。我们正在使用 v1.0 令牌。我有一个 Azure JWT 令牌验证例程,主要基于 ValidateSignature 和 AzureTokenValidation 以下是我的 ClaimsTransformer: 公共任务...


使用 Azure DEVOPS CLI 将特定用户分配给多个项目

我是 Azure DEVOPS CLI 的新手,我需要使用 AZURE DEVOPS CLI 为组织中的所有项目分配特定用户。该组织的项目总数约为 25 个。 格雷...


如何使用Azure Portal将容器应用程序连接到自定义VNet?

我正在尝试按照此处的说明进行操作: https://learn.microsoft.com/en-us/azure/container-apps/vnet-custom?tabs=bash%2Cazure-cli&pivots=azure-portal 上面的分步页面说明了


如何使用 Powershell 表达 Azure 文件共享位置

我正在尝试修改当前的Powershell以指向Azure文件共享。 目前,底部 Powershell 在本地驱动器中使用,但我想更改为指向 Azure 文件共享。 参数([圣...


如何连接到 Azure 虚拟网络中的数据库

我的本地计算机上运行着一个 Spring 应用程序服务器,我想与托管在 Azure 虚拟网络上的 MySQL 数据库建立连接。 Azure 指定只有资源...


如何将测试用例从Azure DevOps迁移到TestRail?

我们的组织希望将所有测试用例从 Azure DevOps 转移到 TestRail。我怎样才能做到这一点?当我在这里检查 azure DevOps Rest API 时,没有这样的 api 来提取


MDE.Windows Azure VM 扩展配置失败

我们最近将 Windows Server 2016 从 Onprem 迁移到 Azure 云。之后我注意到“MDE.Windows”扩展显示“配置失败”消息。下面是...


无法使用 Azure 帐户所有者向应用程序授予管理员同意

我的环境快速总结: 我目前只有一个 Azure 主帐户,在这个父帐户下我配置了 1qty 个租户。我之前在租户 l 中使用过 Azure AD...


尝试在 React 应用程序中使用“azure-maps-animations”NPM 包时出现“未找到导出”错误消息

我们正在尝试在 React 应用程序中使用 Azure Maps Animations NPM 包,但无法导入它。 我们尝试了以下代码: 从“azure-maps-animations”导入{animations}; //


Azure Key Vault 是否适合存储客户端应用程序生成的加密密钥?

我有客户端应用程序,可以生成在设备上加密的数据。加密密钥通过 HTTPS 发送到使用 Azure Key Vault 存储加密密钥的 Azure 函数...


从我的 Asp.Net Core Blazor 网站以编程方式添加 Azure APIM 用户和订阅

我想从我的网站而不是 Azure 门户添加 Azure APIM 用户和订阅。 并想在我的网站中显示订阅密钥... 有没有任何图书馆或可用的东西??? ...


将 XmlSerializer 与 Azure ShareFileClient 结合使用会创建大小不正确的文件

我正在尝试使用 XmlSerializer 将 XML 文件写入 azure 文件共享,但我的文件始终与我设置的 MaxSize 一样大。 我有一个 Azure 函数,它调用以下函数来写入 imp...


azure 数据工厂 - 从另一个表和多个条件创建新列

使用Azure数据工厂,我希望从blob存储中引入一个csv文件,稍微转换数据,然后保存到azure sql。从我正在审查的教程来看,这看起来非常简单......


Azure Function Python V2 一个函数应用程序中的多个函数

我正在寻找有关在一个 Azure Function App 中为多个函数创建项目结构的指导。这是我之前读过的一篇文章 在一个 Azure Function App 中创建多个函数 有一个...


如何在 Linux 消费计划上托管的 Azure 函数中使用本地文件?

我在Linux消耗计划下的Azure上有一个事件网格触发功能。该代码需要查找/加载一些本地模型文件。如何将这些文件部署到 Azure 功能...


如何检查设备是否已加入 AD 或 Azure AD 加入/注册?

我需要检查我的设备是否已加入本地域或 Azure AD 加入/注册。如何检查这个?我尝试了 NetGetJoinInformation,但无法获取 Azure AD 加入场景的任何信息。谁都可以吗


将 Azure 通信服务与 MS DevTunnel 连接

我正在关注 GitHub 上的官方 Azure communications-services-python-quickstarts 存储库,该存储库指示用户使用 Webhook 注册 EventGrid 订阅资源来处理


在 Azure 中添加 Linux Defender 扩展时出现问题

注意:交叉发布在 Hashicorp 论坛:https://discuss.hashicorp.com/t/problems-in-adding-linux-defender-extension-in-azure/53949 我正在尝试将 MS Defender 扩展添加到 Linux VM (rockylin...


azure aks 将 k8 集群中运行的 mongodb 备份到本地文件或 azure 存储

问题陈述 我们想要备份在 azure 中的 k8s 集群中运行的 mongodb,并将其导出到在不同 k8s 集群中运行的其他 mongodb 中。 有没有人提供与此相关的指针


© www.soinside.com 2019 - 2024. All rights reserved.