最近,Databricks 新增了一个功能——文件触发器。 然而,这个功能似乎需要一个存储帐户来允许所有网络流量。
我的存储帐户配置了防火墙,它拒绝来自未知来源的流量。 Databricks Workspace 部署到我们的内部网络——我们正在使用 Vnet 注入。所有必要的子网都被列入白名单,通常,存储工作正常,但没有文件触发器。 如果我关闭存储防火墙,文件触发器工作正常。 外部位置和 Azure Databricks 连接器配置正确。
我得到的错误:
存储位置 abfss://@.dfs.core.windows.net/ 的凭据无效。 Unity 目录中外部位置的凭据不能用于从配置的路径读取文件。请授予所需的权限。
如果我查看我的存储帐户中的日志 - 它看起来像文件触发器列出了从 10.120.x.x 开始的私有 IP 地址的存储帐户。 如何将此服务列入白名单?我想将我的存储保存在防火墙之下。
• Azure DataBricks 导入错误:无法导入名称 dataclass_transform
• Databricks 到 SQL 连接错误:[unixODBC][驱动程序管理器]无法打开库“SQL Server 的 ODBC 驱动程序 17”
• databricks 自动加载器使用 MAP() 类型作为模式提示
• 在 Databricks SQL (Spark SQL) 中,有没有一种方法可以按表、模式和目录计算行数?
• 从 Azure DataFactory 查询 Azure DataBricks 中的数据
• Python DatabricksCLI:get_run 总是失败
• Databricks 中的 ThreadPoolExecutor 和驱动程序节点内存问题
• Azure DevOps 发布管道 AttributeError: type object 'Retry' has no attribute 'DEFAULT_METHOD_WHITELIST'
• Azure Databricks 管道:等待集群启动消息
• 使用来自 abfss (azure blob) 的 InitScripts 从 ADF 链接服务创建新的数据块集群
• DataBricks update_postimage 和 update_preimage 在更改数据馈送 (CDF) 中的位置
• SQL相当于pandas转换(groupy + transform)