无法启动Azure Databricks群集

问题描述 投票:0回答:2

我是MS Azure的新手。我正在尝试下载Microsoft Academic Graph进行各种分析,但它们不提供批量下载结构化数据集。诸如openacademicgraph之类的外部资源并没有真正有用,所以我认为我可以尝试通过Azure下载数据。

幸运的是,有关于此的手册-“在Azure存储上获取Microsoft Academic Graph-docs.microsoft.com/zh-cn/academic-services/graph/get-started-setup-provisioning”。

我按照手册中的步骤为MAG创建了一个Azure帐户,并从Academic Knowledge API获得了以下电子邮件-


欢迎使用Microsoft Academic Graph(MAG)Azure存储(AS)分发预览。请注意,此分发处于免费预览阶段。定价结构可能会发生变化。

您的Azure存储已成功设置为通过Azure数据工厂接收MAG更新。每个MAG数据集都提供给名为“ mag-yyyy-mm-dd”的单独容器。 2020-02-14数据集已推送到您的Azure存储。

由于MAG带有ODC-BY许可,您将被授予基于开放数据许可条款(例如,产品,服务或社区活动中对MAG的归属)的增值和重新分配衍生产品的权利。

MAG的每个快照将作为一个单独的容器显示在您的Azure存储中。在Microsoft Academic Graph文档中,您可以找到一个示例,以使用Azure Databricks从MAG中提取应用程序的知识。还有一个使用U-SQL的示例,该示例是Azure Data Lake Analytic Framework的成员。

我们还将我们用于WWW Conference Analytics博客文章的出色Analytics(分析)和可视化示例放在一起。我们希望这可以帮助您加快开发过程并激发想象力!


下一步是“为Microsoft Academic Graph设置Azure Databricks-docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks”。我能够为MAG创建Azure Databricks(我不知道它们是什么,因为我对此还不熟悉),但是现在我无法运行它。

以下是我收到的错误消息:


消息

集群终止。原因:云提供商启动失败

启动工作程序节点时遇到云提供商错误。有关更多信息,请参见Databricks指南。

Azure错误代码:OperationNotAllowed

天蓝色错误消息:操作无法完成,因为它导致超出批准的区域核心总数配额。附加详细信息-部署模型:资源管理器,位置:centralus,当前限制:4,当前使用量:4,其他要求:4,(最低)要求的新限制:8。通过指定参数在https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/~~~处提交增加配额的请求列在“详细信息”部分中,以使部署成功。请通过https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests了解更多有关配额限制的信息。


我不确定该怎么办。

“区域核心总配额”已超出,而不是我的个人订阅等。我将如何请求增加整个区域的配额?他们说我需要申请更大的配额,而这是我根据手册创建的免费试用帐户无法实现的。这是否意味着手册是错误的,我必须成为现收现付产品?“当前用法:4”,但目前我什么都没用。我所拥有的只是一个未运行的Azure存储和Databrick群集。我重试了启动集群,并第二次成功启动了该集群,但几分钟后又因相同的错误消息将其停用。

我将不执行任何复杂的查询和工作-这将非常昂贵。由于研究不力,我希望获得的只是遵循MAG模式的数据集。我将在桌面上对它们进行任何分析,而这些分析是免费的,但速度较慢。任何帮助将不胜感激。

azure-databricks databricks-connect academic-graph
2个回答
0
投票

您的订阅整个内容最多只能有4个核心。指南中的图片(https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks)显示了使用大小为Standard_DS3_v2的VM(最少2个工作线程)来设置数据块群集。图片进一步显示,DS3虚拟机具有4个内核,因此您的订阅需要2x4 = 8个内核。

您至少需要有1个工作程序或使用较小的VM。我也建议您关闭自动缩放以避免问题。


0
投票

要尝试使用Azure Databricks,您需要具有“按需付费”的订阅。

[Azure Free Trail具有4个内核的限制,并且您不能使用免费试用订阅来创建Azure Databricks群集,因为要创建需要多个4个内核的spark群集。

[如果您有免费帐户,请转至您的个人资料,然后将订阅更改为即付即用。然后,remove the spending limitrequest a quota increase用于您所在地区的vCPU。创建Azure Databricks工作区时,可以选择“试用(高级-14天免费DBU)”定价层,以使工作区可以访问14天的免费Premium Azure Databricks DBU。

有关更多详细信息,请参见“ Sign up for a Free Azure Databricks Trial”。

希望这会有所帮助。如果您还有其他疑问,请告诉我们。

© www.soinside.com 2019 - 2024. All rights reserved.