动态获取用户凭据以使用来自spark作业的ADLS进行身份验证

问题描述 投票:0回答:1

有没有办法可以获取用户凭据以在Spark作业中使用ADLS进行身份验证。我正在尝试编写一个库,供用户在他们的spark作业中用来读取数据并希望隐藏实现细节。此外,从spark工作中获取用户凭据的最佳方法是什么?

authentication apache-spark credentials azure-data-lake credential-providers
1个回答
0
投票

您无法获取用户凭据。您需要安全地在某处保存用户登录会话(令牌),或者......

如果您希望在没有最终用户的任何交互的情况下对您的解决方案进行身份验证,那么使用服务主体+证书或密钥是正确的方法。这意味着您的应用程序将以服务主体而非用户身份登录,并且该服务主体将需要您的解决方案应运行的资源和数据的权限。

在任何一种情况下,Azure Active Directory都是您要验证的,其身份验证库的文档是located here。他们有一个REST API,多种语言的SDK,如果您还没有选择您选择的语言,我相信还有第三方库。

我希望这有帮助!

© www.soinside.com 2019 - 2024. All rights reserved.