为什么我们需要 Hadoop KMS？

Question

我不确定为什么我们需要这个

Hadoop KMS

？我浏览了 Apache Hadoop 的官方文档，并没有明确提到为什么我们需要这个概念。我唯一清楚的是，使用这个

client

和

server

可以通过

http

或

https

使用

REST APIs

共享密钥，然后有多种身份验证方式。是从安全角度考虑吗？有人可以用通俗的语言向我解释一下它到底是什么吗？？
如果我有错的地方请纠正我。

Answer 1

KMS 基本上是 HDFS 本机数据加密实用程序的一部分， 用于存储加密密钥。您现在可以加密 HDFS 中选定的文件或目录，而无需更改任何应用程序代码。

HDFS 管理员设置加密，然后 HDFS 负责实际的加密或解密，而最终用户无需手动加密或解密文件。以下术语描述了透明数据加密 (TDE) 的关键领域：

加密区域 - HDFS 管理员创建一个加密区域，然后将其链接到一个空的 HDFS 目录和一个加密密钥。放入该目录中的任何文件都会由 HDFS 自动加密。

密钥管理服务器 (KMS) - KMS 负责存储加密密钥。 KMS 提供 REST API 以及对存储在 KMS 中的密钥的访问控制。

Key Provider API - HDFS 名称节点和客户端用于连接密钥管理服务器的粘合剂。

参考：启用透明数据加密

Answer 2

是的，你没看错，KMS（密钥管理服务器）用于安全。它用于存储和管理用于通过 HTTP 进行安全通信的密钥。它也可以与 Apache Ranger 一起使用。更多信息可以在此处找到： https://hadoop.apache.org/docs/r2.8.0/hadoop-kms/index.html

Answer 3

Hadoop 有许多加密目标。 正如您提到的，我们使用 TLS/SSL 来加密 HTTP 协议。在某些情况下，Hadoop 使用的 RPC 协议是加密的。

最后，如果你想加密HDFS，你所要做的就是使用KMS。 使用 HADOOP KMS 或 RANGER KMS 加密 HDFS 的主要目的是让 DATANODE 只处理加密的块。