我正在尝试将hadoop与ELK堆栈集成。我的用例是“我必须从HDFS路径中存在的文件中获取数据并在kibana仪表板上显示内容”
Hive在那儿不工作，所以我不能使用Hive。还有其他方法吗？
有人在逐步处理任何文章吗？
我试图通过logstash和filebeat从hadoop服务器上的linux位置获取日志，但这也不起作用。
我正在做一些OSINT工作，一旦可以将内容从hdfs中提取到本地文件系统中，就很容易做到。这是通过设置HdfsNfsGateway完成的。完成后，使用filebeat and logstash将您的内容导入elasticsearch。之后，只需为要使用的索引配置kibana dashboard。