Splunk迁移到S3 DataLake

Question

我们正在考虑脱离Splunk作为我们的数据存储，并考虑由S3支持的AWS Data Lake。

将数据从Splunk迁移到S3的过程是什么？我已经阅读了很多有关将数据从Splunk归档到S3的文档，但是不确定是否将数据归档为可用格式，或者是否需要以某种归档格式将其恢复为splunk？

Answer 1

查看Splunk的SmartStore功能。它将非热存储桶移至S3，从而节省了存储成本。但是，如果您在AWS上运行Splunk，则仅在AWS上运行SmartStore才有意义。否则，数据导出费用将使您破产。当Splunk需要搜索存储在S3中的存储桶并将该存储桶复制到索引器时，将应用数据导出。有关更多信息，请参见https://docs.splunk.com/Documentation/Splunk/8.0.0/Indexer/AboutSmartStore。

Answer 2

根据我的阅读，有几种方法可以做到：

• 使用Web UI导出
• 使用REST API端点导出
• 使用CLI导出
• 复制文件系统中的某些文件

到目前为止，我已经尝试使用CLI进行导出，并且已经成功使用一次导出了500,000个事件

splunk search "index=main earliest=11/11/2019:00:00:01 latest=11/15/2019:23:59:59" -output rawdata -maxout 500000 > output2.dmp

但是-我不确定如何准确地重复此步骤，以确保我包括所有1亿多个事件。 IE从DATE A到DATE B搜索500,000条记录，然后从DATE B到DATE C搜索下500,000条记录-两者之间没有任何事件。