强制合并还是不强制合并,这是一个问题

问题描述 投票:1回答:1

我了解,ElasticSearch仅将文档标记为已删除,而不回收磁盘空间。为此,您需要强制合并:https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-forcemerge.html#indices-forcemerge

但是有一些警告禁止使用此调用,如果您使用它,它会说明各种不可思议的厄运。

但是,GDPR的合规性意味着必须删除文档-确实删除了,而不仅仅是隐藏了。所以有时候您必须使用此命令,不是吗? (我猜想对静态数据进行加密可以减轻这种情况。)

但是即使您忽略GDPR的合规性,索引也会最终填满磁盘,不是吗?然后呢?

并且如果您确实选择使用此命令,出于性能考虑(https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-open-close.html),您应该首先关闭索引,然后在操作完成后重新打开索引吗?

我对ElasticSearch还是比较陌生,所以请保持温柔:-)

TVMIA,

亚当

elasticsearch
1个回答
0
投票

我的外行结论是:GDPR遵从性与您相同。

当满足某些条件时(例如,段中X%的文档已标记为删除),段合并始终在后台发生。但是,根据群集的体系结构,数据等情况,仍然可能存在某些情况,即您的数据的时间长于30 days(必须根据GDPR删除数据的时间范围)。

这里的解决方案是不使用Elasticsearch作为主要数据存储。这被认为是最佳做法。您应该使用别名指向活动索引,定期将数据从真实源重新索引到新索引,然后将别名指向新索引,并在完成后删除旧索引。

可能还考虑更改段合并策略(取决于您的用例)。

[如果您对更多详细信息感兴趣,我会在2018年写过blogpost,在JavaZone 2019上写过spoke about it

© www.soinside.com 2019 - 2024. All rights reserved.