如何在Elasticsearch中将某些单词组合成令牌?

问题描述 投票:0回答:1

对于像“这是美好的一天”这样的字符串,我想将该字符串标记为标记:“这是美好的一天,美好的一天”,在这里我可以指定一组要组合的词。在这种情况下,仅“美丽”和“天”。

到目前为止,我已经使用Shingle过滤器生成令牌列表,如下所示:“这是一个美好的一天,一个美好的一天,一天,一天,这一天”

如何进一步过滤上面的令牌列表以产生所需的结果?

这是我当前的代码:

shingle_filter = {
    "type": "shingle",
    "min_shingle_size": 2,
    "max_shingle_size": 3,
    "token_separator": " "
  }

body = {'tokenizer':'standard','filter':['lowercase', shingle_filter], 'text':sample_text['content'], 'explain':False}

standard_tokens = analyze_client.analyze(body= body, format='text')
elasticsearch filter tokenize
1个回答
0
投票

经过一番挣扎之后,似乎predicate_token_filter是我所需要的。

shingle_filter = {
"type": "shingle",
"token_separator": " "}

predicate_token_filter_temp = {
        "type" : "predicate_token_filter",
    "script" : {
        "source" : "String term = \"beautiful day\"; token.getTerm().toString().equals(term)"
    }}

body = {'tokenizer':'standard','filter':['lowercase', shingle_filter, predicate_token_filter_temp], 'text':sample_text['content'], 'explain':False}

standard_tokens = analyze_client.analyze(body= body, format='text')

我不确定这是最好的方法,但是可以完成工作。

© www.soinside.com 2019 - 2024. All rights reserved.