对于像“这是美好的一天”这样的字符串,我想将该字符串标记为标记:“这是美好的一天,美好的一天”,在这里我可以指定一组要组合的词。在这种情况下,仅“美丽”和“天”。
到目前为止,我已经使用Shingle过滤器生成令牌列表,如下所示:“这是一个美好的一天,一个美好的一天,一天,一天,这一天”
如何进一步过滤上面的令牌列表以产生所需的结果?
这是我当前的代码:
shingle_filter = {
"type": "shingle",
"min_shingle_size": 2,
"max_shingle_size": 3,
"token_separator": " "
}
body = {'tokenizer':'standard','filter':['lowercase', shingle_filter], 'text':sample_text['content'], 'explain':False}
standard_tokens = analyze_client.analyze(body= body, format='text')
经过一番挣扎之后,似乎predicate_token_filter是我所需要的。
shingle_filter = {
"type": "shingle",
"token_separator": " "}
predicate_token_filter_temp = {
"type" : "predicate_token_filter",
"script" : {
"source" : "String term = \"beautiful day\"; token.getTerm().toString().equals(term)"
}}
body = {'tokenizer':'standard','filter':['lowercase', shingle_filter, predicate_token_filter_temp], 'text':sample_text['content'], 'explain':False}
standard_tokens = analyze_client.analyze(body= body, format='text')
我不确定这是最好的方法,但是可以完成工作。