我有一个Python脚本,可以对文本进行预处理,然后再进行文本分析。清除文本的一些功能是:
问题是,第一个函数返回一个列表,第二个函数获取返回的列表,并且还返回一个列表,因此它成为list内部的list。像这样:
['[', "'الموضوع", "'", ',', "'إجتماع", "'", ',', "'بين", "'", ',',
"'الجنة", "'", ',', "'البحرية", "'", ',', "'الفرعية", "'", ',',]']
结果必须像这样的地方:
['الموضوع', 'إجتماع', 'بين', 'الجنة', 'البحرية', 'الفرعية',]
删除终止词的返回结果:
['ا', 'ل', 'م', 'و', 'ض', 'و', 'ع', ' ', 'إ', 'ج', 'ت', 'م', 'ا', 'ع', ' ', 'ب', 'ي', 'ن', ' ', 'ا', 'ل', 'ج', 'ن', 'ة', ' ', 'ا', 'ل', 'ب', 'ح', 'ر', 'ي', 'ة', ' ', 'ا', 'ل', 'ف', 'ر', 'ع', 'ي', 'ة', ' ', 'و', 'ن', 'ظ', 'ي', 'ر', 'ت', 'ه', 'ا', ' ', 'ف', 'ي', ' ', 'م', 'ب', 'س', 'و', 'ط', ' ', 'ا', 'ل', 'م', 'س', 'ت', 'ن', 'د', ' ', 'ب', 'ر', 'ق', 'ي', 'ة', ' ', 'ر', 'ق', 'م', ' ', '1', '7', '1', 'ع', ' ', 'ت', 'ا', 'ر', 'ي', 'خ', ' ', '1', '2', '1', ]
结果必须是:
['تاريخ', '1212019','الموضوع', 'إجتماع', 'بين', 'الجنة', 'البحرية', 'الفرعية',]
def remove_1char(text):
tokens = text.split()
tokens = [word for word in tokens if len(word) > 1]
result = str(tokens)
write_file("remove_1char.txt",result)
return result
def tokenize_text(text):
tokens=word_tokenize(text)
write_file("tokenize_text.txt",tokens)
return tokens
def remove_stopwords(tokens):
write_file("tokens_before_remove.txt",tokens)
stop_word_list = set(stopwords.words('arabic'))
clean_tokens= [tok for tok in tokens if tok not in stop_word_list]
write_file("remove_stop_word.txt",clean_tokens)
return clean_tokens
def clean_text(text):
rmws = remove_whiteSpace(text)
rmp = remove_punctuations(rmws)
rmd = remove_diacritics(rmp)
rmrc = remove_repeating_char(rmd)
rm1c = remove_1char(rmrc)
clean_tokens = remove_stopwords(rm1c)
write_file("result.txt",clean_tokens)
return clean_tokens
那么如何解决此问题?
让我们打开Python REPL并检查您的代码。
我假设第一行指定了输入字符串,将其分配给变量。
>>> l = ['الموضوع', 'إجتماع', 'بين', 'الجنة', 'البحرية', 'الفرعية',]
>>> l
['الموضوع', 'إجتماع', 'بين', 'الجنة', 'البحرية', 'الفرعية']
您没有指定调用哪个函数,但是我假设您首先为每个输入字符串调用函数remove_1char
。我们将依次调用函数的各行,以查看列表第一项的结果,我们将其称为text
。
>>> text = l[0]
>>> tokens = text.split()
>>> tokens
>>> ['الموضوع']
由于输入序列中的每个单词都包含一个单词,所以输出是预期的。
>>> tokens = [word for word in tokens if len(word) > 1]
>>> tokens
['الموضوع']
并且所有单词的字符数都超过1。也符合预期。
>>> result = str(tokens)
>>> result
"['الموضوع']"
>>>
在这一行中,列表的字符串表示形式被分配给结果。那可能不是您想要的。我认为您想将令牌连接到单个字符串。这可以通过join
功能来完成。
>>> result = ' '.join(tokens)
>>> result
'الموضوع'
>>>