我想在 NLTK 的 CategorizedPlainCorpusReader 中阅读孟加拉语文本。对于我在 gedit 文本编辑器中的孟加拉文本文件的快照:
sublime 文本编辑器中的文件快照:
从快照中您可以看到问题。问题是 Unicode 组合问题(虚线环是一个死赠品)。这是阅读文本的代码段:
>>> path = os.path.expanduser('~/nltk_data/corpora/Bangla')
>>> from nltk.corpus.reader import CategorizedPlaintextCorpusReader
>>> from nltk import RegexpTokenizer
>>> word_tokenize = RegexpTokenizer("[\w']+")
>>> reader = CategorizedPlaintextCorpusReader(path,r'.*\.txt',cat_pattern=r'(.*)_.*',word_tokenizer=word_tokenize)
>>> reader.sents(categories='pos')
输出为:
输出应该是'একবার'而不是'একব''র'。可以做什么??提前致谢。
以下代码对我来说很好用:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
from nltk.corpus.reader import CategorizedPlaintextCorpusReader
from nltk import RegexpTokenizer
path = os.path.expanduser('~/nltk_data/corpora/Bangla')
word_tokenize = RegexpTokenizer("[\u0980-\u09FF']+")
reader = CategorizedPlaintextCorpusReader(path, r'.*\.txt', cat_pattern=r'(.*)_.*', word_tokenizer=word_tokenize)
reader.sents(categories='pos')