from urllib import request
from redditscore.tokenizer import CrazyTokenizer
tokenizer = CrazyTokenizer()
url = "http://www.site.uottawa.ca/~diana/csi5386/A1_2020/microblog2011.txt"
for line in request.urlopen(url):
tokens = tokenizer.tokenize(line.decode('utf-8'))
print(tokens)
with open(r'C:\Users\dhyan\output.txt', 'w', encoding='utf-8', errors='replace') as f:
for item in tokens:
f.write("%s\n" % item)
这是我要运行的代码。我的输出形式为“令牌”中的lo列表。但我无法将其写入文本文件。
帮助我...
您可以共享要转换的数据吗?我无法访问您当前正在使用的模块。