如何过滤语言的Wikidata dump?

问题描述 投票:0回答:1

我已经以RDF格式(.nt.bz2文件)下载了Wikidata真实转储。我想将转储的语言限制为仅英语,并将此新筛选的转储生成为新的.nt文件。

我已经尝试使用并行grep来过滤带有'@en'文本的行,但是这会占用大量处理时间。

是否有一些更快的方法来生成过滤的转储?喜欢使用Spark吗?

pyspark apache-spark-sql rdf wikidata
1个回答
0
投票

也许对您来说有点晚了,但是同时生成了一个用于创建自定义转储的工具:https://tools.wmflabs.org/wdumps/

使用此工具,您可以在线定义语言过滤器,然后仅下载具有相关三元组的.nt文件。

© www.soinside.com 2019 - 2024. All rights reserved.