我正在使用MAPI工具(它的微软lib和.NET),然后使用apache TIKA库来处理和从交换服务器中提取pst,这是不可扩展的。
如何使用MR方式处理/提取pst ...是否有可用于我的MR作业的java中可用的工具库。任何帮助都会非常充实。
Jpst Lib内部使用:PstFile pstFile = new PstFile(java.io.File)
问题是Hadoop API我们没有接近java.io.File
的任何东西。
以下选项始终存在但效率不高:
File tempFile = File.createTempFile("myfile", ".tmp");
fs.moveToLocalFile(new Path (<HDFS pst path>) , new Path(tempFile.getAbsolutePath()) );
PstFile pstFile = new PstFile(tempFile);
看看Behemoth(http://digitalpebble.blogspot.com/2011/05/processing-enron-dataset-using-behemoth.html)。它结合了Tika和Hadoop。
我也写过自己的Hadoop + Tika工作。模式是:
希望有帮助
它无法在mapper中处理PST文件。经过长时间的分析和调试后发现API没有正确暴露,那些API需要localfile系统来存储提取的pst内容。它直接无法存储在HDFS上。那是瓶颈。所有这些API(提取和处理的库)都不是免费的。
我们能做的是从hdfs外部提取,然后我们可以处理MR工作