我继承了一个使用简单文本文件保存文档的数据存储。
文档具有一些属性(日期,标题和文本),它们被编码为文件名:
但是实际上,系统中的文档具有更多的属性,甚至还建议增加更多的属性。
切换到XML格式似乎很合逻辑,而且我已经这样做了,现在每个文档都以它自己的XML文件编码。
但是,现在从XML中读取文件太慢了! (其中.txt格式的2000篇文章花费了几秒钟,现在.xml格式的2000篇文章花费了超过10分钟)。
我曾经使用DOM解析器,当我发现读取速度很慢之后,我切换到了SAX解析器,但是它仍然很慢(很好,更快,但仍然是10分钟)。
XML只是速度慢,还是我在做奇怪的事情?任何想法将不胜感激。
系统是用JavaSE 1.6编写的。解析器是这样创建的:
/*
import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
*/
SAXParserFactory factory = SAXParserFactory.newInstance();
SAXParser saxParser;
try {
saxParser = factory.newSAXParser();
ArticleSaxHandler handler = new ArticleSaxHandler();
saxParser.parse(is, handler);
return handler.getArticle();
} catch (ParserConfigurationException e) {
throw new IOException(e);
} catch (SAXException e) {
throw new IOException(e);
} finally {
if (is != null) {
try {
is.close();
} catch (IOException e) {
logger.error(e);
}
}
}
}
private class ArticleSaxHandler extends DefaultHandler {
private URI uri = null;
private String source = null;
private String author = null;
private DateTime articleDatetime = null;
private DateTime processedDatetime = null;
private String title = null;
private String text = null;
private ArticleElement currentElement;
private final StringBuilder builder = new StringBuilder();
public Article getArticle() {
return new Article(uri, source, author, articleDatetime, processedDatetime, title, text);
}
/** Receive notification of the start of an element. */
public void startElement(String uri, String localName, String qName, Attributes attributes) {
if (builder.length() != 0) {
throw new RuntimeException(new SAXParseException(currentElement + " was not finished before " + qName + " was started", null));
}
currentElement = ArticleElement.getElement(qName);
}
public void endElement(String uri, String localName, String qName) {
final String elementText = builder.toString();
builder.delete(0, builder.length());
if (currentElement == null) {
return;
}
switch (currentElement) {
case ARTICLE:
break;
case URI:
try {
this.uri = new URI(elementText);
} catch (URISyntaxException e) {
throw new RuntimeException(e);
}
break;
case SOURCE:
source = elementText;
break;
case AUTHOR:
author = elementText;
break;
case ARTICLE_DATE_TIME:
articleDatetime = getDateTimeFormatter().parseDateTime(elementText);
break;
case PROCESSED_DATE_TIME:
processedDatetime = getDateTimeFormatter().parseDateTime(elementText);
break;
case TITLE:
title = elementText;
break;
case TEXT:
this.text = elementText;
break;
default:
throw new IllegalStateException("Unexpected ArticleElement: " + currentElement);
}
currentElement = null;
}
/** Receive notification of character data inside an element. */
public void characters(char[] ch, int start, int length) {
builder.append(ch, start, length);
}
public void error(SAXParseException e) {
fatalError(e);
}
public void fatalError(SAXParseException e) {
logger.error("currentElement: " + currentElement + " ||builder: " + builder.toString() + "\n\n" + e.getMessage(), e);
}
}
private enum ArticleElement {
ARTICLE(ARTICLE_ELEMENT_NAME), URI(URI_ELEMENT_NAME), SOURCE(SOURCE_ELEMENT_NAME), AUTHOR(AUTHOR_ELEMENT_NAME), ARTICLE_DATE_TIME(
ARTICLE_DATETIME_ELEMENT_NAME), PROCESSED_DATE_TIME(PROCESSED_DATETIME_ELEMENT_NAME), TITLE(TITLE_ELEMENT_NAME), TEXT(TEXT_ELEMENT_NAME);
private String name;
private ArticleElement(String name) {
this.name = name;
}
public static ArticleElement getElement(String qName) {
for (ArticleElement element : ArticleElement.values()) {
if (element.name.equals(qName)) {
return element;
}
}
return null;
}
}
从未缓冲的流中读取数据可以解释这些性能问题。这与从文本到XML的更改没有直接关系,但是也许您的新实现不再使用BufferedInputStream
。
详细跟踪该路径,请检查此is
是否已缓冲:
saxParser.parse(is, handler);
我也使用SAX解析器缓慢加载,也遇到了这个问题。该问题实际上与我的XML文件有关,该文件具有W3C的DTD参考:
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd" >
<html xmlns="http://www.w3.org/TR/1999/REC-html-in-xml" xml:lang="en"
lang="en">
摘自“ Core Java,第II卷”第2章中有关SAX和XML的内容,介绍了正在发生的事情以及如何添加地址:
XHTML文件以包含DTD参考的标签开头,并且解析器将要加载它。可以理解,W3C不太合适很乐意提供数十亿份文件,例如www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd。有一次,他们拒绝了总体而言,但在撰写本文时,他们以冰川的步伐。如果您不需要验证文档,只需致电
SAXParserFactory factory = SAXParserFactory.newInstance();
factory.setFeature("http://apache.org/xml/features/nonvalidating/load-external-dtd", false);
这为我修复了它。另外,我使用IntelliJ IDE演示我的XML文件具有一个额外的(不必要的)<HTML>
标签和一个额外的<meta charset="UTF-8"/>
。这帮助我摆脱了一些SAX例外。