使用jsoup进行Web抓取仅返回表的一部分

Question

我是编码的新手。 我正在尝试使用经纪人网站上的资金列表来编制表格。代码工作正常，但ut只返回列表的一部分（比列表的前半部分多一点），我不知道为什么

我已经检查了html结构和标签，一切似乎都是正确的......

int count = 0;
String URL = "https://institucional.xpi.com.br/investimentos/fundos-de-investimento/lista-de-fundos-de-investimento.aspx";

try {
    Document doc = Jsoup.connect(URL).userAgent("Mozilla/17.0").get();

for (Element table: doc.select("#tableTodos tr")) {
    Elements tds = table.getElementsByTag("td");
    if (tds.size() > 0) {
        count++;
        System.out.println(count + " - " + tds.get(2).text());
}

这是回归的最后一部分

138 - Kapitalo Kappa FIN FIC FIM
139 - Kapitalo Tarkus FIC FIA
140 - Kinea Atlas II FIM
141 - Kinea Chronos FIM
142 - Kinea RF Absoluto FI LP
143 - Leblon Ações FIC FIA
144 - Legacy Capital Advisory FIC FIM
145 - Legg Mason Clearbridge US Large Cap Growth FIA IE
146 - Legg Mason Martin Currie European Absolute Alpha FIM IE
147 - Mauá Capital Ações FIC FIA

它只有147，网站上的表有超过300行......

Answer 1

你应该用“tr”标签而不是td来搜索表格中的元素。它将为您提供表中的所有行。然后，在每一行中搜索td并打印它的文本。

编辑1：

    ChromeOptions chromeOptions = new ChromeOptions();
    chromeOptions.addArguments("--headless");
    chromeOptions.addArguments("--user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.2840.100 Safari/537.36");
    driver = new ChromeDriver(chromeOptions);
    chromeDriver.get("https://institucional.xpi.com.br/investimentos/fundos-de-investimento/lista-de-fundos-de-investimento.aspx");
    List<WebElement> elements = chromeDriver.findElement(By.xpath("//*[@id=\"tableTodos\"]")).findElements(By.tagName("tr"));
    System.out.println(elements.get(200).getText());

编辑2：

添加maxBodySize你的来电：

Document doc = Jsoup.connect(URL).timeout(0).maxBodySize(0).get();