htmlunit 相关问题

如何从字符串创建 HtmlUnit HTMLPage 对象？

这个问题已经被问过一次了，但我猜 API 已经改变，答案不再有效。 URL url = new URL("http://www.example.com"); StringWebResponse 响应 = 新 StringWebRespo...

为什么我使用 HtmlUnitDriver 会收到 UnknownHostException？

我正在编写一个测试，应该只从重定向中获取URL，不需要加载不存在的页面。每次我遇到这个异常时： java.lang.RuntimeException：java.net。

带有 xpath 的 Html 单元未返回预期结果

我正在尝试使用 Html 单元使用谷歌搜索来筛选特定新闻报纸特定日期的热门新闻。我能够获得搜索结果，但是当我尝试访问...

尝试使用带有 HTMLUnit 的 css 选择器来选择正确的按钮

我有以下 HTML 代码片段： 我有以下 HTML 代码片段： <div class="LocationsIndex__paginationBar__YE2Xo"> <div> <nav> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw Pagination__symbol__KHv6r" type="button"> <div style="transform: rotate(180deg);">➞</div> </button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw" type="button">1</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw" type="button">2</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw Pagination__active__EK2e1" type="button">3</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw" type="button">4</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw Pagination__disabled__FbUC6 Pagination__symbol__KHv6r" type="button">...</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw" type="button">79</button> <button class="Control__control__ijHLR Pagination__pageItem__NsQSw Pagination__symbol__KHv6r" type="button"> <div class="">➞</div> </button> </nav> </div> <div class="LocationsIndex__paginationInfo__YbpCl">Showing 81 to 120 of 3121</div> </div> 我尝试使用以下代码中所示的 HtmlPage.querySelector() 方法捕获该组中的最后一个按钮控件（它是一个分页器）。此方法调用始终返回 null。我尝试了几种不同的方法来获取这些信息，但没有成功。 'class="Control__Control__xxxxx" 类的最后几个字符可能不同，所以我只想根据类值的开头查找。 // do the pagination HtmlButton button = page.querySelector("button[class^='Control__control']:nth-child(8) div"); page = button.click(); 我做错了什么？ 要定位最后一个按钮控件，您可以使用 last-child 伪类来选择导航中的最后一个按钮元素 page.querySelector("nav button[class^='Control__control']:last-child div");

Java HtmlUnit 不再能够查找列表<HtmlFieldSet> 使用 getByXPath(@class=)

如果您访问 https://parcelinquirytreasurer.cochise.az.gov/ ，在文本字段中输入 1010501508 并单击“提交”，您将看到一个新网页（第 2 页）。第 2 页有一个邮寄地址。如果您

使用 htmlunit 和 java 单击按钮

我尝试了 stackoverflow 网站上的所有选项，我是一名编程实习生。只需指示如何点击即可。 网站：https://calculator888.ru/random-generator/sluchaynoye-slovo 按钮： 我尝试了 stackoverflow 网站上的所有选项，我是一名编程实习生。只需指示如何点击即可。 网站：https://calculator888.ru/random-generator/sluchaynoye-slovo 按钮： <div class="knop_pusk_blok"> <input type="button" id="genr" data-tip="skivo" value="Случайное Слово" class="knop_dstv_vchl"> </div> 我的一些尝试： ublic class Main2 { public static void main(String[] args) throws IOException, InterruptedException { System.out.println("start"); WebClient webClient = new WebClient(BrowserVersion.CHROME); webClient.getOptions().setCssEnabled(false); webClient.getOptions().setJavaScriptEnabled(false); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setUseInsecureSSL(true); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.getCookieManager().setCookiesEnabled(true); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.waitForBackgroundJavaScriptStartingBefore(10000); webClient.waitForBackgroundJavaScript(10000); HtmlPage page = webClient.getPage("https://calculator888.ru/random-generator/sluchaynoye-slovo"); List<HtmlElement> countOfWords = page.getByXPath("//*[@id=\"klch\"]"); System.out.println("Count of words is " + countOfWords.size()); List<HtmlElement> setOfWords = page.getByXPath("//*[@id=\"psz\"]");//word!!1111 System.out.println("set of words is " + setOfWords.size()); for (HtmlElement item : countOfWords) item.setAttribute("data-vpmn", "10"); countOfWords = page.getByXPath("//*[@id=\"klch\"]"); System.out.println("Count of words AFTER is " + countOfWords.get(0).getAttribute("data-vpmn")); //press button HtmlInput input = page.getHtmlElementById("genr"); //Html + ButtonInput + Input + SubmitInput HtmlPage after = input.click(); webClient.waitForBackgroundJavaScript(10000); for (int i = 0; i < 20; i++) { if (after.getByXPath("//*[@id=\"psz\"]").size() != 1) { break; } synchronized (page) { page.wait(500); } } List<HtmlElement> setOfWords1 = after.getByXPath("//*[@id=\"psz\"]");//after System.out.println("set of words is AFTER CLICK " + setOfWords1.size()); System.out.println("end"); } } 我这两天一直在寻找解决方案。感谢您的帮助！ Cibiyanna26 评论后编辑： package org.example; import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; import com.gargoylesoftware.htmlunit.html.HtmlElement; import java.io.IOException; public class Main { public static void main(String[] args) throws IOException { WebClient webClient = new WebClient(); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setJavaScriptEnabled(false); HtmlPage page = webClient.getPage("https://calculator888.ru/random-generator/sluchaynoye-slovo"); webClient.waitForBackgroundJavaScript(10000); HtmlElement htmlInputLineOfWords = (HtmlElement) page.getByXPath("//*[@id=\"bov\"]").get(0); System.out.println("before click =" + htmlInputLineOfWords.getTextContent()); webClient.waitForBackgroundJavaScript(10000); HtmlElement button = (HtmlElement) page.getElementById("genr"); page = button.click(); htmlInputLineOfWords = (HtmlElement) page.getByXPath("//*[@id=\"bov\"]").get(0); System.out.println("after click = " + htmlInputLineOfWords.getTextContent()); System.out.println(page.asText()); } } 和pom.xml： <dependency> <groupId>net.sourceforge.htmlunit</groupId> <artifactId>htmlunit</artifactId> <version>2.13</version> </dependency> 检查您的依赖项是否正确安装 然后试试这个： import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlButton; import com.gargoylesoftware.htmlunit.html.HtmlPage; public class HtmlUnitExample { public static void main(String[] args) { try (final WebClient webClient = new WebClient()) { webClient.getOptions().setJavaScriptEnabled(false); final HtmlPage page = webClient.getPage("https://example.com"); final HtmlButton button = page.getElementById("buttonId"); button.click(); System.out.println(page.asText()); } catch (Exception e) { e.printStackTrace(); } } }

HtmlUnit：如何搜索文本

在java项目中，我必须使用HtmlUnit来检索网页的内容。 我如何搜索具有内容 123 的元素。它是 html 文档的一部分。引用元素 h...

如何使用Java无头浏览器HtmlUnit自动提交表单

我对 HtmlUnit 很陌生，但我在这里尝试做的事情如下 我们有一个水晶服务器，我们需要调用它来获取报告 我们正在使用从水晶服务器公开的 Restful API...

使用 Java 的 HTMLUnit：调用 click() 被忽略，因为目标元素未显示

我正在使用 htmlunit 和 Java，我试图单击网站上的一个跨度，该跨度应该增加计数器并解锁另一个按钮，但不幸的是，它不起作用。 该警告指出，

HtmlUnit：处理登录自动化中隐藏的 Google reCAPTCHA 令牌

我正在使用 HtmlUnit 来自动化网站上的登录过程。该网站使用 Google reCAPTCHA 来保护其登录表单，并且 reCAPTCHA 令牌隐藏在 HTML 中。我需要获得并...

找不到 HTMLUnit 临时文件

我正在使用此代码从 URL 读取数据，该代码给出了此错误： 线程“main”中的异常 java.io.FileNotFoundException: C:\Work\Projects\WikipediaTemplat

Java HTMLUnit WebClient 在解析页面时将启用的 JavaScript 视为禁用

如前所述。 使用 2 B 获取一些 JS 错误消息，但现在能够部分解析 t' 页面。 不过，在一些基本通用的消息中，我看到了下一条消息： <强...</desc> <question vote="0"> <p>如前所述。</p> <p>使用 2 B 获取一些 JS 错误消息，但现在能够部分解析 t' 页面。</p> <p>仍然，在一些基本通用的消息中，我看到了下一条消息：</p> <p></p><div data-babel="false" data-lang="js" data-hide="false" data-console="true"> <div> <pre><code> &lt;noscript&gt; &amp;lt;strong&amp;gt;We&#39;re sorry but client doesn&#39;t work properly without JavaScript enabled. Please enable it to continue.&amp;lt;/strong&amp;gt; &lt;/noscript&gt;</code></pre> </div> </div> <p></p> <p>我的代码：</p> <pre><code>public void getContent(String startUrl) { final WebClient webClient = new WebClient(BrowserVersion.CHROME); webClient.getOptions().setCssEnabled(false); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.setJavaScriptErrorListener(new SilentJavaScriptErrorListener()); webClient.waitForBackgroundJavaScript(30 * 1000); // webClient.setAjaxController(new NicelyResynchronizingAjaxController()); // webClient.getOptions().setTimeout(10000); try { HtmlPage page = webClient.getPage(startUrl); // webClient.getCurrentWindow().getJobManager().removeAllJobs(); webClient.close(); System.out.println(page.getPage().getTitleText()); System.out.println(page.getBody().getVisibleText()); List&lt;?&gt; sportsItems = page.getByXPath(&#34;//a&#34;); System.out.println(sportsItems.size()); System.out.println(page.asXml()); sportsItems.forEach(System.out::println); webClient.close(); } catch (IOException e) { System.out.println(&#34;An error occurred: &#34; + e); } } </code></pre> <p>在此感谢任何有用的提示或替代方案。 提前致谢！</p> <p>更新：</p> <p>其实我想我可能已经理解了这样输出的原因：SilentJavaScriptErrorListener usage.</p> <p>但我添加它是有原因的：为了消除没有它而产生的错误干扰输出。</p> <p>也许，还有其他方法，但我还没有找到）所以，一点点更新+仍然渴望其他想法。</p> <p>谢谢。</p> </question> <answer tick="false" vote="0"> <p>我认为原因不是 SilentJavaScriptErrorListener；这个只抑制一些日志输出。</p> <p>情况不同——您请求的页面会进行一些 js 检查（通过在页面/您的浏览器中运行一些 js）来确定是否启用了 js 以及您的浏览器是否支持所需的 js 功能。</p> <p>HtmlUnit 擅长支持 js，但目前不支持一些较新的 js 功能。 （通常你在没有 SilentJavaScriptErrorListener 的情况下看到的日志输出指向这个）。</p> <p>怎么办？</p> <p>如果你能提供网址（也许通过私人邮件），我可以看看并检查是否可以添加/修复 HtmlUnit 的 js 支持中缺失的部分。</p> <p>如果没有，也可以选择通过修补服务器响应并删除 js 检查来安装一些解决方法——但这可能会使页面的其余部分无法正常工作。</p> </answer> </body></html>

如何使用htmlunit记录渲染页面时触发的所有请求？

我正在使用 HTMLUnit 尝试记录加载本地 html 文件时触发的所有请求。 这是下面的测试文件： ！（功能 （） { 变种...</desc> <question vote="0"> <p>我正在使用 HTMLUnit 尝试记录加载本地 html 文件时触发的所有请求。 这是下面的测试文件：</p> <pre><code>&lt;script type=&#34;text/javascript&#34;&gt; !(function () { var adc = function (str) { return decodeURIComponent(escape(window.atob(str))); }; document.write( adc( &#34;PGEgaHJlZj0iaHR0cHM6Ly9kc3A4dTRqaGE0NHJyLmNsb3VkZnJvbnQubmV0L2RpcmVjdC8xOTgyMzQxMDE/YWR4PUFsZ29yaXgoUHJvKSZhcHA9MjgxOTQwMjkyJnByaWNlPTAuOTEwMSZyZD1MVldrTUJRTUxGQzhrIiB0YXJnZXQ9Il9ibGFuayI+PGltZyBzcmM9Imh0dHBzOi8vZHNwOHU0amhhNDRyci5jbG91ZGZyb250Lm5ldC9pbXAvMTk4MjM0MTAxP2FkeD1BbGdvcml4KFBybykmYXBwPTI4MTk0MDI5MiZwcmljZT0wLjkxMDEmcmQ9TFZXa01CUU1MRkM4ayIgd2lkdGg9IjMyMCIgaGVpZ2h0PSI1MCI+PC9hPjxpbWcgc3JjPSJodHRwczovL2QybWsybmg4dmZmNzY4LmNsb3VkZnJvbnQubmV0L3YxL3BpeGVsP2E9MTAyOSZiPTEwNDYmYz0xJmQ9ZmZkNDkyNTFjYjkwOGI5NSZlPTU4Njg0YWYzN2Q0MTFhNGImZj0wLjkxMDEmZz0wLjkxMDE0Jmg9MTA0NSZpPWZiMTJmZjY5ZjJkZmFiZjAmaz04MzM1NTEzMTAxMDI5ODI2NjAmcmQ9TFZXa01CUU1MRkM4ayIgYm9yZGVyPSIwIiB3aWR0aD0iMSIgaGVpZ2h0PSIxIi8+&#34; ) ); document.write( adc( &#34;PGltZyBzcmM9Imh0dHBzOi8vdXNlLnRyay5zdnItYWxnb3JpeC5jb20vaW1wP2NycHY9MyZpbmZvPTlFbVpwWkNNdWdETnVFak14NHlNeTBEY3BWbkp5a2pNd1FUT3hnak05UVdkaVpDTTlRSGR5Tm5KeDBEZDBsbVltRVRQdEJuWW1Bek45STNjeU5uSngwVGJtQm5KdzBEYzRWbUp3MFRhd0ZtSngwVGUwRm1KelFUTndZVFBrbDJjbWdUTTVJak41RURPMkVUUDBKbkp4a2pMdzBUYmhaU000TWpOdUFUUHRaU013RVRPdUFUUHRKbUp3a3pNOWtuWW1FMFVWMXpZbUV6TTJRek54MERjbVEyTmhKV04xUWpNelUyTTNnell3Z1RZalZHTndVR09rSlRZNVVUTW1oVFo5RW5jJnByaWNlPSR7QVVDVElPTl9QUklDRX0mcz02MDU0MyZyPWU4ZjE1OWEyZDhlMDRlY2E4MGM4NzNlMzI0NTViYTdkIiB3aWR0aD0iMSIgaGVpZ2h0PSIxIiBzdHlsZT0iZGlzcGxheTpub25lOyI+PGRpdiBpZD0iZG9qczIwMTJiMDVhIiBkYXRhLXdpZHRoPSIzMjAiIGRhdGEtaGVpZ2h0PSI1MCIgZGF0YS10cms9J2h0dHBzOi8vdXNlLnRyay5zdnItYWxnb3JpeC5jb20vaW1wP2NycHY9MyZpbmZvPTlFbVpwWkNNdWdETnVFak14NHlNeTBEY3BWbkp5a2pNd1FUT3hnak05UVdkaVpDTTlRSGR5Tm5KeDBEZDBsbVltRVRQdEJuWW1Bek45STNjeU5uSngwVGJtQm5KdzBEYzRWbUp3MFRhd0ZtSngwVGUwRm1KelFUTndZVFBrbDJjbWdUTTVJak41RURPMkVUUDBKbkp4a2pMdzBUYmhaU000TWpOdUFUUHRaU013RVRPdUFUUHRKbUp3a3pNOWtuWW1FMFVWMXpZbUV6TTJRek54MERjbVEyTmhKV04xUWpNelUyTTNnell3Z1RZalZHTndVR09rSlRZNVVUTW1oVFo5RW5jJnByaWNlPSR7QVVDVElPTl9QUklDRX0mcz02MDU0MyZyPWU4ZjE1OWEyZDhlMDRlY2E4MGM4NzNlMzI0NTViYTdkJyBkYXRhLWlkPSdBbGdvcmlYLWU4ZjE1OWEyZDhlMDRlY2E4MGM4NzNlMzI0NTViYTdkJz48c2NyaXB0IHR5cGU9J3RleHQvamF2YXNjcmlwdCcgYXN5bmMgc3JjPSJodHRwczovL3Ryay5zdnItYWxnb3JpeC5jb20vc3RhdGljL200LmpzP3Q9OTM0NDIzIj48L3NjcmlwdD48L2Rpdj4=&#34; ).replace(new RegExp(adc(&#34;XCR7QVVDVElPTl9QUklDRX0=&#34;), &#34;g&#34;), &#34;0.6381&#34;) ); })(); &lt;/script&gt; &lt;img src=&#34;https://use.trk.svr-algorix.com/win?crpv=3&amp;info=9EmZpZCMugDNuEjMx4yMy0DcpVnJykjMwQTOxgjM9QWdiZCM9QHdyNnJx0Dd0lmYmETPtBnYmAzN9I3cyNnJx0TbmBnJw0Dc4VmJw0TawFmJx0Te0FmJzQTNwYTPkl2cmgTM5IjN5EDO2ETP0JnJxkjLw0TbhZSM4MjNuATPtZSMwETOuATPtJmJwkzM9knYmE0UV1zYmEzM2QzNx0DcmQ2NhJWN1QjMzU2M3gzYwgTYjVGNwUGOkJTY5UTMmhTZ9Enc&amp;price=0.6381&amp;s=60543&amp;r=e8f159a2d8e04eca80c873e32455ba7d&#34; width=&#34;1&#34; height=&#34;1&#34; style=&#34;display: none&#34; /&gt; </code></pre> <p>在 Chrome 中呈现时，网络选项卡显示 url 跟踪列表： <a href="https://i.stack.imgur.com/HWFPB.png" target="_blank"><img src="https://cdn.imgupio.com/i/AWkuc3RhY2suaW1ndXIuY29tL0hXRlBCLnBuZw==" alt=""/></a></p> <p>包括本地文件本身，一共触发了7个请求。这是我希望在我的代码打印结果中看到的。</p> <p>我的代码如下：</p> <pre><code>public class RenderHTML extends WebConnectionWrapper { static List&lt;String&gt; list = new ArrayList&lt;String&gt;(); public RenderHTML(WebClient webClient) throws IllegalArgumentException { super(webClient); } @Override public WebResponse getResponse(WebRequest request) throws IOException { // Log the URL of the request System.out.println(request.getUrl().toString()); return super.getResponse(request); } public static void main(String[] args) throws IOException { try (WebClient webClient = new WebClient(BrowserVersion.CHROME)) { // Wrap the client with the URLRecorder webClient.getOptions().setJavaScriptEnabled(true); webClient.waitForBackgroundJavaScriptStartingBefore(100_000); webClient.waitForBackgroundJavaScript(100_000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setUseInsecureSSL(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getCookieManager().setCookiesEnabled(true); webClient.setAjaxController(new AjaxController()); webClient.getCookieManager().setCookiesEnabled(true); webClient.setWebConnection(new RenderHTML( webClient)); // Load the local HTML file HtmlPage page = webClient.getPage(&#34;file:///Users/derrickguo/work/project/project_java/analyze_demand_tool_maven/src/main/lib/algorix_us_adm.html&#34;); } } } </code></pre> <p>但它只打印：<a href="https://i.stack.imgur.com/b1gCx.png" target="_blank"><img src="https://cdn.imgupio.com/i/AWkuc3RhY2suaW1ndXIuY29tL2IxZ0N4LnBuZw==" alt=""/></a></p> <p>一个被触发的请求然后处理完成。</p> <p>任何人都可以帮助我了解如何获得所有被解雇的请求？非常感谢！</p> </question> <answer tick="false" vote="0"> <p>HtmlUnit 是一个无头浏览器——默认情况下不下载图像。 但是你可以打开它</p> <pre><code>webClient.getOptions().setDownloadImages(true); </code></pre> <p>用 3.1.0 版本做了一些测试，我能够看到所有的请求。</p> <p>请记住方法 waitForBackgroundJavaScriptStartingBefore() 和 waitForBackgroundJavaScript() 不是选项。您必须在获得页面或点击后给他们打电话（但这在您的情况下不需要）。</p> <p>我的测试代码：</p> <pre><code>public class Issue76084456 extends WebConnectionWrapper { public Issue76084456(WebClient webClient) throws IllegalArgumentException { super(webClient); } @Override public WebResponse getResponse(WebRequest request) throws IOException { // Log the URL of the request System.out.println(&#34;#######&#34; + request.getUrl().toString()); return super.getResponse(request); } public static void main(String[] args) throws IOException { try (WebClient webClient = new WebClient(BrowserVersion.FIREFOX)) { // Wrap the client with the URLRecorder webClient.setWebConnection(new Issue76084456(webClient)); webClient.getOptions().setDownloadImages(true); // Load the local HTML file HtmlPage page = webClient.getPage(&#34;file:///C:/RBRi/htmlunit/algorix_us_adm.html&#34;); } } } </code></pre> </answer> </body></html>

如何使用HTMLUnit从网站源代码中提取<div data-module-*>里面的HTML元素？

我正在尝试通过搜索通用 URL 字符串（如下所示）从教育网站 Udemy 中删除内容（例如课程缩略图、价格等）。 si的源代码...

使用 HtmlUnit 发送帖子请求

在与服务器相关的任何事情上完全是业余爱好者，只是试图按照我在这里找到的其他一些答案发送发布请求，但运气不好，代码在最后一行崩溃，显示“源不是

java.lang.IllegalArgumentException：找不到声明的字段类 org.apache.http.impl.client.HttpClientBuilder.dnsResolver

参考： https://devpal.co/blog/web-scraping-with-java-and-htmlunit/ 我正在执行与博客中提到的完全相同的步骤，但出现错误 java.lang.IllegalArgumentException: 找不到 dec...

是否可以用HtmlUnit浏览器和Selenium Webdriver在无头模式下访问静态html内容？

例如Initialisation of driver, and calling the page.Webdriver is version 3.14 and HtmlUnit is 2.53. Webdriver是3.14版本，HtmlUnit是2.53版本。@Test public void testHtmlUnit(){ HtmlUnitDriver driver = new HtmlUnitDriver(...)

Jython导入错误。没有找到名为gargoylesoftware的模块，没有找到解析。

我想用jython来完成基本的网络搜刮任务，而不是学习java。为了学习基础知识，我正在使用http:/blog.databigbang.comweb-scraping-ajax-and-javascript-sites中的一个例子，我已经 ...

单击带有htmlunit的javascript锚似乎不起作用

我正在使用htmlunit自动访问网站。这是问题所在：我想单击一个锚点以显示给定表的新页面。这是锚点：

如何从网页获取价值？网站错误

我正在尝试编写一个脚本，以查找美元的价值（我来自阿根廷）并打印出来。我设法通过一个网站（“ https://www.bna.com.ar/Personas”）做到了。但是，当尝试...