HTMLUnit:更改用户代理字符串

问题描述 投票:7回答:5

我在我的Java项目中使用HtmlUnit来测试一个内部有Javascript的网页。我的代码点击一个调用Javascript函数的按钮,将用户重定向到另一个页面(如链接缩短服务)。这是代码:

public void click()
{
    WebClient webClient = new WebClient();
    HtmlPage page = webClient.getPage("http://mywebsite.com");
    HtmlImage a = page.getHtmlElementById("my_button");
    page = (HtmlPage) a.click();
}

问题是HTMLUnit使用默认的用户代理(Internet Explorer 8),并且只有少数设置(Firefox 17和Chrome)。如果检测到另一个浏览器/用户代理,mywebsite.com的行为不会更改。顺便说一下,网站存储用户代理字符串用于统计目的,每次访问时我都需要更改它。

我试图通过以这种方式创建一个新的BrowserVersion对象来更改用户代理:

BrowserVersion bv = new BrowserVersion("Chrome", "Mozilla/5.0", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36", 28);

顺便说一句,当我实例化一个传递我的bv对象的Webclient对象时,我的代码不再起作用了。根据我的理解,HtmlUnit文档说我必须检查我的BrowserVersion中指定的用户代理是否具有运行Javascript的正确功能。

但是,请注意常量不足以完全自定义浏览器,您还需要查看BrowserVersionFeatures和“javascript”包中的类。

这是什么意思?为什么HtmlUnit不再起作用?我的目标只是更改用户代理字符串。我怎样才能做到这一点?请注意,我也尝试过Selenium,但没有成功。谢谢您的帮助。

编辑1:

找到了这个技巧。如果我实例化BrowserVersion如下:

BrowserVersion bv = new BrowserVersion("Netscape", "blablabla", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36", 0);

它有效,但我不明白为什么。我必须将第一个字符串设置为Netscape(尝试过Chrome和Mozilla,但它不起作用)。第二个字符串是随机的,如果将Netscape设置为第一个参数,我可以放任何东西。第三个字符串是格式良好的用户代理,第四个参数是指示版本的整数。你能解释一下为什么只有当Netscape作为第一个参数传递并随机传递给其他人时(第二个除外)它才有效吗?

更新:

有时它不起作用(如上所述)。对于某些用户代理字符串,页面未正确加载。我无法理解为什么用户代理应该修改HtmlUnit的行为,因为我很确定Javascript非常简单并且应该由所有浏览器版本运行。所以,我的最后一个问题是:如何在不改变执行Javascript时的行为的情况下更改HtmlUnit中的用户代理字符串?

javascript user-agent htmlunit
5个回答
2
投票

使用Htmlunit 2.28,你可以像下面的例子一样设置它

final BrowserVersion myChrome = new BrowserVersion.BrowserVersionBuilder(BrowserVersion.CHROME)
    // do your setup here
    .setXXX(..)
    .build();

1
投票

您可以将它传递给WebClient构造函数:

WebClient webClient = new WebClient(BrowserVersion.CHROME);

此处列出了支持的用户代理:http://htmlunit.sourceforge.net/apidocs/com/gargoylesoftware/htmlunit/BrowserVersion.html



0
投票

不要担心创建一个新的BrowserVersion对象。您可以在创建驱动程序后更改用户代理,而不会弄乱所有版本控制混乱:

String DEFAULT_MOBILE_USER_AGENT_STRING = "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25";

HtmlUnitDriver driver = new HtmlUnitDriver(); //Or insert a capabilities object
driver.getBrowserVersion().setUserAgent(DEFAULT_MOBILE_USER_AGENT_STRING);
driver.get("http://facebook.com");

这将正确访问http://facebook.com并重定向到https://m.facebook.com/?_rdr&refsrc=https://www.facebook.com/,因为用户代理字符串告诉facebook浏览器是iPhone。


0
投票

在构建Chrome驱动程序对象时,我能够将用户代理设置为随机字符串,例如“Selenium”。

ChromeOptions chromeOptions = new ChromeOptions();
chromeOptions.addArguments("--start-maximized");
chromeOptions.addArguments("user-agent=Selenium");
chromeOptions.setExperimentalOption("useAutomationExtension", false);
aDriver = new ChromeDriver(chromeOptions);
aDriver.manage().timeouts().implicitlyWait(Const.Chrome_TIMEOUT, TimeUnit.SECONDS);
© www.soinside.com 2019 - 2024. All rights reserved.