在导航时阻止WebBrowser导致UI冻结？

Question

我面临的问题是，当处理WebBrowser控件（无论是否可见）时，它会导致UI在导航时冻结一小段时间，这在必须打开多个URL时变得非常明显和不可靠顺序。

我目前正在使用Noseratio's NavigateAsync扩展方法以静默和异步方式导航到多个URL :(随意跳过阅读代码并继续问题）

public static async Task<string> NavigateAsync(this WebBrowser webBrowser, string url, CancellationToken token)
{
    var tcs = new TaskCompletionSource<bool>();
    WebBrowserDocumentCompletedEventHandler handler = (s, arg) => tcs.TrySetResult(true);

    using (token.Register(() => { webBrowser.Stop(); tcs.TrySetCanceled(); }, true))
    {
        webBrowser.DocumentCompleted += handler;
        try
        {
            webBrowser.Navigate(url);
            await tcs.Task; // wait for DocumentCompleted
        }
        finally
        {
            webBrowser.DocumentCompleted -= handler;
        }
    }

    var documentElement = webBrowser.Document.GetElementsByTagName("html")[0];
    var html = documentElement.OuterHtml;
    while (true)
    {
        await Task.Delay(POLL_DELAY, token);
        if (webBrowser.IsBusy)
            continue;

        var htmlNow = documentElement.OuterHtml;
        if (html == htmlNow) break; 

        html = htmlNow;
    }

    token.ThrowIfCancellationRequested();
    return html;
}

但即使是最简单的代码如下：

WebBrowser wb = new WebBrowser() { ScriptErrorsSuppressed = true };
wb.Navigate("https://www.google.com/");

..还有同样的效果。

这是一个快速的demo video显示最简单的代码可能的问题。

我也试过让WebBrowser在不同的STA线程上运行，但仍然没有运气。

那么，有没有办法在处理WebBrowser时避免冻结？

---

在你打算用HttpClient建议用WebClient或HTMLAgilityPack替换它之前，请注意我正在使用WebBrowser来获取显示的文本，格式尽可能接近它在浏览器中的显示方式（即尽可能接近手动选择和复制文本）。我尝试（或在网上找到）而不使用浏览器的每个解决方案都未能实现这一点，即使the one that produced the closest result还不够好。

Answer 1

我可以确认你加载WebBrowser控件，UI冻结片刻，如果你使用WebBrowser控件的多个实例加载多个网址，滞后的UI很烦人，你不能与主窗口交互。

要重现该问题，您可以使用以下代码：

string google = "http://www.google.com";
var urls = Enumerable.Range(1, 100).Select(x => google).ToList();
foreach (var url in urls)
{
    var w = new WebBrowser() { ScriptErrorsSuppressed = true };
    w.DocumentCompleted += (obj, args) =>
        {
            var txt = ((WebBrowser)obj).DocumentText;
            this.textBox1.Text = DateTime.Now.ToString() + Environment.NewLine
                + txt.Substring(1, 200) + "...";
        };
    w.Navigate(url);
}

要解决此问题，您可以创建一个方法，在另一个线程中加载WebBrowser控件并返回一个Task<string>，它在浏览器文档完成时完成。我在BrowserBasedWebScraper创建了一个this post，您可以使用它来获取WebBrowser控件的内容，而不会滞后UI：

string google = "http://www.google.com";
var urls = Enumerable.Range(1, 100).Select(x => google).ToList();
foreach (var url in urls)
{
    var txt = await BrowserBasedWebScraper.LoadUrl(url);
    this.textBox1.Text = DateTime.Now.ToString() + Environment.NewLine
        + txt.Substring(1, 200) + "...";
}

你也可以从这个download repository一个工作的例子。