你如何在vba的网页上获得下一个元素

Question

我正在尝试构建一个VBA宏来从http://stt.wiki网站获取大量数据。具体来说，我从页面https://stt.wiki/wiki/Galaxy_Event开始，我想下到以“Galaxy Events”开头的部分，并从下面的列表中拉出每个项目。

所以，我有以下几点：

Dim IE As New InternetExplorer
IE.Visible = True
IE.navigate "https://stt.wiki/wiki/Galaxy_Event"
Do
    DoEvents
Loop Until IE.readyState = READYSTATE_COMPLETE
Dim Doc As HTMLDocument
Set Doc = IE.document
Dim sH2 As String

我知道我可以做sH2 = Trim（Doc.getElementsByClassName（“mw-headline”）（0）.innerText）

看到等同于“Galaxy Events”的元素，但我找不到一种方法来获取下一个元素，因为它不是与Galaxy Events共享任何属性的元素。我犹豫以LI（Doc.getElementsByTagName（“li”）（9））为目标，因为网站可以改变并打破我正在做的一切（虽然我想我可以循环通过LI项目，直到找到一个没有类的）

无论如何，当我在各个方面都是一个不同的类型时，我将如何只是下降到下一个元素（我尝试了FirstChild。那返回了一个错误。）

Answer 1

网络抓取本质上是脆弱的。 API是接收内容的最佳方式。

如果没有API，我会收集该部分中的链接列表，并在寻找特定标题时循环

Option Explicit
'VBE > Tools > References:
' Microsoft Internet Controls
Public Sub GetData()
    Dim ie As New InternetExplorer, i As Long
    With ie
        .Visible = True
        .Navigate2 "https://stt.wiki/wiki/Galaxy_Event"
        While .Busy Or .readyState < 4: DoEvents: Wend

        Dim galaxyEvents As Object
        Set galaxyEvents = .document.querySelectorAll("ol li > a[title]")
        For i = 0 To galaxyEvents.Length - 1
            Debug.Print galaxyEvents.item(i).Title
            'Or any comparison required here then Exit For if found
        Next
        .Quit
    End With
End Sub

---

看起来你可以尝试使用存在的API，虽然我不得不通过相关的wiki API语法破解我的方式。需要jsonconverter.bas添加到项目然后VBE>工具>引用>添加对Microsoft Scripting Runtime的引用。

Option Explicit
Public Sub GetInfo()
    Dim json As Object, dict As Object, link As String
    Const BASE_URL As String = "https://stt.wiki/wiki/"

    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "https://stt.wiki/w/api.php?action=parse&format=json&page=Galaxy_Event&section=1", False
        .send
        Set json = JsonConverter.ParseJson(.responseText)("parse")("links") '<==Will include references links
        For Each dict In json
            link = dict("*")
            Debug.Print link
            Debug.Print BASE_URL & Replace$(link, Chr$(32), Chr$(95))
        Next
    End With
End Sub

对于API，我在html中为你提供的网址找到了this。然后我浏览了相关文档here。