Splash 无法呈现整个页面

Question

我无法弄清楚如何使用启动栏渲染整页。我尝试设置代理和不同的用户代理，但没有成功。包含内容的主要 div 未呈现。如果有人可以提供帮助，我们将不胜感激。

从 Splash 渲染（网址 https://www.finishers.com/courses）

有一些来自cloudfront的X-Cache错误..我不知道这是否是问题所在，也不知道如何解决这个问题。

这是浏览器的页面：

我尝试设置不同的代理、用户代理和其他参数。

Answer 1

该页面的内容是动态加载的，您应该发送POST请求方法来获取内容。您可以从 Inspect > Network > XHR 找到数据和标头并使用

from scrapy.http import JsonRequest

并发送请求，如this：

data = {
"name1": "value1",
"name2": "value2",
}
yield JsonRequest(url="http://www.example.com/post/action", data=data)