为什么python抓取结果与浏览器不同

Question

我可以在浏览器中浏览页面https://www.xiami.com/artist/O9fc383，但是当我通过chrome驱动程序解析它时，我得到了不同的源代码，因此我无法抓取该页面，我该怎么办？浏览器中没有此源表单。

...
<form action="//www.xiami.com:443/artist/O9fc383/_____tmd_____/verify/" id="nc-verify-form" method="GET">
...
<script>
    var referrer=document.referrer;
    if (referrer && referrer.indexOf("__tmd__")===-1 ){
        localStorage.x5referer = document.referrer;
    }else{
        localStorage.x5referer = window.location.href;
    }
</script>

Answer 1

你用什么lib来刮？如果你使用美丽的汤或urllib你不能刮掉javascript生成的代码。你将不得不使用像silenium Scraping a JS-Rendered Page这样的东西