Pandas pd.read_html（）函数给我'HTTP错误403：禁止使用'

Question

我一直在使用熊猫抓取数据表。使用pd.read_html（）非常简单，但是我尝试使用的其中一个网址无法正常工作。这是我的代码：

import pandas as pd
import requests

base_site = 'https://stats.ncaa.org/team/376/stats/15061'

r = requests.get(base_site)
r.status_code

tables = pd.read_html(base_site)

我输入了检查状态码的请求，输出的200很好。

这里是pd.read_html（）的输出：

---------------------------------------------------------------------------
HTTPError                                 Traceback (most recent call last)
<ipython-input-4-398e418f089e> in <module>()
----> 1 tables = pd.read_html(base_site, attrs = {'class' : 'dataTable', 'id' : 'statgrid'})

11 frames
/usr/lib/python3.6/urllib/request.py in http_error_default(self, req, fp, code, msg, hdrs)
    648 class HTTPDefaultErrorHandler(BaseHandler):
    649     def http_error_default(self, req, fp, code, msg, hdrs):
--> 650         raise HTTPError(req.full_url, code, msg, hdrs, fp)
    651 
    652 class HTTPRedirectHandler(BaseHandler):

HTTPError: HTTP Error 403: Forbidden

我在遍历html后尝试添加参数以使调用更加具体，但收到相同的错误，无济于事。

tables = pd.read_html(base_site, attrs = {'class' : 'dataTable', 'id' : 'statgrid'})

我是否缺少明显的东西？其他站点将向我指定的表对象返回一个列表，但是我无法弄清楚为什么这对于我实际想要数据的站点不起作用。

Answer 1

您可能要检查bs4或硒以进行网络抓取。

对于您的问题，请尝试替换

pd.read_html(base_site)

到

pd.read_html(r.text)