抓取 ESPN 梦幻棒球联盟球员观看列表

Question

我正在尝试抓取我的观察列表上的球员，但由于联赛是私人的，我无法正常抓取，因为我必须先进行身份验证。我尝试了多种方法，例如传递 cookie 来保留会话信息，但它不起作用。关于如何抓取这些数据有什么想法吗？

这是我试图达到的终点： https://fantasy.espn.com/baseball/watchlist?leagueId=38069

Answer 1

寻求帮助时尝试发布代码。

因为我不知道你的代码的状态。我建议你尝试将登录 python 转换为 cURL:

• 进入登录页面并打开DevTools
• 登录后，进入网络选项卡，然后刷新页面
• 在“网络”选项卡上，您将看到一个请求列表，可能第一个请求将包含您要使用的登录数据（如果您使用 cookie 来保留会话信息，则可能是相同的）。
• 在列表中右键单击所需的请求 > 转到复制 > 复制为 cURL (bash)
• 访问这个将 cURL 转换为 python 请求的网站：https://curlconverter.com/
• 使用自动生成的信息继续抓取
• 您很可能会获得 cookie、标头、参数和数据
• 在您的请求中使用它：

with req.session() as session:
        res = session.post(login_url, params=params, cookies=cookies, headers=headers, data=data)

创建会话时必须使用相同的参数，以便可以访问被阻止的内容