HTTP 标头中没有适当的 Cookie 时出现 403 禁止错误 |蟒蛇

Question

我在 https://dexscreener.com 上遇到网络抓取问题。我发现为了接收状态代码为 200 的服务器响应，不仅需要指定用户代理，还需要指定有效的 cookie。我目前正在从 Firefox 浏览器手动复制 cookie。如果我不提供 cookie，我会收到 403 错误。我自己的 cookie 在创建后仅有效 30 分钟。 我需要找到一种方法来绕过这个问题，因为网络抓取应该自动发生，而不需要手动替换 cookie。感谢所有加入讨论的人。如果您能帮助我，我将不胜感激！

这是我当前的代码：

import requests
url = "https://dexscreener.com"}
cookies = {"__cf_bm": "*my_cookies*"}
headers = {
    "User-Agent": "*my_user-agent*"
}
session = requests.Session()
session.cookies.update(cookies)
session.headers.update(headers)
response = session.get(url)
print(response)

Answer 1

尝试从响应中获取cookie并刷新它，然后需要使用新的cookie

import requests


url = "https://dexscreener.com"


response = requests.get(url)
cookies = response.cookies

或使用selenium自动从网络浏览器获取cookie

cookies = driver.get_cookies()

Answer 2

有任何修复吗？我不想使用 selenium 但请求获取有效的 cookie