做更多标题意味着服务器认为您是人类的机会更大

问题描述 投票:1回答:1

这不是与编程有关的问题,但是我已经使用python requests很多次了。

我通常使用的标题是:

  • 接受编码
  • 来源
  • 推荐人
  • 用户代理
  • 接受语言
  • 接受
  • cookie

[在执行诸如登录之类的任务时检查发送到服务器的请求时,您会注意到标头,例如:

  • 主机
  • 内容长度
  • TE

如果我决定将这些标头添加到我的请求中,由于它告诉服务器有关“浏览器”的信息,这会增加我被人识别的机会。

python http web-scraping python-requests http-headers
1个回答
0
投票

不是。

Host是HTTP v.1.1协议中的必需标头,因此无论如何都将其发送。 requests模块隐式设置此头。您不应该手动设置它,在99个100的情况下,您永远不必关心此标头。

尽管Content-Length是可选标头,但几乎一直在使用它,因为它是告诉远程服务器HTTP消息实际结束位置的最简单方法。最受欢迎的替代方法是Transfer-Encoding: chunked。这两个标头中的任何一个都不公开有关客户端的任何信息,因此您不必担心它们。

最后,通过使用TE标头,客户端将告诉远程服务器所需的Transfer-Encoding格式。同样,此标头仅在客户端和服务器之间协商数据格式,几乎不会增加您被识别为人的机会。

© www.soinside.com 2019 - 2024. All rights reserved.