是否有解决方法可以通过 CoinGecko API 安全检查？

Question

我在工作中运行我的代码，一切顺利，但在不同的网络（家庭 WiFi）上，访问 CoinGecko V3 API 时，我不断收到 403 错误。可以观察到，在私有浏览器上访问 API（以测试它）将提示安全检查（hCaptcha）才能继续。

https://api.coingecko.com/api/v3/coins/bitcoin/market_chart?vs_currency=usd&days=30

with requests.get(url) as source:
    print(source.status_code)

我也尝试了pycoingecko（用于检查），但仍然返回类似的错误：

>>> from pycoingecko import CoinGeckoAPI
>>> cg = CoinGeckoAPI()
>>> cg.get_coin_market_chart_by_id(id='bitcoin', vs_currency='usd', days=1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\...\Python39\lib\site-packages\pycoingecko\utils.py", line 12, in input_args
    return func(*args, **kwargs)
  File "C:\Users\...\Python39\lib\site-packages\pycoingecko\api.py", line 169, in get_coin_market_chart_by_id
    return self.__request(api_url)
  File "C:\Users\...\Python39\lib\site-packages\pycoingecko\api.py", line 29, in __request
    response.raise_for_status()
  File "C:\Users\...\Python39\lib\site-packages\requests\models.py", line 941, in raise_for_status
    raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 403 Client Error: Forbidden for url: https://api.coingecko.com/api/v3/coins/bitcoin/market_chart?vs_currency=usd&days=1

我猜 Cloudflare 怀疑我的网络活动，但显然我正在使用 Python 脚本来访问 API。有没有办法可以通过安全检查？

Answer 1

我可以使用以下命令在命令行上复制对端点的调用：

curl -vv -H "user-agent: C" https://api.coingecko.com/api/v3/coins/bitcoin/market_chart?vs_currency=USD&days=30

-vv

- 额外详细的日志记录 - 显示来自服务器的请求/响应的详细信息

-H

- 设置 HTTP 标头

将

user-agent: 

标题设置为空白时，我没有收到任何响应。如果我将该值设置为任何非空值，例如

C

、

Chrome

、

Chrome/91.0.0

，它就可以工作。

如果你可以在 python 中复制相同的内容，你应该得到相同的结果...HTTP 是一种无状态协议。如果它不起作用，那就是其他原因在起作用。

Answer 2

正如 CoinGecko 文档中所述，尝试每分钟执行超过 50 个请求，大约 200 个之后，我开始出现错误

urllib.error.HTTPError: HTTP Error 429: Too Many Requests

因此您看到的错误是特定活动的结果。

在你的情况下，我猜唯一的方法是使用网络代理服务器或从一些远程服务器（如AWS EC2实例）运行解析，这很便宜并且可以用于解析。

Answer 3

我认为使用 scraperapi.com 将是一个很好的解决方法。在付款之前，您会收到数千个请求来查看它是否有效，并且设置起来非常容易+旨在处理此类内容，您可能会收到验证码/被阻止等。

刚刚测试过，对我来说工作正常：

import requests
payload = {'api_key': 'YOUR API KEY',
           'url': 'https://api.coingecko.com/api/v3/coins/bitcoin/market_chart?vs_currency=usd&days=30'}
with requests.get('http://api.scraperapi.com', params=payload) as source:
    print(source.status_code)

Answer 4

我遇到了这个 403:Forbidden 错误，原因是他们更改了在标头中指定 User-Agent 的要求。很好的解释在这里： https://github.com/tosunthex/CoinGecko/issues/50