我正在设置我的网页以支持ssr,这是我的问题,我可以知道客户端是否是网络爬虫,所以我可以做ssr?
通过这种方式,我将为不是网络抓取工具的客户端提供网页服务
我已经看到要验证google-bot-crawler你可以使用https://stackoverflow.com/a/3308728/8991228
但是有一般的方法吗?
有一个标题:User-Agent
,通常在他的帮助下,你能够识别它是浏览器还是机器人,但......
伪造此标题的难度为0。
因此,使用其他验证方法,例如, Google,正如您所示。
但是......并非所有机器人都显示为机器人。例如,谷歌倾向于检查是否有其他内容被发送到僵尸程序。
总而言之:如果您知道机器人接受它(例如Facebook链接共享者),您可以这样做