有没有办法根据谁是客户端,网络爬虫和网络应用客户端呈现不同的页面?

问题描述 投票:1回答:1

我正在设置我的网页以支持ssr,这是我的问题,我可以知道客户端是否是网络爬虫,所以我可以做ssr?

通过这种方式,我将为不是网络抓取工具的客户端提供网页服务

我已经看到要验证google-bot-crawler你可以使用https://stackoverflow.com/a/3308728/8991228

但是有一般的方法吗?

node.js http express ssr
1个回答
1
投票

有一个标题:User-Agent,通常在他的帮助下,你能够识别它是浏览器还是机器人,但......

伪造此标题的难度为0。

因此,使用其他验证方法,例如, Google,正如您所示。

但是......并非所有机器人都显示为机器人。例如,谷歌倾向于检查是否有其他内容被发送到僵尸程序。

总而言之:如果您知道机器人接受它(例如Facebook链接共享者),您可以这样做

© www.soinside.com 2019 - 2024. All rights reserved.