我如何像Google一样抓取社交媒体网站？ Google是否使用每个特定于站点的API提取站点内容或非特定站点的爬网？
AFAIK，他们为此使用了正式协议或API。我相信他们在几年前（this came up时）与Twitter达成了一项特殊协议，但我不确定这种事情是否已经存在。
[如果看到Facebook's robots.txt，您会注意到它们有一些阻止程序，因此我相信Google会像其他任何网站一样对它们进行爬网。
并不是说网站所有者对他们的Googlebot没有特殊待遇。如果您想看到类似Googlebot的页面，请使用Mobile Friendly Testing tool。