从API提取的数据是否会被Google抓取？

Question

我目前正在建立一个网站，我将从API获取一些数据。Google会抓取数据吗？我进行了一些研究，发现5岁以上的孩子有1个答案。

Answer 1

任何以HTML呈现的页面都可以通过Google或任何其他搜索引擎轻松地进行爬网和建立索引。

如果您想停止Google抓取任何页面，则可以使用robots.txt文件或具有noindex值的meta robots标签。