机器人会抓取 iframe 吗？

Question

机器人在 iframe 内爬行常见吗？他们是如何做到的？他们会立即索引它还是只是“记住”URL 并有时稍后继续？

Answer 1

如果indexed（即crawled）HTML/XHTML 页面上的某处有 href/src 链接，它将被索引。页面是否通过 iFrame 呈现给用户无关紧要。

Answer 2

正如其他人指出的那样，iframe 很容易被抓取。不过我想澄清一下，您的页面不会因为 iframe 内容而获得“信用”。因此，您的页面实际上不会因包含内容而被索引——它只是爬虫索引 iframe 页面并直接链接到它的垫脚石。这对于了解 iframe 是否指向不在您的域中的内容以及您希望利用 iframe 内容来提高自己页面的可见性非常重要。从你的问题中不确定这是否是你的意图。

Answer 3

我想是这样；我知道 googlebot 可以。

如果有疑问，您可以使用 robots.txt 和页脚中的一些额外链接进行控制。例如，请查看本页底部的链接。

Answer 4

iframe 仅包含 HTML 内容，就像任何其他 HTML 页面一样。
所以是的，引擎机器人会抓取它们。

您可能希望他们抓取它们，因为这可能就是您的内容所在的位置。
但是您可能不希望用户直接在框架中访问您的网站。

因此您可能想要检测框架的缺失。因此，您将使用 javascript 添加它们（它们不存在）。

<script type="text/javascript">
    if (top.frames.length==’0′) {
        window.location.replace("Appropriate url with frames");
    }
</script>

作为最后一条评论，我建议您不要使用框架。强烈不推荐它们，因为它们绝对反对任何无障碍政策。
他们使您的网站在其主页上看不到任何内容。所以这显然对你的排名没有帮助。

如果你可以避免它们，那就这样做（你总是可以）。