googlebot 相关问题

Googlebot是谷歌的网络抓取机器人，它可以从网络上发现新的和更新的网页/文档，为谷歌搜索引擎构建一个可搜索的索引。

从 Google Page Speed 获取关于页面重定向的警告

我制作了一个脚本来重定向使用印尼语以外浏览器的用户。脚本运行良好。但是当我检查 Google Page Speed Insight 时，我收到警告：页面可能无法按预期加载

javascript google-pagespeed googlebot

回答 1 投票 0

https://developers.google.com/+/web/snippet/ 这是爬虫机器人吗

当我们向用户发送短信时，我看到来自该机器人的大量流量。我正在尝试了解有关此机器人的更多详细信息。任何描述它的作用、它有多重要以及我们可以阻止的指针...

bots googlebot

回答 4 投票 0

允许 Google 绕过 CAPTCHA 验证 - 明智与否？

我的网站有数据库查找；填写验证码后，您将获得 5 分钟的查找时间。还有一些自定义代码来检测任何自动化脚本。我这样做是因为我不想让别人数据...

php captcha googlebot

回答 2 投票 0

停止对用户控件进行索引

为了遵守 cookie 法，我创建了一个用户控件，该控件添加到 asp.net 中的各个页面。用户控件基本上是出现在 div 中的 cookie 消息。问题是

html asp.net user-controls meta-tags googlebot

回答 1 投票 0

Google 还是将我的域名编入索引了吗？

我有一个像下面这样的 robots.txt，但 Google 仍然为我的域名建立了索引。基本上他们已经索引了 mydomain.com 但没有索引 mydomain.com/any_page 用户代理： * 不允许： / 我的意思是我怎样才能回到更远的地方

search-engine robots.txt googlebot

回答 1 投票 0

谷歌元机器人

我有一个问题：如果我将此代码放在我的网站中：谷歌不会搜索特定页面，对吗？不是所有网站。

bots meta-tags googlebot

回答 1 投票 0

向“noindex”添加了 HTML 元“机器人”指令，Google 仍然在搜索结果中显示我的网站

我希望 Google 不要在搜索结果中显示我的网站（因为它面向遍布全球的内部用户）。如 https://developers.google.com/search/docs/crawling-indexing/robots-me...

googlebot noindex

回答 1 投票 0

如何从 Google 索引中排除我的 API？

好的，我有一个网站，其中有一系列按钮，这些按钮调用 api 返回与产品相关的信息。我遇到的问题是 google 每 10 分钟就会访问并跟踪 api

googlebot

回答 1 投票 0

Google Bot (SEO) 和语言使用 cookie，但具有完全相同的 url

有什么方法可以告诉谷歌机器人要获取其他语言，它需要设置 cookie 吗？例如，在 https://www.famistar.com，用户可以单击页面底部的...

seo googlebot

回答 1 投票 0

为什么 Google 在 Angular 构建的页面的索引和缓存方面存在问题？

如果我理解正确的话，通常的 HTML 页面和 Angular SPA 之间的区别如下： HTML 页面：用户从浏览器向服务器发出请求后，服务器会发送带有

angular caching indexing seo googlebot

回答 1 投票 0

由于 Google 索引和 Lighthouse PageSpeed 测试抛出未经授权的请求 (401) 错误而被阻止

我有一个网站，它部署在 Vercel 上。当我尝试使用 Google Search Console 为页面建立索引时，它会抛出错误：由于未经授权的请求而被阻止 (401) 错误信息然后我拜访了他们

web-scraping google-search-console http-status-code-401 lighthouse googlebot

回答 1 投票 0

如何对停放域名进行 Noindex？

我有一个主域，它是索引和跟随。另一个域停放在主域上。 Noindex如何停放域名？我不希望 Google 将停放域名编入索引。

indexing seo googlebot noindex

回答 1 投票 0

Google Search console：由于禁止访问（403）而阻止除（印度，斯里兰卡）以外的所有国家

在过去的 4 年里，我是 cloudflare 的老用户，去年我有 14 多个不同类别的网站已添加到 cloudflare。我的网站可以访问并在谷歌上排名...

cloudflare firewall google-search-console googlebot google-index

回答 1 投票 0

向 googlebot 显示基于位置的内容并避免伪装

我有一个网站应该根据访问者所在的国家/地区显示相同商品的不同价格。美国游客看到 10 美元，而德国游客看到 12 欧元。我使用 visi 来做到这一点...

geolocation ip googlebot cloaking

回答 0 投票 0

Google 负载均衡器或存储桶返回 304 而不是 404 状态码

我们在 Google 存储桶前面有一个 Google 负载均衡器，不涉及 CDN。当从桶中删除资源时，负载均衡器（或存储桶）不断返回......

google-cloud-platform google-cloud-storage load-balancing googlebot

回答 1 投票 0

“实时 URL 测试”通过 Google Search Console 使用 GoogleBot 爬虫测试 URL 时显示我的 Bubble.io 网站的缓存版本

当抓取一个全新的 URL 时，googlebot 抓取工具总是会在第一次测试时抓取最新版本的页面，在测试新 URL 的第一个实例之后，它继续...

browser-cache google-search-console googlebot google-crawlers bubble.io

回答 0 投票 0

Googleboot 不断抓取不存在的页面，而不是我的实际页面

我在 6 个月前开始建立我的网站。从我开始到现在已经 6 个月了。 Googlebot 继续抓取我网站上不存在的页面。 Googlebot 随机生成这些链接。他们访问了

wordpress googlebot google-crawlers

回答 2 投票 0

如何在Google SERP上证明某个页面？[重复]

我注意到，在Google上搜索的一些结果并不是一个网址，而是一个网址，上面有两栏我称之为这个网站的 "重要链接"。比如说，如果你打开Google，..: 如果你打开谷歌和...

seo googlebot

回答 1 投票 0

在React JS中检测爬虫

我有一个立即显示的全屏模式，因此用户必须确认他们未成年才能访问该网站。我现在担心的是，像Google bot这样的抓取工具可能无法通过...

reactjs web-crawler googlebot google-crawlers

回答 1 投票 0

从API提取的数据是否会被Google抓取？

我目前正在建立一个网站，我将从API获取一些数据。 Google会抓取数据吗？我进行了一些研究，发现5岁以上的人有1个答案。

api seo googlebot google-crawlers google-index

回答 1 投票 0

googlebot 相关问题

最新问题