这个 Robots.txt 文件说什么？

Question

我正在尝试阅读此 Robots.txt 文件，以确定项目提议阶段内的最佳行动方案。我是一家网站开发机构的所有者。

我的 SEMRush 报告显示，在过去 1 年多的时间里，该网站没有收到任何流量。

出现这种情况可能有以下几个原因：

1. Robots.txt 正在请求拒绝审核查询。
2. Robots.txt 告诉 Google 不要爬入，这意味着他们没有任何流量。

下面粘贴的是所引用的Robots.txt文件。

User-agent: *
Allow: /
User-agent: Googlebot
Disallow: *?lightbox=

# Optimization for Google Ads Bot
User-agent: AdsBot-Google-Mobile
User-agent: AdsBot-Google
Disallow: /_api/*
Disallow: /_partials*
Disallow: /pro-gallery-webapp/v1/galleries/*

# Block PetalBot
User-agent: PetalBot
Disallow: /

# Crawl delay for overly enthusiastic bots
User-agent: AhrefsBot
Crawl-delay: 10

<!--Sitemap removed-->

# Auto generated, go to SEO Tools > Robots.txt Editor to change this

SEMRush 审核

站点地图返回空

机器人.txt

Answer 1

根据您的Robots.txt，设置允许一般搜索引擎抓取，但有特定限制，这可能不是没有流量的根本原因。

考虑 Robots.txt 之外的其他 SEO 方面也很重要，例如内容质量、网站结构和外部链接。另外，请确保您的站点地图正确提交给搜索引擎。审查和更新您的整体 SEO 策略可能有助于识别和解决影响网站流量的根本问题。