SEO 与 GEO · robots-txt

robots.txt 配置与审核 Skill

盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。

网站改版、迁移或接入新框架后,测试环境的全站阻止规则、过宽的目录规则和错误的 Sitemap 地址可能被带到生产;也有团队用 robots.txt 隐藏登录页或敏感路径,结果页面仍可能出现在搜索结果中。这个 Skill 先读取线上 robots.txt、URL 路径和 Sitemap,再按公开内容、后台接口、临时环境与需要 noindex 的页面分组;随后编写 User-agent、Allow、Disallow 和 Sitemap 指令,用代表 URL 测试匹配结果,发布后回读公开文件并核对关键页面。

WHAT IT SOLVES

盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录

盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。跑完你拿到的是robots.txt 现状与冲突说明,中间一共 4 步。

最适合的真实场景

  • 01

    新站上线前生成完整 robots.txt 并声明 Sitemap

  • 02

    排查全站阻止、目录规则过宽和资源误封问题

  • 03

    区分 robots.txt 抓取控制、noindex 索引控制和访问保护

  • 04

    为公开子路径编写比父目录更具体的 Allow 规则

  • 05

    在迁移、改版或发布流程变化后复查生产 robots.txt

你要先准备的资料

  • 站点正式域名、协议、生产与测试环境地址
  • 当前线上 robots.txt 与 XML Sitemap 地址
  • URL 路径、目录用途、公开状态和抓取需求
  • meta robots、X-Robots-Tag、canonical 与访问控制做法
  • robots.txt 维护位置、发布流程和代表 URL

跑完你会拿到什么

  • robots.txt 现状与冲突说明
  • 包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件
  • 规则对象、路径格式和预期结果说明表
  • 代表 URL 匹配测试表
  • 生产文件与关键路径发布复查记录

METHOD

盘点站点与路径用途 → 选择适合的控制方式 → 编写并检查抓取规则 等 4 个环节

一共 4 步。其中 6 项能力决定了换个 AI 会不会更麻烦。

  1. 盘点站点与路径用途读取正式域名、当前 robots.txt、Sitemap、URL 路径和环境配置,标出公开内容、后台接口、临时环境和需要 noindex 的页面。
  2. 选择适合的控制方式区分路径级抓取控制、页面级索引控制和服务器访问保护,避免用 robots.txt 隐藏敏感内容或阻止承载 noindex 的页面。
  3. 编写并检查抓取规则按 User-agent 组织 Allow、Disallow 与 Sitemap,使用根相对路径和绝对 Sitemap 地址,检查大小写、通配符、结尾符号和更具体规则。
  4. 测试路径并完成发布回读用代表 URL 记录匹配规则和预期结果,发布后读取公开 robots.txt、关键页面资源和 Sitemap 地址,确认生产环境与审定文件一致。

这个 Skill 用到的能力: 读本地资料打开网页取正文产物区审阅长上下文写本地文件运行脚本 。不同 AI 对这些能力的支持程度不一样,所以同一个 Skill 换个 AI,有几步做法会变。

WORKED EXAMPLE

示例:修复内容站上线后的全站阻止规则

假设一家内容站从预发布环境切换到正式域名,线上 robots.txt 仍保留 Disallow: /。团队提供正式域名、当前文件、文章与后台路径、Sitemap、静态资源目录和发布方式。

  1. 读取线上文件与路径清单
  2. 区分公开内容和后台目录
  3. 重写 User-agent 与路径规则
  4. 测试文章、后台和资源 URL
  5. 发布后回读生产文件

预期结果:交付完整 robots.txt、路径规则说明、代表 URL 测试结果和生产回读记录。

PITFALLS · VERIFICATION

把 Disallow 当成禁止索引

最常踩的坑

  • 把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中
  • 把登录页、感谢页等 noindex 页面同时写入 Disallow,导致爬虫无法读取页面指令
  • 把正式域名写进 Disallow 路径,或在 Sitemap 中只写相对地址
  • 用 robots.txt 暴露需要隐藏的敏感目录,且没有服务器访问控制
  • 阻止 CSS、JavaScript 或图片,影响搜索引擎读取和渲染页面
  • 沿用旧的爬虫名单,没有核对当前 User-agent 文档和业务取舍

怎么确认这次跑对了

  • 已经形成可检查的robots.txt 现状与冲突说明,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的规则对象、路径格式和预期结果说明表,关键判断能回到输入资料或过程证据。
  • 已逐项检查「把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中」等高频问题,并记录需要人工确认的下一步。
robots.txt 配置与审核 Skill适合哪些岗位使用?

需要新建、排查或更新 robots.txt,并协调 SEO、网站运营与开发发布的营销站、内容站、商品站和多环境网站团队。典型场景包括新站上线前生成完整 robots.txt 并声明 Sitemap;排查全站阻止、目录规则过宽和资源误封问题;区分 robots.txt 抓取控制、noindex 索引控制和访问保护。

开始前需要准备什么资料?

至少需要站点正式域名、协议、生产与测试环境地址、当前线上 robots.txt 与 XML Sitemap 地址、URL 路径、目录用途、公开状态和抓取需求。资料越具体,结果越能直接用于决策。

最后能得到什么可检查的结果?

robots.txt 现状与冲突说明、包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件、规则对象、路径格式和预期结果说明表。每项都可以逐条核对来源和数字。

哪些情况下结果会不可靠?

把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中;把登录页、感谢页等 noindex 页面同时写入 Disallow,导致爬虫无法读取页面指令。出现这些情况时需要人工复核。

支持哪些 AI Agent?

已适配 WorkBuddy、OpenClaw、Hermes Agent、Codex、Claude Code、TRAE、ZCode 共 7 种,每种都有独立的安装说明和能力对照。

ORIGINAL SOURCE

2 个原始文件,16 个文档章节,来源固定在 ac823a12

上游原文完整保留在加搜服务器上,可逐节查看,也可以直接下载。 当前镜像共 2 个文件、8.6 KB。

网站路径、Sitemap、发布环境或爬虫策略变化后,重新测试代表 URL 并回读生产 robots.txt。

原始 Skill 文档 上游原文完整保留,中文概述已转换为营销任务、输入资料和交付结果。

原始 Skill 覆盖 robots.txt 的抓取控制、Allow 与 Disallow、Sitemap、路径格式、noindex 区分、关键资源保持可抓取和完整文件输出。

来源与版本声明

本页面由加搜科技整理业务说明并托管安装文件。原始 Skill 来源渠道:GitHub; 上游作者:kostja94; 原始项目名称:robots-txt; 固定版本:ac823a127782; 许可证:MIT。技能包内保留完整出处和许可证说明。

各 Agent 能力说明参考对应官方文档。页面不提供外部跳转。

网站路径、Sitemap、发布环境或爬虫策略变化后,重新测试代表 URL 并回读生产 robots.txt。

INSTALL

robots.txt 配置与审核 Skill v1.0.0,ZIP 带 SHA256 校验

默认做法是把提示词复制给 AI Agent,让它自己下载并安装。提示词里已经写清要用完整 ZIP、装完报告目录、并先跑一个小任务验证。

METHOD 01 · 交给 AI 自己装

复制提示词

适合大多数情况。Agent 会下载 ZIP、解压、放到正确目录,并在缺少权限时告诉你需要手工做哪一步。

请帮我把「robots.txt 配置与审核 Skill」安装到我正在使用的 AI Agent。
1. 下载完整 Skill ZIP:https://www.vibemarketing.work/packages/skill-robots-txt/1.0.0/skill-robots-txt.zip
   注意:网页 HTML 不能当作 Skill 文件安装,必须使用 ZIP 里的完整文件。
2. 解压后保留 SKILL.md 及全部配套文件,按你所用 Agent 的 Skill 目录规则安装。
3. 安装完成后告诉我实际安装目录。
4. 用一个只读小任务验证 Skill 已被识别。
5. 如果你没有联网、下载或写目录权限,请直接告诉我哪几步需要我手工完成。
参考:原始 SKILL.md https://www.vibemarketing.work/raw/skill-robots-txt/SKILL.md;安装指南 https://www.vibemarketing.work/agent-install/skill-robots-txt.md

FURTHER READING

robots.txt 配置与审核 Skill 相关的实操文章

别人做同类任务时踩过的坑和总结,动手前后都值得翻一下。

官网菜单越改越简,定价和文档为什么更难找

假设一家 SaaS 公司把官网从六个一级栏目收成“产品、解决方案、资源”三个下拉菜单。价格页和文档页仍在,只是从页头可见入口移到了第二层。改版后如果销售频繁收到“有没有公开价格”“API 文档在哪里”

  • SEO
  • 内容策略
  • 产品营销
  • 信息架构

GEO和SEO的区别:从搜索流量到AI答案引擎的范式转移

GEO(生成式引擎优化)不是SEO的升级版,而是针对AI答案引擎的不同优化逻辑。本文从展示形式、排名机制、内容策略和技术实现四个维度对比GEO与SEO的核心差异,帮助营销团队理解两种流量来源的共存策略

  • AI搜索优化
  • 生成式引擎优化
  • 搜索流量
  • SEO

旧链接还在带访问,先别把 404 全部跳到首页

网站改版已经结束,搜索结果、旧文章和客户收藏夹仍在把人送到原来的地址。运营看到 404 访问上涨,开发提出一条省事的规则:所有失效网址统一跳到首页。报错数字很快下降,访客却还要从首页重新寻找那份资料、

  • SEO
  • 技术SEO
  • 用户体验
  • 404 页面

按这个 Skill 的产出能不能直接被下一个 Skill 用上来推荐,不是固定名单。多数情况下按顺序跑完一组,比单独用一个效果更好。

内容与创意#02

品牌视觉系统 Skill

把现有 Logo、字体、配色、间距与触点要求整理成可复用的视觉规范和设计 Token,并映射到网站、幻灯片和文档。

来源项目 · kostja94/marketing-skills ★ 1,122 · Fork 154
SEO 与 GEO#05

网站可抓取性优化 Skill

检查重定向链、失效链接、孤儿页、点击深度、分页和初始 HTML,交付抓取问题表、页面关系表、修复顺序与复查记录。

来源项目 · kostja94/marketing-skills ★ 1,122 · Fork 154
SEO 与 GEO#06

Grokipedia 引用建议 Skill

为 Grokipedia 新条目建议与现有条目修改准备中立文案、来源组合和提交跟踪表。

来源项目 · kostja94/marketing-skills ★ 1,122 · Fork 154

VibeMKT COMMUNITY

加入 VibeMKT 社群

微信扫码,交流营销 Skill 的选择、安装、试用与业务化改造。

加入 VibeMKT 社群的微信二维码

二维码会持续显示,关闭弹窗后返回当前页面。