固定上游版本 ac823a127782,包含 2 个文件。 加搜已生成可下载技能包、原始文件镜像及 7 种 Agent 安装页面。
SEO 与 GEO · robots-txt
robots.txt 配置与审核 Skill
盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。
网站改版、迁移或接入新框架后,测试环境的全站阻止规则、过宽的目录规则和错误的 Sitemap 地址可能被带到生产;也有团队用 robots.txt 隐藏登录页或敏感路径,结果页面仍可能出现在搜索结果中。这个 Skill 先读取线上 robots.txt、URL 路径和 Sitemap,再按公开内容、后台接口、临时环境与需要 noindex 的页面分组;随后编写 User-agent、Allow、Disallow 和 Sitemap 指令,用代表 URL 测试匹配结果,发布后回读公开文件并核对关键页面。
WHAT IT SOLVES
解决的营销问题
盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录
盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。跑完你拿到的是robots.txt 现状与冲突说明,中间一共 4 步。
最适合的真实场景
- 01
新站上线前生成完整 robots.txt 并声明 Sitemap
- 02
排查全站阻止、目录规则过宽和资源误封问题
- 03
区分 robots.txt 抓取控制、noindex 索引控制和访问保护
- 04
为公开子路径编写比父目录更具体的 Allow 规则
- 05
在迁移、改版或发布流程变化后复查生产 robots.txt
你要先准备的资料
- 站点正式域名、协议、生产与测试环境地址
- 当前线上 robots.txt 与 XML Sitemap 地址
- URL 路径、目录用途、公开状态和抓取需求
- meta robots、X-Robots-Tag、canonical 与访问控制做法
- robots.txt 维护位置、发布流程和代表 URL
跑完你会拿到什么
- robots.txt 现状与冲突说明
- 包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件
- 规则对象、路径格式和预期结果说明表
- 代表 URL 匹配测试表
- 生产文件与关键路径发布复查记录
METHOD
Skill 工作流程
盘点站点与路径用途 → 选择适合的控制方式 → 编写并检查抓取规则 等 4 个环节
一共 4 步。其中 6 项能力决定了换个 AI 会不会更麻烦。
- 盘点站点与路径用途读取正式域名、当前 robots.txt、Sitemap、URL 路径和环境配置,标出公开内容、后台接口、临时环境和需要 noindex 的页面。
- 选择适合的控制方式区分路径级抓取控制、页面级索引控制和服务器访问保护,避免用 robots.txt 隐藏敏感内容或阻止承载 noindex 的页面。
- 编写并检查抓取规则按 User-agent 组织 Allow、Disallow 与 Sitemap,使用根相对路径和绝对 Sitemap 地址,检查大小写、通配符、结尾符号和更具体规则。
- 测试路径并完成发布回读用代表 URL 记录匹配规则和预期结果,发布后读取公开 robots.txt、关键页面资源和 Sitemap 地址,确认生产环境与审定文件一致。
这个 Skill 用到的能力: 读本地资料打开网页取正文产物区审阅长上下文写本地文件运行脚本 。不同 AI 对这些能力的支持程度不一样,所以同一个 Skill 换个 AI,有几步做法会变。
WORKED EXAMPLE
业务示例
示例:修复内容站上线后的全站阻止规则
假设一家内容站从预发布环境切换到正式域名,线上 robots.txt 仍保留 Disallow: /。团队提供正式域名、当前文件、文章与后台路径、Sitemap、静态资源目录和发布方式。
- 读取线上文件与路径清单
- 区分公开内容和后台目录
- 重写 User-agent 与路径规则
- 测试文章、后台和资源 URL
- 发布后回读生产文件
预期结果:交付完整 robots.txt、路径规则说明、代表 URL 测试结果和生产回读记录。
PITFALLS · VERIFICATION
使用限制与常见问题
把 Disallow 当成禁止索引
最常踩的坑
- 把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中
- 把登录页、感谢页等 noindex 页面同时写入 Disallow,导致爬虫无法读取页面指令
- 把正式域名写进 Disallow 路径,或在 Sitemap 中只写相对地址
- 用 robots.txt 暴露需要隐藏的敏感目录,且没有服务器访问控制
- 阻止 CSS、JavaScript 或图片,影响搜索引擎读取和渲染页面
- 沿用旧的爬虫名单,没有核对当前 User-agent 文档和业务取舍
怎么确认这次跑对了
- 已经形成可检查的robots.txt 现状与冲突说明,关键判断能回到输入资料或过程证据。
- 已经形成可检查的包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件,关键判断能回到输入资料或过程证据。
- 已经形成可检查的规则对象、路径格式和预期结果说明表,关键判断能回到输入资料或过程证据。
- 已逐项检查「把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中」等高频问题,并记录需要人工确认的下一步。
robots.txt 配置与审核 Skill适合哪些岗位使用?
需要新建、排查或更新 robots.txt,并协调 SEO、网站运营与开发发布的营销站、内容站、商品站和多环境网站团队。典型场景包括新站上线前生成完整 robots.txt 并声明 Sitemap;排查全站阻止、目录规则过宽和资源误封问题;区分 robots.txt 抓取控制、noindex 索引控制和访问保护。
开始前需要准备什么资料?
至少需要站点正式域名、协议、生产与测试环境地址、当前线上 robots.txt 与 XML Sitemap 地址、URL 路径、目录用途、公开状态和抓取需求。资料越具体,结果越能直接用于决策。
最后能得到什么可检查的结果?
robots.txt 现状与冲突说明、包含 User-agent、Allow、Disallow 和 Sitemap 的完整文件、规则对象、路径格式和预期结果说明表。每项都可以逐条核对来源和数字。
哪些情况下结果会不可靠?
把 Disallow 当成禁止索引,忽略被阻止的 URL 仍可能出现在搜索结果中;把登录页、感谢页等 noindex 页面同时写入 Disallow,导致爬虫无法读取页面指令。出现这些情况时需要人工复核。
支持哪些 AI Agent?
已适配 WorkBuddy、OpenClaw、Hermes Agent、Codex、Claude Code、TRAE、ZCode 共 7 种,每种都有独立的安装说明和能力对照。
ORIGINAL SOURCE
完整 Skill 内容与版本资料
2 个原始文件,16 个文档章节,来源固定在 ac823a12
上游原文完整保留在加搜服务器上,可逐节查看,也可以直接下载。 当前镜像共 2 个文件、8.6 KB。
网站路径、Sitemap、发布环境或爬虫策略变化后,重新测试代表 URL 并回读生产 robots.txt。
原始 Skill 覆盖 robots.txt 的抓取控制、Allow 与 Disallow、Sitemap、路径格式、noindex 区分、关键资源保持可抓取和完整文件输出。
当前镜像保留 2 个文件,共 8.6 KB。点击文件名可查看加搜服务器上的原始内容。
| 文件 | 大小 | 内容指纹 |
|---|---|---|
| SKILL.md | 7,749 B | df264d76d127… |
| UPSTREAM_LICENSE.txt | 1,065 B | 9f06c77b8931… |
评价将按 Skill 与版本归档,帮助营销人了解真实任务中的使用体验。敬请期待。
来源与版本声明
本页面由加搜科技整理业务说明并托管安装文件。原始 Skill 来源渠道:GitHub; 上游作者:kostja94; 原始项目名称:robots-txt; 固定版本:ac823a127782; 许可证:MIT。技能包内保留完整出处和许可证说明。
各 Agent 能力说明参考对应官方文档。页面不提供外部跳转。
网站路径、Sitemap、发布环境或爬虫策略变化后,重新测试代表 URL 并回读生产 robots.txt。
INSTALL
三种安装方式
robots.txt 配置与审核 Skill v1.0.0,ZIP 带 SHA256 校验
默认做法是把提示词复制给 AI Agent,让它自己下载并安装。提示词里已经写清要用完整 ZIP、装完报告目录、并先跑一个小任务验证。
METHOD 01 · 交给 AI 自己装
复制提示词
适合大多数情况。Agent 会下载 ZIP、解压、放到正确目录,并在缺少权限时告诉你需要手工做哪一步。
请帮我把「robots.txt 配置与审核 Skill」安装到我正在使用的 AI Agent。 1. 下载完整 Skill ZIP:https://www.vibemarketing.work/packages/skill-robots-txt/1.0.0/skill-robots-txt.zip 注意:网页 HTML 不能当作 Skill 文件安装,必须使用 ZIP 里的完整文件。 2. 解压后保留 SKILL.md 及全部配套文件,按你所用 Agent 的 Skill 目录规则安装。 3. 安装完成后告诉我实际安装目录。 4. 用一个只读小任务验证 Skill 已被识别。 5. 如果你没有联网、下载或写目录权限,请直接告诉我哪几步需要我手工完成。 参考:原始 SKILL.md https://www.vibemarketing.work/raw/skill-robots-txt/SKILL.md;安装指南 https://www.vibemarketing.work/agent-install/skill-robots-txt.md
METHOD 02 · 自己下载
下载完整 ZIP
包内含 SKILL.md 与全部配套文件,附 manifest.json 与 SHA256 校验值,可离线安装与版本冻结。
METHOD 03 · 手动放目录
手动安装
解压 ZIP 后,按所用 Agent 的目录规则放入:
- WorkBuddy
技能 → 添加技能 → 上传技能 → 选择本地技能包 - OpenClaw
openclaw skills install ./skill-robots-txt --as robots-txt - Hermes Agent
mkdir -p ~/.hermes/skills && cp -R ./skill-robots-txt ~/.hermes/skills/ - Codex
mkdir -p ~/.agents/skills && cp -R ./skill-robots-txt ~/.agents/skills/ - Claude Code
mkdir -p ~/.claude/skills && cp -R ./skill-robots-txt ~/.claude/skills/ - TRAE
在 Skills 设置中导入包含 SKILL.md 的 skill-robots-txt 目录;项目级 Skill 可放入 .agents/skills/skill-robots-txt - ZCode
mkdir -p ~/.zcode/skills && cp -R ./skill-robots-txt ~/.zcode/skills/
HTML 业务页面不能直接当作 Skill 文件安装。AI 需要下载完整 ZIP 并保留配套文件。
BY AGENT
适配的 AI Agent
7 个 Agent 里,6 项能力决定了差异
同一个 Skill,换个 AI 做法就不一样。点进去能看到它在这 4 步里能直接跑通几步、哪几步得你自己补、装完先跑什么验证。
- WorkBuddy robots.txt 配置与审核 Skill 中文办公、本地资料和企业协作
- OpenClaw robots.txt 配置与审核 Skill 本地工作区、目录化 Skill、命令和批处理
- Hermes Agent robots.txt 配置与审核 Skill 长任务、消息入口和阶段进度
- Codex robots.txt 配置与审核 Skill 本地文件、数据、代码和正式交付物
- Claude Code robots.txt 配置与审核 Skill 项目上下文、文件、终端和 MCP
- TRAE robots.txt 配置与审核 Skill 营销工作与网站、落地页和程序化 SEO
- ZCode robots.txt 配置与审核 Skill 长上下文、长任务、项目文件和远程跟进
FURTHER READING
robots.txt 配置与审核 Skill 相关的实操文章
别人做同类任务时踩过的坑和总结,动手前后都值得翻一下。
越来越多人把选型直接丢给ChatGPT、Perplexity、Gemini,或者购物、采购类助手。答案是模型拼出来的,不一定点开你的网页。世界经济论坛把这件事叫做智能体引擎优化(AEO):你要进的不是
假设一家 SaaS 公司把官网从六个一级栏目收成“产品、解决方案、资源”三个下拉菜单。价格页和文档页仍在,只是从页头可见入口移到了第二层。改版后如果销售频繁收到“有没有公开价格”“API 文档在哪里”
GEO(生成式引擎优化)不是SEO的升级版,而是针对AI答案引擎的不同优化逻辑。本文从展示形式、排名机制、内容策略和技术实现四个维度对比GEO与SEO的核心差异,帮助营销团队理解两种流量来源的共存策略
网站改版已经结束,搜索结果、旧文章和客户收藏夹仍在把人送到原来的地址。运营看到 404 访问上涨,开发提出一条省事的规则:所有失效网址统一跳到首页。报错数字很快下降,访客却还要从首页重新寻找那份资料、
品牌想在 AI 搜索的回答里被提及,正确的做法不是频繁去问 AI「你有没有提我」,而是先建一张品牌查询地图,摸清在哪些问题下 AI 会提到谁、怎么提;再针对差距补充可独立引用的事实和内容资产;最后按月
GEO 不是 SEO 的替代品,而是在基础 SEO 之上提升内容被 AI 答案引擎理解、引用和点击的概率。本文讲清两者的关系与四条落地调整。
搭配使用
B2B 冷启动外联 Skill、品牌视觉系统 Skill、竞品分析 Skill、落地页转化诊断 Skill、网站可抓取性优化 Skill、Grokipedia 引用建议 Skill
按这个 Skill 的产出能不能直接被下一个 Skill 用上来推荐,不是固定名单。多数情况下按顺序跑完一组,比单独用一个效果更好。
B2B 冷启动外联 Skill
为 B2B 冷邮件外联设计 ICP、序列、发送基础设施、容量和持续优化机制。
品牌视觉系统 Skill
把现有 Logo、字体、配色、间距与触点要求整理成可复用的视觉规范和设计 Token,并映射到网站、幻灯片和文档。
竞品分析 Skill
输入竞品网址,快速生成结构化、可比较的竞争对手画像。
落地页转化诊断 Skill
把指定 URL 抓取下来,按 8 项转化指标打分,产出带修改建议的落地页诊断报告。
网站可抓取性优化 Skill
检查重定向链、失效链接、孤儿页、点击深度、分页和初始 HTML,交付抓取问题表、页面关系表、修复顺序与复查记录。
Grokipedia 引用建议 Skill
为 Grokipedia 新条目建议与现有条目修改准备中立文案、来源组合和提交跟踪表。
- 01
B2B 冷启动外联 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑
- 02
品牌视觉系统 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑
- 03
竞品分析 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑
- 04
落地页转化诊断 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑
- 05
网站可抓取性优化 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑
- 06
Grokipedia 引用建议 Skill
这个 Skill 产出的seo_audit,正好是它需要的输入,可以直接接着跑