robots.txt 配置与审核 Skill
盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。
BY JOB · 02 SKILLS · PAGE 03
覆盖关键词研究、技术审计、程序化 SEO、AI 搜索优化和 AI 流量衡量。适合同时经营搜索引擎排名、答案引擎引用和站内转化的增长团队。
CURATED LIST
第 41–42 个。每个都写清了适合什么场景、要准备什么、跑完拿到什么。
2 个 Skill
盘点网站路径和抓取需求,编写 User-agent、Allow、Disallow 与 Sitemap 规则,交付完整 robots.txt、路径测试和发布复查记录。
从 CMS、路由或页面配置汇总可索引 URL,生成 XML Sitemap 或 Sitemap Index,交付纳入排除表、lastmod 记录与发布复查结果。
当前页没有匹配结果,请换一个关键词。
WHO · COMBINATION · RESULTS
SEO 与 GEO Skill适合从一项具体任务开始,用首个 Skill 的结果衔接下一项营销工作。
需要新建、排查或更新 robots.txt,并协调 SEO、网站运营与开发发布的营销站、内容站、商品站和多环境网站团队;需要新建、重构或排查 XML Sitemap,并协调 SEO、内容运营与开发维护 URL 数据源的营销站、内容站、商品站和多语言网站团队。
按业务顺序执行:前一个 Skill 的产出可以直接作为后一个的输入。每个详情页都标明了衔接关系。
站点正式域名、协议、生产与测试环境地址,以及当前线上 robots.txt、URL 路径清单、目录用途、公开状态和需要允许或阻止抓取的原因、XML Sitemap 完整地址,以及当前 canonical、noindex 和访问控制做法。
robots.txt 现状审计:当前规则、匹配路径、冲突项和需要调整的原因、完整 robots.txt 文件:User-agent 分组、Allow、Disallow 和绝对 Sitemap 地址、规则说明表:规则对象、路径格式、预期抓取结果和对应维护位置。
FURTHER READING
围绕这个系列的业务标签挑出来的,选 Skill 之前先看看别人踩过什么坑。
假设一家 SaaS 公司把官网从六个一级栏目收成“产品、解决方案、资源”三个下拉菜单。价格页和文档页仍在,只是从页头可见入口移到了第二层。改版后如果销售频繁收到“有没有公开价格”“API 文档在哪里”
网站改版已经结束,搜索结果、旧文章和客户收藏夹仍在把人送到原来的地址。运营看到 404 访问上涨,开发提出一条省事的规则:所有失效网址统一跳到首页。报错数字很快下降,访客却还要从首页重新寻找那份资料、
越来越多人把选型直接丢给ChatGPT、Perplexity、Gemini,或者购物、采购类助手。答案是模型拼出来的,不一定点开你的网页。世界经济论坛把这件事叫做智能体引擎优化(AEO):你要进的不是
关键词拓展 Skill 的正确用法,是把它当成一个有明确输入输出契约的执行单元:你交给它种子词、业务边界和排除规则,它返回一张带意图标注的候选词表。多数人调用后拿到一堆不可用的词,问题不在 Skill
相似关键词该合并还是分开写,取决于读者要完成的任务是否同一件,而不取决于字面差了几个字。先判断搜索意图、答案框架和独占信息能不能独立成立,再决定一页还是两页。写成两篇却回答同一问题,传统搜索会互相抢排
假设一家 SaaS 公司上线了 ROI 计算器。三个月后,工具页的自然流量和使用次数都在涨,市场团队把它当作新的获客入口,销售却说收到的邮箱很难跟进:有人只想算一道题,有人来自目标行业之外,还有人留下
一档节目已经接上 RSS,Apple Podcasts、Spotify 和 YouTube 都能正常播放。团队每周更新,也会在公众号、社媒和社群里贴链接。可一旦让没听过节目的人直接搜本期讨论的话题,他
买家搜索“A 对比 B”时,通常已经知道品类,也看过其他产品。他打开供应商的对比页,看到自家产品每一行都是绿色勾,竞品则处处受限;再打开竞品的网站,结论正好反过来。两张页面都写了很多功能,却没有帮助他
GEO(生成式引擎优化)不是SEO的升级版,而是针对AI答案引擎的不同优化逻辑。本文从展示形式、排名机制、内容策略和技术实现四个维度对比GEO与SEO的核心差异,帮助营销团队理解两种流量来源的共存策略
Meta Description 已经改了,搜索结果为什么还显示另一段话
假设一家 B2B SaaS 公司刚改完产品页的 Meta Description。团队在网页源代码里已经看到新文案,第二天搜索品牌名,结果页仍显示旧介绍;换成功能词搜索,摘要又变成正文里的一段功能列表
公司刚做完一轮新品公关,行业媒体写了报道,播客嘉宾也提到了创始人。市场团队把报道截图放进周报,SEO 团队回看外链数据时,却找不到这些页面指向官网的链接。两边说的都是同一批报道,看到的结果并不相同。
假设一家门店搬到新地址,运营人员当天就更新了 Google 商家档案。搬址后一段时间,前台仍接到顾客走到旧址的电话。团队回查才发现,顾客从搜索结果看到了新地址,官网的路线说明仍指向旧店;Apple 地
相邻的营销工作
按两边共享的 Skill 数量和业务阶段远近自动计算,不是固定名单。