SEO 与 GEO · site-crawlability

网站可抓取性优化 Skill

检查重定向链、失效链接、孤儿页、点击深度、分页和初始 HTML,交付抓取问题表、页面关系表、修复顺序与复查记录。

网站扩展到更多栏目、筛选参数和前端组件后,搜索引擎可能反复访问重定向、失效地址和重复路径,真正重要的页面却只能从 Sitemap 找到。这个 Skill 先盘点页面入口、HTTP 响应和站内链接,再定位重定向链、4xx、孤儿页与过深页面;随后检查分页、无限滚动和初始 HTML,确认关键内容是否能通过稳定 URL 与普通链接到达,最后按问题类型、涉及页面和维护位置整理任务。

WHAT IT SOLVES

检查重定向链、失效链接、孤儿页、点击深度、分页和初始 HTML,交付抓取问题表、页面关系表、修复顺序与复查记录

检查重定向链、失效链接、孤儿页、点击深度、分页和初始 HTML,交付抓取问题表、页面关系表、修复顺序与复查记录。跑完你拿到的是包含状态码、跳转、入口和点击深度的抓取问题表,中间一共 4 步。

最适合的真实场景

  • 01

    排查改版后遗留的重定向链、循环和失效链接

  • 02

    找出只能从 Sitemap 发现的孤儿页和层级过深页面

  • 03

    为无限滚动、瀑布流和点击加载列表补充可抓取分页

  • 04

    检查 SPA 或客户端组件的关键内容是否存在于初始 HTML

  • 05

    整理重复参数、过期地址和低价值路径造成的抓取浪费

你要先准备的资料

  • 全量 URL、XML Sitemap、内部链接导出和重点栏目
  • 代表 URL 的状态码、重定向链、robots、X-Robots-Tag 与 canonical
  • 网站框架、路由、服务器或 CDN 配置及页面模板
  • 分页、无限滚动、点击加载、瀑布流与懒加载实现
  • 页面源 HTML、渲染后 HTML 与 Search Console 问题记录

跑完你会拿到什么

  • 包含状态码、跳转、入口和点击深度的抓取问题表
  • 重定向链、循环、4xx 与失效站内链接清单
  • 孤儿页、过深页面及可补充入口的页面关系表
  • 分页、无限滚动和初始 HTML 改造说明
  • 按问题类型、涉及页面和维护位置整理的修复任务与复查记录

METHOD

盘点网站结构与抓取入口 → 检查响应、跳转与页面关系 → 核对分页与初始 HTML 等 4 个环节

一共 4 步。其中 8 项能力决定了换个 AI 会不会更麻烦。

  1. 盘点网站结构与抓取入口读取 URL、Sitemap、站内链接、网站框架、页面模板、robots 和关键路径,圈定重点栏目与代表页面。
  2. 检查响应、跳转与页面关系读取状态码和重定向链,找出循环、4xx、孤儿页、过深页面,以及仍指向中间地址或失效地址的站内链接。
  3. 核对分页与初始 HTML检查无限滚动、点击加载和懒加载内容是否有独立组件页、稳定 URL、普通链接、直接访问能力、越界 404 与初始 HTML。
  4. 安排修复并重新抓取把问题对应到路由、重定向、模板、导航、分页或渲染位置,按问题类型、涉及页面和维护位置整理;修改后重新读取代表 URL 和页面源 HTML。

这个 Skill 用到的能力: 打开网页取正文读本地资料长上下文批处理运行脚本产物区审阅页面预览写本地文件 。不同 AI 对这些能力的支持程度不一样,所以同一个 Skill 换个 AI,有几步做法会变。

WORKED EXAMPLE

示例:检查电商分类页的无限滚动

假设一家电商网站的分类页用无限滚动加载商品,Sitemap 中仍有旧筛选地址,部分商品页没有正文入链。团队提供 URL 清单、Sitemap、内部链接导出、页面源 HTML 与前端路由说明。

  1. 按栏目和模板整理 URL 与抓取入口
  2. 检查旧地址、跳转链、4xx 与商品页入链
  3. 核对无限滚动的组件页、稳定 URL 和普通链接
  4. 检查初始 HTML 与越界页响应
  5. 按路由、模板和影响页面安排修复与复查

预期结果:交付分类页抓取问题表、旧地址处理清单、孤儿商品页关系表、分页改造说明和代表 URL 复查记录。

PITFALLS · VERIFICATION

只提交 Sitemap,没有为重要页面提供普通站内链接

最常踩的坑

  • 只提交 Sitemap,没有为重要页面提供普通站内链接
  • 站内链接仍指向重定向中间地址,增加无意义跳转
  • 无限滚动只有前端状态,没有可直接打开的分页 URL
  • 越界分页继续返回空白 200 页面,形成无穷路径
  • 只查看渲染后页面,没有核对初始 HTML 中的关键内容
  • 把抓取、索引和排名混成同一个结果判断

怎么确认这次跑对了

  • 已经形成可检查的包含状态码、跳转、入口和点击深度的抓取问题表,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的重定向链、循环、4xx 与失效站内链接清单,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的孤儿页、过深页面及可补充入口的页面关系表,关键判断能回到输入资料或过程证据。
  • 已逐项检查「只提交 Sitemap,没有为重要页面提供普通站内链接」等高频问题,并记录需要人工确认的下一步。
网站可抓取性优化 Skill适合哪些岗位使用?

需要排查页面发现、抓取路径、失效链接、无限滚动和初始 HTML 问题的 SEO、开发、内容与网站运营团队。典型场景包括排查改版后遗留的重定向链、循环和失效链接;找出只能从 Sitemap 发现的孤儿页和层级过深页面;为无限滚动、瀑布流和点击加载列表补充可抓取分页。

开始前需要准备什么资料?

至少需要全量 URL、XML Sitemap、内部链接导出和重点栏目、代表 URL 的状态码、重定向链、robots、X-Robots-Tag 与 canonical、网站框架、路由、服务器或 CDN 配置及页面模板。资料越具体,结果越能直接用于决策。

最后能得到什么可检查的结果?

包含状态码、跳转、入口和点击深度的抓取问题表、重定向链、循环、4xx 与失效站内链接清单、孤儿页、过深页面及可补充入口的页面关系表。每项都可以逐条核对来源和数字。

哪些情况下结果会不可靠?

只提交 Sitemap,没有为重要页面提供普通站内链接;站内链接仍指向重定向中间地址,增加无意义跳转。出现这些情况时需要人工复核。

支持哪些 AI Agent?

已适配 WorkBuddy、OpenClaw、Hermes Agent、Codex、Claude Code、TRAE、ZCode 共 7 种,每种都有独立的安装说明和能力对照。

ORIGINAL SOURCE

2 个原始文件,15 个文档章节,来源固定在 ac823a12

上游原文完整保留在加搜服务器上,可逐节查看,也可以直接下载。 当前镜像共 2 个文件、8.7 KB。

网站迁移、路由、分页、前端渲染或导航改动后,重新检查代表 URL、跳转链、普通链接和初始 HTML。

原始 Skill 文档 上游原文完整保留,中文概述已转换为营销任务、输入资料和交付结果。

原始 Skill 覆盖重定向链与循环、4xx、孤儿页、网站层级、分页与无限滚动、抓取浪费、初始 HTML 以及五类输出。

来源与版本声明

本页面由加搜科技整理业务说明并托管安装文件。原始 Skill 来源渠道:GitHub; 上游作者:kostja94; 原始项目名称:site-crawlability; 固定版本:ac823a127782; 许可证:MIT。技能包内保留完整出处和许可证说明。

各 Agent 能力说明参考对应官方文档。页面不提供外部跳转。

网站迁移、路由、分页、前端渲染或导航改动后,重新检查代表 URL、跳转链、普通链接和初始 HTML。

INSTALL

网站可抓取性优化 Skill v1.0.0,ZIP 带 SHA256 校验

默认做法是把提示词复制给 AI Agent,让它自己下载并安装。提示词里已经写清要用完整 ZIP、装完报告目录、并先跑一个小任务验证。

METHOD 01 · 交给 AI 自己装

复制提示词

适合大多数情况。Agent 会下载 ZIP、解压、放到正确目录,并在缺少权限时告诉你需要手工做哪一步。

请帮我把「网站可抓取性优化 Skill」安装到我正在使用的 AI Agent。
1. 下载完整 Skill ZIP:https://www.vibemarketing.work/packages/skill-crawlability/1.0.0/skill-crawlability.zip
   注意:网页 HTML 不能当作 Skill 文件安装,必须使用 ZIP 里的完整文件。
2. 解压后保留 SKILL.md 及全部配套文件,按你所用 Agent 的 Skill 目录规则安装。
3. 安装完成后告诉我实际安装目录。
4. 用一个只读小任务验证 Skill 已被识别。
5. 如果你没有联网、下载或写目录权限,请直接告诉我哪几步需要我手工完成。
参考:原始 SKILL.md https://www.vibemarketing.work/raw/skill-crawlability/SKILL.md;安装指南 https://www.vibemarketing.work/agent-install/skill-crawlability.md

FURTHER READING

网站可抓取性优化 Skill 相关的实操文章

别人做同类任务时踩过的坑和总结,动手前后都值得翻一下。

官网菜单越改越简,定价和文档为什么更难找

假设一家 SaaS 公司把官网从六个一级栏目收成“产品、解决方案、资源”三个下拉菜单。价格页和文档页仍在,只是从页头可见入口移到了第二层。改版后如果销售频繁收到“有没有公开价格”“API 文档在哪里”

  • SEO
  • 内容策略
  • 产品营销
  • 信息架构

GEO和SEO的区别:从搜索流量到AI答案引擎的范式转移

GEO(生成式引擎优化)不是SEO的升级版,而是针对AI答案引擎的不同优化逻辑。本文从展示形式、排名机制、内容策略和技术实现四个维度对比GEO与SEO的核心差异,帮助营销团队理解两种流量来源的共存策略

  • AI搜索优化
  • 生成式引擎优化
  • 搜索流量
  • SEO

旧链接还在带访问,先别把 404 全部跳到首页

网站改版已经结束,搜索结果、旧文章和客户收藏夹仍在把人送到原来的地址。运营看到 404 访问上涨,开发提出一条省事的规则:所有失效网址统一跳到首页。报错数字很快下降,访客却还要从首页重新寻找那份资料、

  • SEO
  • 技术SEO
  • 用户体验
  • 404 页面

按这个 Skill 的产出能不能直接被下一个 Skill 用上来推荐,不是固定名单。多数情况下按顺序跑完一组,比单独用一个效果更好。

内容与创意#02

品牌视觉系统 Skill

把现有 Logo、字体、配色、间距与触点要求整理成可复用的视觉规范和设计 Token,并映射到网站、幻灯片和文档。

来源项目 · kostja94/marketing-skills ★ 1,122 · Fork 154
SEO 与 GEO#05

Grokipedia 引用建议 Skill

为 Grokipedia 新条目建议与现有条目修改准备中立文案、来源组合和提交跟踪表。

来源项目 · kostja94/marketing-skills ★ 1,122 · Fork 154

VibeMKT COMMUNITY

加入 VibeMKT 社群

微信扫码,交流营销 Skill 的选择、安装、试用与业务化改造。

加入 VibeMKT 社群的微信二维码

二维码会持续显示,关闭弹窗后返回当前页面。