数据与自动化 · closed-loop-analytics-upgrade

营销动作效果验证 Skill

把营销改动前后的平台数据拉取出来,对比核心指标,生成一份决定保留或放弃该改动的验证报告。

在发布推文、修改页面标题、发送冷邮件后使用。该技能抓取平台控制台的真实曝光、点击和转化数据,对比改动前后的业务指标变化,写明哪些指标提升了、是否存在干扰因素,最后给出一份是否要把改动写进操作手册的建议。

WHAT IT SOLVES

把营销改动前后的平台数据拉取出来,对比核心指标,生成一份决定保留或放弃该改动的验证报告

把营销改动前后的平台数据拉取出来,对比核心指标,生成一份决定保留或放弃该改动的验证报告。跑完你拿到的是一份包含改动详情、负责人和数据拉取来源明细的 Markdown 格式验证报告,中间一共 7 步。

最适合的真实场景

  • 01

    海外营销操盘手测试了多条短视频开头,需要根据留存曲线和完播率决定保留哪一条

  • 02

    SEO 编辑修改了 Landing Page 的网页标题,需要核查 GA4 会话数和搜索点击率的变化

  • 03

    B2B 获客团队在外联邮件里换了新钩子,需要检查 Instantly 后台的回复率和会议预约数

  • 04

    社媒运营准备下个月播客选题,需要对比上月 X 平台不同主题推文的点击和互动数据

  • 05

    销售团队调整了跟进话术,需要核查 Gong 通话录音里的购买信号和 HubSpot 商机转化数

你要先准备的资料

  • 改动前基线数据的起止日期与改动后测试数据的起止日期,时间精确到日
  • 平台后台的只读授权凭证,或者从 X、YouTube、GA4 后台直接导出的标准 CSV 数据文件
  • 操盘手在测试时间段内执行的其他运营动作记录,用于排查外部干扰因素
  • 明确标识被测试的具体变量,例如新换的邮件开头文本或更改后的网页标题元数据
  • 提前定义好该次测试的核心判定指标名称,以及不可大幅下滑的次要防守指标

跑完你会拿到什么

  • 一份包含改动详情、负责人和数据拉取来源明细的 Markdown 格式验证报告
  • 基线数据与测试数据各核心指标的数值变化对照表,附带具体差值与数据解读
  • 标注外部干扰因素、缺失数据以及异常来源的数据评估段落
  • 明确的动作采纳、继续测试或直接回退的最终决定指令
  • 下一步操作手册的修改指令列表,以及写明复测日期和复测指标的复测计划

METHOD

收集前后台数据 → 分平台拉取指标 → 清洗异常与干扰 等 7 个环节

一共 7 步。其中 5 项能力决定了换个 AI 会不会更麻烦。

  1. 收集前后台数据输入改动前的基线时间段和改动后的测试时间段,同时提供平台后台只读查看权限或导出的 CSV 数据文件。
  2. 分平台拉取指标根据 X、YouTube、SEO 或外联等不同渠道,提取曝光、点击率、留存曲线、商机转化等原始数据。
  3. 清洗异常与干扰排查并标注数据提取过程中的连接器故障,记录同期其他运营动作或季节性因素造成的干扰。
  4. 对照核心指标变化把基线数据和测试数据放入 Markdown 表格,逐行计算各项指标的具体数值与差值,并给出差值解读。
  5. 执行晋级或回退如果测试组核心指标胜出且无负面异常,决定采纳改动。如果数据量太小或结果下滑,标记继续测试或回退。
  6. 写入修改指令将胜出的动作转化为操作手册的具体修改指令,包括修改提示词、替换邮件模板或更新评分规则。
  7. 设定复测节点在报告末尾写下具体的下一次数据核查日期和重点关注的指标名称,把单次测试变成常规检查。

这个 Skill 用到的能力: 读本地资料写本地文件运行脚本MCP 与连接器中文办公文档 。不同 AI 对这些能力的支持程度不一样,所以同一个 Skill 换个 AI,有几步做法会变。

WORKED EXAMPLE

B2B 团队验证外联邮件新钩子的回复效果

B2B 团队验证外联邮件新钩子的回复效果

B2B 获客团队在 Instantly 软件里把外联邮件的第一句话从案例展示换成了痛点提问。团队需要在一周后向获客负责人交付一份验证报告,确认这次文本改动是否提升了客户的正面回复率,并决定下周是否要在全部外联序列里替换这个新钩子。

  1. 记录基线时间范围为更改文本前的一周,测试时间范围为更改后的最近一周
  2. 从 Instantly 后台拉取这两个时间段的正面回复、会议预约和退订数据
  3. 对比基线数据,计算新钩子带来的各项指标具体差值并生成数据对照表
  4. 核查测试时间段内是否更换了发件域名,并在评估段落中标注为干扰因素
  5. 根据正面回复率是否提升,在报告末尾输出采纳指令或恢复旧文本的指令

预期结果:交付了一份 Markdown 报告,包含基线与测试段的回复率对照表。报告给出了在全序列采纳新钩子的指令,以及下个月五号的复测日期。由于数据中存在一个发信连接器报错,该时间段的异常数据被单独圈出,需要人工向系统管理员确认发送状态。

PITFALLS · VERIFICATION

改动测试期碰上国外公共假期,流量上升被错误判定为钩子写得好

最常踩的坑

  • 改动测试期碰上国外公共假期,流量上升被错误判定为钩子写得好
  • 广告账户预算和定向在测试期间被偷偷改动,导致流量来源不干净
  • 测试时间只跑了两天,样本量太小,无法证明新标题的长期胜出率
  • 新页面上线时统计代码漏装,GA4 拿不到改动后的真实转化数据
  • 凭操盘手个人直觉觉得新文案好,但实际核心指标没有超过基线数据

怎么确认这次跑对了

  • 已经形成可检查的一份包含改动详情、负责人和数据拉取来源明细的 Markdown 格式验证报告,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的基线数据与测试数据各核心指标的数值变化对照表,附带具体差值与数据解读,关键判断能回到输入资料或过程证据。
  • 已经形成可检查的标注外部干扰因素、缺失数据以及异常来源的数据评估段落,关键判断能回到输入资料或过程证据。
  • 已逐项检查「改动测试期碰上国外公共假期,流量上升被错误判定为钩子写得好」等高频问题,并记录需要人工确认的下一步。
营销动作效果验证 Skill适合哪些岗位使用?

海外营销操盘手、B2B 获客团队、SEO 编辑、社媒运营。典型场景包括海外营销操盘手测试了多条短视频开头,需要根据留存曲线和完播率决定保留哪一条;SEO 编辑修改了 Landing Page 的网页标题,需要核查 GA4 会话数和搜索点击率的变化;B2B 获客团队在外联邮件里换了新钩子,需要检查 Instantly 后台的回复率和会议预约数。

开始前需要准备什么资料?

至少需要改动前基线数据的起止日期与改动后测试数据的起止日期,时间精确到日、平台后台的只读授权凭证,或者从 X、YouTube、GA4 后台直接导出的标准 CSV 数据文件、操盘手在测试时间段内执行的其他运营动作记录,用于排查外部干扰因素。资料越具体,结果越能直接用于决策。

最后能得到什么可检查的结果?

一份包含改动详情、负责人和数据拉取来源明细的 Markdown 格式验证报告、基线数据与测试数据各核心指标的数值变化对照表,附带具体差值与数据解读、标注外部干扰因素、缺失数据以及异常来源的数据评估段落。每项都可以逐条核对来源和数字。

哪些情况下结果会不可靠?

改动测试期碰上国外公共假期,流量上升被错误判定为钩子写得好;广告账户预算和定向在测试期间被偷偷改动,导致流量来源不干净。出现这些情况时需要人工复核。

支持哪些 AI Agent?

已适配 WorkBuddy、OpenClaw、Hermes Agent、Codex、Claude Code、TRAE、ZCode 共 7 种,每种都有独立的安装说明和能力对照。

ORIGINAL SOURCE

2 个原始文件,19 个文档章节,固定在 a9f11007

上游原文完整保留在加搜服务器上,可逐节查看,也可以直接下载。 当前镜像共 2 个文件、5.2 KB。

原始 Skill 文档 上游原文完整保留,中文概述已转换为营销任务、输入资料和交付结果。

Closed-Loop Analytics Upgrade

Principle

A workflow is not a closed loop until it checks whether the change worked and updates the playbook from that evidence.

For marketing skills, that means pulling analytics after the change window. Manual opinions are useful. Platform truth wins.

Core pattern

  1. Input: usage logs, recommendations, shipped changes, platform analytics, owner feedback, and cost/runtime data.
  2. AI action: compare baseline vs candidate, find repeatable signals, and propose a skill/playbook patch.
  3. Output: candidate patch to a prompt, skill, connector, brief template, scoring rubric, or next-action rule.
  4. Judgment: success rate, speed, cost, quality, human correction rate, and actual performance delta.
  5. Self-improvement: promote only if it beats baseline. Otherwise keep testing, rollback, or mark unproven.

Analytics by surface

X/Twitter

Track:

  • impressions
  • engagement rate
  • replies
  • reposts
  • bookmarks
  • profile clicks
  • follower delta
  • post length
  • hook style
  • proof number
  • CTA type
  • topic bucket

Use for:

  • title/hook formulas
  • longform structure
  • CTA patterns
  • post timing
  • topic scoring
YouTube

Track:

  • impressions
  • CTR
  • average view duration
  • retention curve
  • watch time
  • subscribers gained
  • comments
  • traffic source
  • title/thumbnail/hook metadata
  • video length and topic bucket

Use for:

  • title formulas
  • thumbnail rules
  • first-15-second hook
  • retention beats
  • chapter structure
  • Shorts cutdowns
  • repurposing guidance
SEO/AEO/GEO

Track:

  • GSC clicks, impressions, CTR, average position, query/page mix
  • GA4 sessions, engaged sessions, conversions, assisted leads
  • Ahrefs rankings, backlinks, traffic estimates, keyword movement
  • ClickFlow opportunities
  • AI-search / answer-engine visibility where available
  • CMS/page change log

Use for:

  • content refresh patterns
  • AEO/GEO opportunity scoring
  • query/page prioritization
  • internal linking and schema recommendations
  • rollback decisions
Revenue / outbound

Track:

  • HubSpot owner, lead, deal, and pipeline movement
  • Gong call language, objections, buying signals, and outcomes
  • Instantly/Smartlead positive replies, booked meetings, unsubscribes, spam risk
  • Metricool/LinkedIn post performance
  • GA4/HubSpot attribution

Use for:

  • outbound sequence patches
  • offer angle scoring
  • sales follow-up language
  • content-to-pipeline investment decisions

Required readback fields

Every promoted change needs:

  • change made
  • owner
  • baseline window
  • candidate window
  • source systems pulled
  • primary metric
  • secondary metrics
  • metric winner
  • caveats/confounders
  • decision: promote / keep testing / rollback / unproven
  • next patch
  • next readback date

Promotion rules

Promote when:

  • the candidate beats baseline on the primary metric, or
  • the candidate exposes a repeatable audience/customer signal, and
  • downside metrics are not meaningfully worse.

Do not promote when:

  • volume is too low
  • attribution is too dirty
  • the result is explained by seasonality or unrelated campaigns
  • the connector failed
  • only the author liked it

That last one is harsh but spiritually important.

Safety boundaries

Read-only analytics pulls are fine. External writes still require approval:

  • posting to X/LinkedIn/YouTube
  • publishing or editing CMS content
  • changing ad accounts, bids, budgets, targeting, or creative
  • mutating CRM/outbound tools
  • sending emails or DMs
  • changing credentials or production systems

Output template

# Readback: <skill/change>

## Verdict
Promote / keep testing / rollback / unproven

## Change tested
<what changed>

## Data pulled
| Source | Window | Status |
|---|---|---|

## Baseline vs candidate
| Metric | Baseline | Candidate | Delta | Interpretation |
|---|---:|---:|---:|---|

## Caveats
<confounders and missing data>

## Patch
<what changes in the skill/playbook>

## Next readback
<date + metric>

来源与版本声明

本页面由加搜科技整理业务说明并托管安装文件。原始 Skill 来源渠道:GitHub; 原始项目名称:closed-loop-analytics-upgrade; 固定版本:a9f11007aca3; 许可证:MIT。技能包内保留完整出处和许可证说明。

各 Agent 能力说明参考对应官方文档。页面不提供外部跳转。

INSTALL

营销动作效果验证 Skill v1.0.0,ZIP 带 SHA256 校验

默认做法是把提示词复制给 AI Agent,让它自己下载并安装。提示词里已经写清要用完整 ZIP、装完报告目录、并先跑一个小任务验证。

METHOD 01 · 交给 AI 自己装

复制提示词

适合大多数情况。Agent 会下载 ZIP、解压、放到正确目录,并在缺少权限时告诉你需要手工做哪一步。

请帮我把「营销动作效果验证 Skill」安装到我正在使用的 AI Agent。
1. 下载完整 Skill ZIP:https://www.vibemarketing.work/packages/skill-closed-loop-analytics-upgrade/1.0.0/skill-closed-loop-analytics-upgrade.zip
   注意:网页 HTML 不能当作 Skill 文件安装,必须使用 ZIP 里的完整文件。
2. 解压后保留 SKILL.md 及全部配套文件,按你所用 Agent 的 Skill 目录规则安装。
3. 安装完成后告诉我实际安装目录。
4. 用一个只读小任务验证 Skill 已被识别。
5. 如果你没有联网、下载或写目录权限,请直接告诉我哪几步需要我手工完成。
参考:原始 SKILL.md https://www.vibemarketing.work/raw/skill-closed-loop-analytics-upgrade/SKILL.md;安装指南 https://www.vibemarketing.work/agent-install/skill-closed-loop-analytics-upgrade.md

FURTHER READING

营销动作效果验证 Skill 相关的实操文章

别人做同类任务时踩过的坑和总结,动手前后都值得翻一下。

Agentic Commerce现场笔记:让品牌内容更容易被AI引用

Agentic Commerce在邮件出现了新的内容机会,这篇只整理值得测试的三个方向和两个暂缓项。 补充测试:换成Notion后,保留相同验收标准,再观察形成可复用模板是否仍然成立。

  • Skill教程
  • 邮件
  • 视频转录
  • 知识管理

独立开发者要不要装 Campaign Review?5分钟判断

从空白开始配置 Campaign Review:先明确为不同平台改写同一主题所需的资料,再生成初稿,随后按知乎规则做压缩与校对。最后提供检查表,帮助稳定缩短交付时间。

  • Skill教程
  • AI视频
  • 独立开发者
  • 热点观察

一次讲透技术SEO:输入什么、输出什么、怎样提升打开率

从空白开始配置 SEO Technical Audit:先明确把复杂方法拆成三步操作所需的资料,再生成初稿,随后按微信公众号规则做压缩与校对。最后提供检查表,帮助稳定提升打开率。

  • 工作流
  • 热点观察
  • 知识管理
  • 电商运营

GEO审计效果忽高忽低?先排查“测试样本过于整齐”

为AI新手准备的GEO审计速查卡,适合第一次接触时直接照着走。重点放在让协作更顺畅,不要求预先搭建复杂系统。 补充测试:换成抖音后,保留相同验收标准,再观察减少信息遗漏是否仍然成立。

  • 实战案例
  • 数据分析

Research Agent × 抖音:从输入到发布的完整工作流

零点击搜索在抖音出现了新的内容机会,这篇只整理值得测试的三个方向和两个暂缓项。

  • Skill教程
  • 抖音
  • 代理商项目组
  • 知识管理

问答选题效果忽高忽低?先排查“自动化失败后没有兜底”

这是一份偏实战的问答选题配置说明。先用小样本完成“用少量样本建立批量生产规范”,再逐步扩到批量任务;同时设置人工抽检、来源记录和失败兜底,降低自动化失败后没有兜底带来的波动。文末附一组可复制参数,便于继续减少信息遗漏。

  • Skill教程
  • 自动化
  • 小红书
  • 代理商项目组

以上文章正在编辑中,上线后可直接点击阅读。即将上线,敬请期待。

按这个 Skill 的产出能不能直接被下一个 Skill 用上来推荐,不是固定名单。多数情况下按顺序跑完一组,比单独用一个效果更好。

SEO 与 GEO#01

AI 搜索流量分析 Skill

在 GA4 与 Search Console 中识别来自 ChatGPT、Perplexity 和 AI 搜索体验的访问与转化。

来源项目 · kostja94/marketing-skills ★ 742 · Fork 108
数据与自动化#03

转化率优化 Skill

把流量数据转化为带统计显著性的 A/B 测试方案,产出包含测试变量和样本量的实验执行计划。

来源项目热度 同步中
海外广告投放#06

Google Ads 投放 Skill

规划 Google 搜索、展示、购物、视频和 Performance Max 广告的结构与优化动作。

来源项目 · kostja94/marketing-skills ★ 742 · Fork 108

VibeMKT COMMUNITY

加入 VibeMKT 社群

微信扫码,交流营销 Skill 的选择、安装、试用与业务化改造。

加入 VibeMKT 社群的微信二维码

二维码会持续显示,关闭弹窗后返回当前页面。