Tip:
Highlight text to annotate it
X
视频 5:AdWords 广告系列实验: 了解实验结果和具有统计意义的显著变化
设置 AdWords 广告系列实验 的第 3 步中,您将开始运行实验
并监控其结果 本课程将帮助您了解在实验期间
您可能会看到的一些结果
随着广告系列实验的运行 您会看到对照组和实验组的数据在
广告系列、广告组和关键字等级别 逐渐开始生成。请注意,如果某个标签
没有分行显示对照组和实验组的统计信息 您可以通过以下方法使其显示出来
点击“细分”,然后 向下移动鼠标并点击“实验”
随着结果数据的累积,您可以在相应界面中 看到不同类型的具有统计意义的指标
它们可以帮助您 了解所比较的指标是否
发生了变化
具有统计意义的显著变化是指 不太可能由偶然因素促成的变化
如果一个指标没有出现 具有统计意义的显著量变,则可能表示
您的实验性更改未能对其产生影响
我们会使用一个灰色的双向箭头图标来表示 没有出现具有统计意义的显著量变的指标
此时所观察到的变化 可能只是实验性干扰
如果指标出现了具有统计意义的显著增量 我们会使用一个向上的箭头图标来表示
如果您将实验性更改 应用于所有竞价,则此指标
应当会出现增长
如果指标出现了具有统计意义的显著减量 我们会使用一个向下的箭头图标来表示
如果您将实验性更改 应用于所有竞价,则此指标
应当会出现下降
对于这些图标,我们还各自指定了 三个等级,可表明您可以在多大程度上
确信您的实验结果归因于 实验性更改而非偶然因素
单个向上或向下的箭头表示 指标有 95% 的可能性会提升或下降
也就是说,统计数据表明 在充分应用实验性更改
且其他条件保持不变的前提下 相应指标只有 5% 的可能不会按照
箭头所示的方向发展
两个向上或向下的箭头表示 指标有 99% 的可能性会提升或下降
也就是说,统计数据表明 在充分应用实验性更改
且其他条件保持不变的前提下 相应指标只有 1% 的可能不会按照
箭头所示的方向发展
三个向上或向下的箭头表示 指标有 99.9% 的可能性会提升或下降
也就是说,统计数据表明 在充分应用实验性更改
且其他条件保持不变的前提下 相应指标只有 0.1% 的可能不会按照
箭头所示的方向发展
请注意,如果您在运行实验时 选择的实验/对照组规模
不是 50/50(比如 70/30 或 20/80) 那么您的广告系列所产生的
对照组和实验组统计数据将不能 进行一比一的比较。例如,假设
您运行了一个 90/10 分组的实验 如果您没有对实验进行更改,那么
基本上您可以认为实验组每获得 100 次展示,对照组就会获得 900 次展示
因此,如果您发现对照组获得了 900 次展示,而实验组获得了 400 次展示
这就意味着展示次数 出现了具有统计意义的显著增量
(因为 400 次展示要远远大于在不对实验 进行更改的情况下所预计的 100 次展示
这意味着应用实验性更改后 您应当会看到展示次数有所增加)
虽然仅从表面的数值来看 900 要大于 400
50/50 分组的实验比较起来就要容易得多了 (因为在实验性更改没有影响的情况下
两组指标的绝对数值应当是相同的) 而且很多公司并没有足够的流量
无法通过 50/50 之外的其他分组比例 运行实验并成功得出结论。因此,我们建议
大多数广告客户运行 50/50 分组比例 的实验,除非您有能力自己进行一些运算
从而确定在将实验性更改应用于 所有竞价时,相应指标具有统计意义的
显著百分比变化