铜仁公司网站建设:如何确定Divi引线A/B检验的统计意义-极简慕枫

铜仁公司网站建设:如何确定Divi引线A/B检验的统计意义

2019-04-25

每个人都想得到更多的点击,并增加他们的转换。只要有足够的时间、艰苦的工作和一点运气,任何人都可以得到这些数字-但是,既然你能够通过拆分测试的魔力找到最有效的方法,为什么还要依靠运气呢?

如果铜仁公司网站建设在过去几天一直关注这个博客,您可能会注意到发射Divi 2.7,随着它的到来,新的Divi领导工具。随着Divi引线的引入,您将能够在不离开DiviBuilder的情况下运行详细的A/B测试。

但是,为了执行成功的A/B测试,您需要知道如何确定您的结果是否具有统计意义。这正是我们将在本文中讨论的内容。

A/B测试与Divi引线:游戏攻略

任何有过WordPress拆分测试工具经验的人都可以欣赏Divi引线的简单性,这在一定程度上归功于它与Divi Builder的无缝集成。有了它,您就可以运行和检查您的测试结果,而无需离开WordPress仪表板。

启动一个新的A/B测试非常简单,只需右键单击您希望选择的任何模块作为您的竞选主题,然后选择分裂试验备选方案:

铜仁公司网站建设

当你这样做的时候,你会看到一个窗口来解释你竞选的目标选择过程。divi引线使您不仅可以选择模块,还可以选择行和整个部分作为测试的单独目标。一旦目标被选中,您将在DiviBuilder上看到一个重复的弹出,您将能够根据您的喜好进行测试。

使用Divi引线,您可以在一个Builder窗口中创建多个相同页面的变体。然而,由于我们今天的兴趣在于A/B测试,为了使我们的例子(以及相应的数学)更简单,我们铜仁公司网站建设将把自己限制在一个单一的变体上。

一旦创建了变体,就可以访问分裂测试统计窗口位于DiviBuilder的右上角。在其中,您可以找到关于单击、读取、反弹和目标参与的详细信息,以及多个时间段的有用图表:

铜仁公司网站建设

您甚至可以检查您的A/B测试是如何进行的,而不必打开分裂测试统计窗口,因为所讨论的模块将在测试期间在其标题中显示最新的单击百分比:

Screenshot of multiple headlines on the Divi Builder with their accompanying click-through rates.

一旦你确信你已经收集到足够的数据,得出一个明智的结论,你所要做的就是右键点击哪个模块参加了测试,然后点击端裂试验。之后,你将被要求选择要保持的主题变化-这个过程是无法逆转的,所以在这样做之前,要确保你的结果是决定性的!

那么,现在您知道如何使用Divi引线了,但是如何确切地确定是否可以信任任何给定的结果集?当然,通过确保机会在测试中的作用被最小化。让我们再谈谈这个“机会因素”。

A/B检验的统计学意义及机会因素

考虑下面的例子:您决定在您的登陆页面上运行一个简单的A/B测试,其中包含两个变化的“呼叫行动”(CTA)。几天过去了,你会收到几百次访问(你的网站还很新),其中一个变体的表现明显优于另一个-令人印象深刻的5%的点击率-而竞争对手的点击率只有3%。

你可能会想,嘿,这已经跑了一段时间了,我想我已经收到了足够多的访客来叫它了-让我们选择第一种吧!-为什么不呢?毕竟,数字支持你。

然而,这里的问题是,你没有考虑到“机会因素”。

如果你在另一个时间运行相同的测试,结果却有很大的不同,那该怎么办?或者,如果您决定让测试运行更长一段时间,并且随着一个更大的样本池,数字开始向相反的方向摆动?机会在每一次A/B测试中都起着重要作用,我们所能做的最好就是将它降到我们感到舒服的水平。

铜仁公司网站建设为了做到这一点,你需要对你的结果建立一定程度的信心。如果你有机会查看一项多人参与的研究的结果,你可能已经读到过这篇文章。比方说,在做了例子测试的数学之后,你意识到结果不能被认为是统计上的显着性,事实上,它们只能维持50%的时间。你能接受那个数字吗?

如果你的回答是响亮的“不”-太好了!让我们来教您如何计算出具有高度统计意义的理想样本大小,以便最大限度地提高您成功进行A/B测试的机会。

如何确定Divi引线A/B检验的统计意义

在试图确定这种测试的统计意义时,您需要做的第一件事是准确地确定您对结果的满意程度。我们个人发现95%的人在可靠性方面是个好地方。更确切地说,95%代表着0.0 5的阿尔法(即信任度)。统计显着性的X-平方检验,这是我们今天将要使用的方法(别担心,我们会进一步解释这意味着什么)。

在我们进一步讨论之前,值得一提的是,如果您不想沿着这条路线走下去,可以使用一些工具来计算统计意义,我们已经将其链接到本节的底部。

让我们构建一个类似于我们在上一节中使用的例子。以A/B测试为例,我们在几天内运行了两个版本的“行动调用”(就我们的目的而言,不需要考虑确切的长度),最后,版本A以更高的点击总数略微领先:

Table showing the original results of an A/B test example.

这个此表中的行显示了实际单击所述CTA的人数,其中两个版本的访问者总数位于最下面。现在,事情变得有点棘手-使用上表中的值,我们将称为“原始”,我们将计算出两个CTA版本的“预期”值。

一旦你看到我们得到的结果遵循了我们下面将要讨论的预期结果公式,你可能会对为什么我们把它们称为“预期的”感到有点困惑。这就是所谓的X平方测试,所以把它们看作是测试的一个不同的潜在结果,这个结果来自于你在测试执行过程中实际观察到的值。为了确定结果的统计意义程度,我们必须计算四个期望值,考虑到我们所处理的变化数:

  • 点击A版的人数,
  • 点击B版的人数,以及
  • 每次选择时没有点击CTA的人数。

点击A版的人数的“预期”值如下:

Table showing one of the expected results for an A/B test.

我们通过下面的公式…得出这个数字

(77 x 1019) / 2045

…的总人数点击两个CTAs,乘以显示A版的总人数,除以这两个版本的访问者总数:

Table showing with values are to be used in the formula to calculate expected values.

现在,让我们对剩下的字段重复这个过程。公式保持不变-我们所要做的就是取相应的总数根据我们正在处理的行,将其乘以上述列的相应总数,除以两个版本的访问者总数,结果应该如下所示:

Table showing the expected results of a Chi-Squared test.

如果你感到迷茫,别担心-这一切马上就会有意义的。现在我们既有我们的原始结果,也有“预期的”结果,所以我们很自然地要应用一个使用这两种结果的公式,以便获得另一个表。这是最后一个,我们保证!

这一次,我们将计算到目前为止我们所涵盖的每个个体值的‘X-平方’因子,使我们能够确定我们的结果是否可以被认为在统计上是有意义的。为此,我们将使用以下公式:

(expected value - original value)² / expected value for each individual cell

所以为了计算点击者的x平方因子A版在cta中,公式看起来像…

(38.36 - 43)² / 38.36

…其结果如下:

Table showing the Chi-Squared factor of a single value.

一旦我们对所有剩余的值重复这个过程,就会留下以下内容:

Table showing the final Chi-Squared results for our example.

最后,我们铜仁公司网站建设所需要的只是一个单一的X平方因子-这两个版本的观众总数之和-在我们的例子中是1.15。现在,你还记得在这一节的开头,我们说过我们的目标是一个适度的95%的信心,而这代表了0.05的阿尔法吗?此alpha值是x-平方的预定值。分配表,它指定所需的值,以便根据需要考虑的变化数获得特定程度的信心。所有测试都以假设的100%的置信度开始,为了达到您预期的统计意义水平,您必须从1中减去alpha,因此…。

1 - 0.05 = 0.95

…这给了我们想要的百分比。一个0.1的阿尔法等于90%的置信度,以此类推。阿尔法越小,你的结果就越值得信赖,我们认为95%是我们的最佳选择,因为较小的阿尔法需要更高的样本才能返回统计上有意义的值。

根据表,用简单的A/B测试因子,我们将被要求达到3.841的X平方因子,而我们的例子却远远没有达到。根据这些计算,为了在我们的例子中获得95%的确定性,我们将需要延长测试,直到我们总共得到了至少6,830名访问者,并在这两个变化之间分布。

我们最初的测试样本大小为2,045名游客,只会保持85%的时间。现在,这似乎相当高,但您必须考虑到,我们在示例中使用了非常小的值。在实际情况下,违约行为可能要大得多。

如果你到目前为止一直坚持我们的观点,你可能会感到有点不知所措,因为要确定统计意义所需的计算量是如此之多。谢天谢地,有许多在线工具可以帮您完成任务,例如HubSpot A/B测试计算器皮特博士的分裂测试计算器和决策工具.

结语

虽然拆分测试是一个强大的工具,但如果您的测试没有得到正确的校准,它有时会引导您走向错误的方向。然而,随着新的Divi领导统计报告,现在知道如何发现一个结果是不可信的,您已经完全准备好开始A/B测试的风格。

只需记住以下关键的A/B测试因素:

  1. 确保你的样品尺寸足够大。您选择在测试中引入的变体越多,您需要的流量就越多。
  2. 别急着考试!虽然你的里程在这里可能会有所不同,取决于你的网站的流量。
  3. 使用X-平方检验来确定您的结果是否具有统计学意义。

A/B测试曾经帮助你显著提高你的转换率吗?如果是的话,你做了哪些改变?与我们分享您的经验,并订阅下面的评论部分!