什么比没有数据的工作更糟糕?

处理“坏”数据。

作为营销人员,我们喜欢测试标题、行动要求和关键词(仅举几例)。我们这样做的方法之一是运行A/B测试。

免费下载:A/B测试指南和工具包

作为复习,A/B测试是一个将观众分成几个部分,以测试一个活动的多种变化,并确定哪种表现更好的过程。

但是A/B测试并不是万无一失的。

事实上,这是一个复杂的过程。您通常必须依靠测试软件来提取数据,并且很有可能收到假阳性。如果你不小心,你可能会对人们点击的原因做出错误的假设。雷竞技苹果下载官方版

那么,如何确保A/B测试正常运行呢?这就是A/A测试的用武之地。把它看作是一次对一次的考验。

A/A测试背后的理念是,每个组的体验都是相同的,因此每个组的预期KPI(关键绩效指标)也将是相同的。

例如,如果20%的组A在登录页上填写表单,预期结果是20%的组B(与相同版本的登录页交互)也会这样做。

A/A测试和A/B测试之间的差异

进行A/A测试与A/B测试类似;一个受众被分成两个大小相似的群体,但不是将每个群体导向不同的内容变体,而是每个群体与相同内容的相同版本进行交互。

这里有另一种说法:你有没有听过“把苹果比作桔子”这个成语?A/B测试正好可以做到这一点——比较一段内容的两种不同变体,看看哪种性能更好。A/A测试将一个苹果与同一个苹果进行比较。

运行A/B测试时,您可以编写一个测试工具来更改或隐藏部分内容。这对于A/A测试不是必需的。

A/A测试也需要比A/B测试更大的样本量来证明显著偏差。而且,由于样本量如此之大,这些测试需要更长的时间才能完成。

如何进行A/A测试

具体如何进行A/A取决于测试工具你用。例如,如果您是HubSpot企业客户,在电子邮件上执行a/a或a/B测试,HubSpot将自动将流量拆分为您的变体,以便每个变体都会收到随机的访客抽样。

让我们介绍一下运行A/A测试的步骤。

1.创建内容的两个相同版本-控件和变体。

创建内容后,确定两组样本大小相同的组,以便进行测试。

2.确定您的KPI。

KPI是衡量一段时间内绩效的指标。例如,您的KPI可以是单击行动号召的访问者数量。

3.使用您的测试工具,平均随机地分割受众,将一组发送给控制组,另一组发送给变体。

运行测试,直到控件和变量达到确定的访问者数量。

4.跟踪两个组的KPI。

因为两个组被发送到相同的内容块,所以它们的行为应该相同。因此,预期结果将是不确定的。

A/A测试使用

A/A测试主要用于组织实施新的A/B测试软件或重新配置当前的A/B测试软件。雷竞技苹果下载官方版

您可以运行A/A测试来完成以下操作:

1.检查A/B测试软件的准确性。雷竞技苹果下载官方版

A/A测试的预期结果是观众对同一内容的反应类似。

但是如果他们没有呢?

下面是一个示例:XYZ公司正在新的登录raybet电子竞技页上运行A/A测试。两个组被发送到登录页的两个相同版本(控件和变体)。A组转化率为8%,B组转化率为2%。

理论上,转换率应该是相同的。当对照组和变量之间没有差异时,预期结果将是不确定的。然而,有时在两个完全相同的版本上宣布“获胜者”。

当这种情况发生时,评估测试平台是至关重要的。该工具可能配置错误,也可能无效。

2.为将来的a/B测试设置基线转换率。

假设XYZ公司在登录页上运行另一个A/raybet电子竞技A测试。这一次,A组和B组的结果是相同的——两组的转化率都达到了8%。

因此,8%是基准转换率。考虑到这一点,公司可以运行未来的A/B测试,目标是超过这个比率。raybet电子竞技

例如,如果该公司在新版本的登录页上运行A/raybet电子竞技B测试,并收到8.02%的转换率,则结果在统计上并不显著。

A/A测试:你真的需要使用它吗?

是否运行A/A测试-这是个问题。答案将取决于你问谁。不可否认,A/A测试是一个备受争议的话题。

也许反对A/A测试最普遍的论点归结为一个因素:时间。

A/A测试需要相当长的运行时间。事实上,A/A测试通常需要比A/B测试大得多的样本量。当测试两个相同的版本时,您需要一个较大的样本量来证明显著的偏差。因此,测试将需要更多的时间来完成,这可能会占用运行其他有价值测试的时间。

然而,在某些情况下,运行A/A测试是有意义的,特别是如果您不确定新的A/B测试软件,并且需要额外的证据证明它的功能性和准确性。A/A测试是一种低风险的方法,可确保测试设置正确。雷竞技苹果下载官方版

A/A测试可以帮助您为成功的AB测试计划做好准备,提供数据基准,并识别数据中的任何差异。

尽管A/A测试具有实用性,但运行这样的测试应该是比较少见的。虽然A/A测试可以在新的A/B工具或软件上运行“运行状况检查”,但由于运行所需的时间相当长,因此可能不值得对网站或营销活动的每一次细微更改进行优化。雷竞技苹果下载官方版

终极A/B测试套件

在此了解如何在2018年进行有效的A/B试验。

最初发布于2021年9月22日上午7:00:00,更新于2021年9月22日

话题:

A/B测试