如何进行A/B测试:完美分割测试的15个步骤

当像我们这样的营销人员创造时登陆页面，写电子邮件副本，或设计行动号召按钮，使用我们的直觉来预测什么会让人们点击和转换是很诱人的。

但基于“感觉”的营销决策可能对结果非常有害。与其依靠猜测或假设来做出这些决定，不如运行A/B测试——有时也被称为分割测试。

A/B测试之所以有价值，是因为不同的用户表现不同。适合一家公司的东西不一定适合另一家公司。raybet电子竞技事实上，转化率优化(CRO)专家讨厌“最佳实践”这个词，因为它可能实际上不是最佳实践你．

但A/B测试也可能很复杂。如果你不小心，你可能会对人们喜欢什么以及什么让他们点击做出错误的假设——这些决定很容易误导你的策略的其他部分。

继续阅读，学习如何在数据收集之前、期间和之后进行A/B测试，这样你就可以根据结果做出最佳决策。

为了运行A/B测试，你需要创建一个内容的两个不同版本，并将其更改为单个版本变量．然后，你将向两个规模相似的观众展示这两个版本，并分析哪个版本在特定时间段(足够长的时间，以对你的结果做出准确的结论)表现得更好。

图片来源

A / B检验有助于营销人员观察一个版本的一块营销内容如何与另一个版本一起执行。以下是两种类型的A / B测试您可能会努力提高您的网站的转换率：

例1:用户体验测试

也许你想看看将某个呼叫动作（CTA）按钮移动到主页的顶部，而不是将其保持在侧栏中将提高其点击率。

为了对这个理论进行A/B测试，你需要创建另一个使用新的CTA布局的替代网页。现有的设计与侧栏CTA -或"控制-是a版吗? B版的CTA在最上面是挑战者号然后，通过向预定百分比的网站访问者展示这两个版本来测试它们。理想情况下，浏览两个版本的访问者比例是相同的。

学习如何轻松地A/B测试你的网站的一个组件HubSpot的营销中心．

例2:设计测试

也许你想知道改变呼叫行动(CTA)按钮的颜色是否可以增加它的点击率。

为了对这一理论进行A/B测试，你需要设计一个带有不同颜色的CTA按钮相同的作为控件的着陆页。如果你经常在营销内容中使用红色的行动召唤按钮，并且在a /B测试后，绿色的变化会获得更多点击，那么从现在开始你应该将行动召唤按钮的默认颜色改为绿色。

要了解更多关于A/B测试的信息，请点击这里下载我们的免费入门指南。

市场营销中的A/B测试

A/B测试对市场营销团队有很多好处，这取决于你决定测试什么。然而，最重要的是，这些测试对企业来说是有价值的，因为它们成本低但回报高。

假设你雇佣了一名内容创造者，年薪为5万美元。这个内容创造者每周为公司博客发布5篇文章，每年总计260篇文章。raybet电子竞技如果该公司博客上的平均帖子产生10条线索，你可以说，为raybet电子竞技该公司产生10条线索的成本略高于192美元(5万美元的工资÷ 260篇文章= 192美元/篇)。这是一大块实实在在的变化。

现在，如果你要求内容创造者花两天时间进行A/B测试一文章，而不是写作二在这段时间里，你可能会因为少发表一篇文章而烧掉192美元。但如果A/B测试发现，你可以将每篇文章的转换率从10个增加到20个，那么你只需花192美元就可以让你的博客获得的客户数量翻倍。

如果测试失败，当然，你会损失192美元，但现在你可以让你的下一个A/B测试更有教育意义。如果第二次测试成功让你的博客转换率翻倍，你最终就花了284美元，可能让你的公司收入翻倍。raybet电子竞技不管你的A/B测试失败了多少次，最终的成功总是会超过进行测试的成本。

有许多类型的分割测试，您可以运行，使实验最终值得。以下是营销人员在进行A/B测试时的一些共同目标:

• 增加网站流量:测试不同的博客文章标题或网页标题可以改变点击超链接标题进入你的网站的人数。这可以增加网站流量的结果。
• 更高的转化率:在你的cta上测试不同的位置，颜色，甚至锚文本都可以改变点击这些cta进入登录页面的人数。这可以增加在你的网站上填写表格的人数，把他们的联系方式提交给你，然后“转化”成一个潜在客户。
• 降低跳出率:如果你的网站访问者在访问你的网站后很快离开(或“离开”)，测试不同的博客文章介绍，字体，或特色图片可以减少这种离开率，留住更多的访问者。
• 降低购物车放弃：电子商务行业的平均水平为70％的客户将他们的网站留在购物车中的物品．这被称为“抛弃购物车”，当然，这对任何在线商店都是有害的。测试不同的产品照片、结账页面设计，甚至是显示运输成本的地方，都可以降低放弃率。

现在，让我们浏览一下设置、运行和度量A/B测试的检查表。

如何进行A/B测试

跟随我们的免费A/B测试工具包，你需要运行A/B测试的一切，包括一个测试跟踪模板，指导和灵感的指南，和一个统计意义计算器，看看你的测试是赢，输，还是不确定。

A/B测试前

让我们涵盖在开始A / B测试之前要采取的步骤。

1.选择一个变量进行测试。

当你优化你的网页和电子邮件，你可能会发现有许多变量需要测试．但是要评估改变的效果是如何，你想要孤立一个“独立变量并衡量它的表现。否则，您就不能确定是哪个变量导致了性能的变化。

你可以为一个网页或电子邮件测试多个变量，只是要确保你一次只测试一个变量。

为了确定你的变量，你需要查看你的营销资源中的元素以及它们在设计、措辞和布局方面的可能选择。reybet雷竞技下载您可能测试的其他内容包括电子邮件主题行、发件人姓名和个性化电子邮件的不同方法。

记住，即使是简单的改变，比如改变邮件中的图像或者你的行动号召按钮上的文字，可以推动大改进。实际上，这些变化通常比较大的更容易测量。

注意:有时候会测试多个变量而不是单个变量的有意义。这是一个名为多变量测试的过程。如果您想知道您是否应该运行A / B测试与多变量测试，这里有一篇来自Optimizely的有用文章比较这两个过程。

2.确定你的目标。

尽管您将在任何一个测试中度量多个指标，但是选择一个主要指标来关注之前你运行测试。事实上，在你建立第二个变奏之前。这是你的”因变量，它会根据你如何操纵自变量而改变。

想想你希望这个因变量在分割测试结束时的位置。你甚至可以陈述一个官员假设然后根据这个预测检查你的结果。

如果你等到测试结束后才考虑哪些参数对你来说是重要的，你的目标是什么，以及你所提出的改变可能会如何影响用户行为，那么你可能不会以最有效的方式进行测试。

3.创建一个“控制”和一个“挑战者”。

现在你有了自变量，因变量和期望结果。使用此信息将您正在测试的任何内容的未更改版本设置为控制场景。如果你正在测试一个网页，这是一个已经存在的未更改的页面。如果你正在测试一个着陆页，这将是你通常使用的着陆页设计和复制。

从那里，建立一个挑战者-改变的网站，登陆页，或电子邮件，你将测试你的控制。例如，如果你想知道是否向着陆页添加推荐会在转换中进行差异，设置控制页面，没有推荐。然后，用推荐创造挑战者。

4.平等和随机地拆分样本组。

对于那些你有更多观众控制权的测试——比如电子邮件——你需要与两个或两个以上相等的观众进行测试，以获得决定性的结果。

如何做到这一点取决于你所使用的A/B测试工具。如果你是一个HubSpot企业客户对一封电子邮件进行A/B测试例如，HubSpot会自动将流量分配给你的不同版本，这样每个版本都会随机抽取访客。

5.确定你的样本量(如果适用)。

你如何确定样本大小也取决于你的A/B测试工具，以及你所运行的A/B测试类型。

如果你正在对一封邮件进行A/B测试，你可能会希望将A/B测试发送给你列表中足够大的子集，以获得显著的结果。最终，您将选择一个获胜者，并将获胜的变体发送给列表的其余部分。(请参阅本文末尾的“分割测试的科学”电子书，了解更多关于计算样本大小的信息。)

如果您是HubSpot Enterprise的客户，那么使用滑块可以帮助您确定样本组的大小。它可以让你做任何样本大小的50/50 a /B测试——尽管所有其他的样本分割都需要至少1000个接受者的名单。

如果你在测试不有一个有限的受众，比如一个网页，那么你保持测试运行的时间将直接影响你的样本大小。您需要让您的测试运行足够长的时间，以获得大量的视图。否则，就很难判断各变量之间是否存在统计学上的显著差异。

6.确定您的结果需要有多重要。

一旦你选择了你的目标指标，你需要考虑你的结果需要有多重要来证明选择一个变量而不是另一个变量。统计意义是a /B测试过程中一个非常重要的部分，但却经常被误解。如果你需要复习一下，我推荐你从市场营销的角度看这篇关于统计学意义的博文．

您的置信水平的百分比越高，您可以达到您的结果。在大多数情况下，您希望最小95％的置信水平 - 最好是98％ - 特别是如果是建立的时间密集实验。但是，如果您不需要测试是严格的，有时使用较低的置信率有意义。

马特RheaultHubSpot的一位高雷竞技苹果下载官方版级软件工程师，喜欢把统计学上的重要性想成下注。你愿意打赌的赔率是多少?说“我有80%的把握这是正确的设计，我愿意为之赌上一切”就像运行A/B测试到80%的重要性，然后宣布赢家。

Rheault还表示，在测试仅能略微提高转化率的内容时，您可能需要更高的置信阈值。为什么?因为随机方差更有可能发挥更大的作用。

他解释道:“降低自信阈值的一个例子是，一个可能提高10%或更多转化率的实验，比如重新设计的英雄部分。”

“这里的结论是，变化越彻底，我们就越不需要在过程上讲究科学性。变化越具体(如按钮颜色、缩微版等)，我们就越应该具有科学性，因为这种变化不太可能对转化率产生重大且显著的影响。”

7.确保您只在任何广告系列时运行一次测试。

为一个活动测试多个东西——即使它不是基于相同的资产——可能会使结果复杂化。例如，如果你在A/B测试登陆页面的同时，又在A/B测试一个指向登陆页面的邮件活动，你怎么知道是哪个变化导致了潜在客户的增加?

在A/B测试期间

让我们介绍一下A/B测试过程中需要采取的步骤。

8.使用A/B测试工具。

为了在你的网站或邮件中进行A/B测试，你需要使用A/B测试工具。如果你是HubSpot Enterprise的客户，HubSpot软件的功能可以让你a /B测试电子邮件(雷竞技苹果下载官方版学习在这里），呼叫 - 行动（学习在这里)和登陆页面(学习在这里)．

对于非hubspot Enterprise客户，其他选项包括谷歌分析，它允许你对一个网页的10个完整版本进行A/B测试，并使用随机样本用户比较它们的性能。

9.同时测试两种变化。

时间在您的营销活动的结果中起着重要作用，无论是日子，一周中的一天，或一年中的月份。如果您在一个月和版本B期间运行版本，您如何知道性能变化是否是由不同的设计或不同的月份引起的？

运行A / B测试时，您需要同时运行两个变体，否则您可能会留下第二次猜测结果。

唯一的例外是，如果你在测试时间本身，比如找到发送邮件的最佳时间。这是一件值得测试的事情，因为根据你的业务提供的内容和你的订阅者是谁，订阅者参与的最佳时间可能因行业和目标市场而显著不同。

10.给A/B测试足够的时间来产生有用的数据。

同样，您需要确保您的测试运行的时间足够长，以获得大量的样本大小。否则，就很难判断这两种变体之间是否存在统计学上的显著差异。

多长时间才算够长?根据你的公司以及你执行A/B测试的方raybet电子竞技式，你可能会在数小时内获得显著的结果。或几天……或数周。要想获得统计意义上的显著结果，很大程度上取决于你获得了多少流量——所以如果你的网站没有获得大量流量，你就需要花更长的时间进行A/B测试。

阅读这篇博文，了解更多关于样本大小和时间的信息．

11.要求真实用户的反馈。

A/B测试与定量数据有很大关系……但这并不一定能帮助你理解为什么人们采取某些行动超过其他人。当你在进行A/B测试时，为什么不收集真实用户的定性反馈呢?

询问别人意见的最好方法之一是通过调查或民意测验．你可以在你的网站上添加一个退出调查，询问访问者为什么不点击某个CTA，或者在你的感谢页面上询问访问者为什么点击按钮或填写表格。

例如，你可能会发现，很多人点击了一个号召行动的链接，然后找到了一本电子书，但一旦他们看到了价格，他们就不会转换。这类信息会让你深入了解用户为什么会以某种方式行事。

A/B测试后

最后，让我们介绍A/B测试之后要采取的步骤。

12.关注你的目标指标。

同样，虽然您将衡量多个指标，但在您进行分析时，请注意您的主要目标度量标准。

举个例子来说吧，如果你测试了两种不同的电子邮件并选择了潜在客户作为你的主要指标，那么就不要去关注打开率或点击率。你可能会看到较高的点击率和较差的转换率，在这种情况下，你最终可能会选择具有较低点击率的变体。

13.使用我们的A/B测试计算器测量结果的重要性。

既然你确定了哪个变化表现了最好的，现在是时候确定你的结果是否有统计学意义。换句话说，他们足以证明改变的原理吗？

要了解出来，您需要进行统计显着性的测试。你可以手动做到这一点......或者你可以从你的实验中插上结果我们的免费A/B测试计算器．

对于你测试的每个变体，系统会提示你输入尝试的总次数，比如发送的电子邮件或看到的印象。然后，输入完成目标的数量——通常你会查看点击次数，但这也可能是其他类型的转换。

计算器将吐出你的数据产生的对获胜变异的信心水平。然后，将该数字与您选择的值进行衡量，以确定统计意义。

14.根据结果采取行动。

如果一种变异在统计学上优于另一种，那么你就赢了。通过禁用A/B测试工具中的损失变量来完成测试。

如果这两个变量在统计学上都不是更好的，那么您就会知道您所测试的变量不会影响结果，您将不得不将测试标记为不确定的。在这种情况下，坚持使用原始变体，或者运行另一个测试。您可以使用失败的数据来帮助您确定新测试的新迭代。

虽然A/B测试可以帮助您根据具体情况影响结果，但您也可以将从每次测试中获得的经验教训应用到未来的工作中。

例如，如果您在电子邮件营销中进行了A / B测试并且已经反复发现在电子邮件主题中使用数字，如果使用更好的点击率，您可能希望考虑使用更多您的电子邮件中的策略。

15.计划你的下一次A/B测试。

您刚刚完成的A / B测试可能已帮助您发现一种新的方式来使您的营销内容更有效 - 但不要在那里停止。总有空间更多的优化。

您甚至可以尝试在同一网页的另一个功能上进行A / B测试，或者您刚刚进行测试。例如，如果您刚刚在着陆页上测试了标题，为什么不对身体副本进行新测试？或配色方案？或图像？始终关注增加转换率和领导的机会。

A / B测试的例子

我们已经讨论了A/B测试在市场营销中是如何使用的，以及如何进行测试——但是在实践中它们看起来是怎样的呢?

你可能已经猜到了，我们在平台上运行了许多A/B测试来提高用户粘性并推动转换率。以下是5个A/B测试的例子，可以启发你进行自己的实验。

1.网站搜索

网站搜索栏可以帮助用户快速找到他们在特定网站上想要的东西。HubSpot从之前的分析中发现，与网站搜索栏互动的访问者更有可能转化为一篇博客文章。所以我们进行了A/B测试，试图提高搜索栏的用户粘性。

在这个测试中，搜索栏功能是自变量，对内容提供感谢页面的看法是因变量。在实验中，我们使用了一个控制条件和三个挑战者条件。

在控制条件(变体A)中，搜索栏保持不变。

在变体B中，搜索栏变得更大，在视觉上更突出，占位符文本被设置为“按主题搜索”。

变种C和变种B看起来一模一样，但只是搜索了HubSpot博客，而不是整个网站。

在变量D中，搜索栏更大，但占位符文本被设置为“搜索博客”。此变体仅搜索了Hubspot博客

我们发现变体D是最有效的:它比控件增加了3.4%的转化率，并增加了6.5%的用户使用搜索栏。

2.移动商品交易顾问基金

HubSpot在我们的博客文章中使用了几个cta来提供内容，包括文章正文和页面底部的内容。我们广泛地测试这些CTA为了优化它们的性能。

对于手机用户，我们进行了A/B测试，看看哪种类型的页面底部CTA转化率最高。对于自变量，我们改变了CTA条形图的设计。具体来说，我们在测试中使用了一个对照组和三个挑战者。对于因变量，我们使用了CTA感谢页面的页面浏览量和CTA点击量。

控制条件包括我们将cta正常安置在职位底部。变种B中，CTA没有关闭或最小化选项。

在变体C中，移动读取器可以通过点击X图标来关闭CTA。一旦关闭，它就不会重新出现。

在变体D中，我们包含了一个选项，使用向上/向下插入符号最小化CTA。

我们的测试发现所有变体都是成功的。变种D是最成功的，比对照组增加了14.6%的转化率。其次是变异体C，增加了11.4%，变异体B增加了7.9%。

3.作者cta

在另一个CTA实验中，HubSpot测试了在博客文章的顶部添加“免费”和其他描述性语言是否会增加内容线索。过去的研究表明，在CTA文本中使用“免费”将推动更多的转换，而指定所提供内容类型的文本将有助于搜索引擎优化和可访问性。

在测试中，自变量为CTA文本，主要因变量为内容报价形式的转化率。

在控制条件下，作者CTA文本没有变化(见下图中的橙色按钮)。

在变式B中，在CTA案文中增加了“自由”一词。

在变体C中，CTA文本中除了“免费”之外还添加了描述性措辞。

有趣的是，与对照相比，变体B造成了表单提交的损失，下降了14％。这是出乎意料的，因为在内容提供文本中包括“免费”，因此被广泛认为是最好的做法。

同时，变体C中的形式提交表现出4％的控制。得出结论，向作者CTA添加描述性文本帮助用户了解报价，从而使其更有可能下​​载。

4.博客目录

为了帮助用户更好地浏览博客，HubSpot测试了一个新的目录(TOC)模块。其目标是通过更快地向读者呈现他们想要的内容来改善用户体验。我们还测试了在这个TOC模块中添加CTA是否会增加转换。

本次A/B测试的自变量为博客文章中TOC模块的包含和类型，因变量为TOC模块中内容提供表单提交和CTA点击的转化率。

控制条件不包括新的TOC模块——控制帖子要么没有目录，要么在帖子正文中靠近文章顶部的位置有一个简单的锚点链接项目符号列表(见下图)。

在变体B中，新的TOC模块被添加到博客文章中。这个模块具有粘性，意味着当用户向下滚动页面时，它仍然在屏幕上。变种B还包括一个内容提供CTA在模块的底部。

变种C包括一个与变种B相同的模块，但是去掉了CTA。

变种B和C都没有增加博客文章的转化率。控制条件优于变体B 7%，与变体c表现相同。此外，很少有用户与新的TOC模块或模块内的CTA进行交互。

5.审查通知

为了确定收集用户评论的最佳方式，我们对电子邮件通知和应用内部通知进行了分离测试。这里，自变量是通知的类型，因变量是在所有打开通知的人中，没有阅读评论的人占的百分比。

在控件中，HubSpot发送了一条纯文本邮件通知，要求用户留下评论。在变体B中，HubSpot发送了一封包含用户名的证书图像的电子邮件。

对于Variant C，HubSpot将用户发送在应用程序通知中。

最终，这两种邮件的表现相似，甚至超过了应用内通知。大约25%的用户会在打开邮件后留下评论，而只有10.3%的用户会打开应用内部通知。用户打开电子邮件的频率也更高。

今天开始A/B测试

A/B测试能够帮助你了解用户想要看到的内容和营销内容。学习如何使用下面的免费电子书最好地执行上面的一些步骤。

编者按:这篇文章最初发表于2016年5月，现已进行了更新。