如何进行A/B测试：完美分割测试的15个步骤

当像我们这样的营销人员创造登陆页面，写电子邮件副本，或设计行动号召按钮，使用我们的直觉来预测什么会让人们点击和转换是很诱人的。

但基于“感觉”的营销决策可能对结果非常有害。与其依靠猜测或假设来做出这些决定，不如运行A/B测试——有时也被称为分割测试。

A/B测试之所以有价值，是因为不同的用户表现不同。适合一家公司的东西不一定适合另一家公司。raybet电子竞技事实上，转化率优化(CRO)专家讨厌“最佳实践”这个词，因为它可能实际上不是最佳实践你．

但A/B测试也可能很复杂。如果你不小心，你可能会对人们喜欢什么以及什么让他们点击做出错误的假设——这些决定很容易误导你的策略的其他部分。

继续阅读，学习如何在数据收集之前、期间和之后进行A/B测试，这样你就可以根据结果做出最佳决策。

为了运行A/B测试，你需要创建一个内容的两个不同版本，并将其更改为单个版本变量．然后，你将向两个规模相似的观众展示这两个版本，并分析哪个版本在特定时间段(足够长的时间，以对你的结果做出准确的结论)表现得更好。

图片来源

A/B测试可以帮助营销人员观察一个版本的营销内容与另一个版本的表现。以下两种类型的A/B测试可以帮助你提高网站的转化率:

例1:用户体验测试

也许你想看看，将某个呼叫行动(CTA)按钮移到主页的顶部，而不是保持在侧边栏，是否会提高它的点击率。

为了测试这一理论，您需要创建另一个使用新CTA布局的替代网页控制“-是版本A。顶部带有CTA的版本B是”挑战者号然后，通过向预定百分比的网站访问者展示这两个版本来测试它们。理想情况下，浏览两个版本的访问者比例是相同的。

学习如何轻松地A/B测试你的网站的一个组件HubSpot的营销中心．

例2:设计测试

也许你想知道改变呼叫行动(CTA)按钮的颜色是否可以增加它的点击率。

为了对这一理论进行A/B测试，你需要设计一个带有不同颜色的CTA按钮相同作为控件的着陆页。如果你经常在营销内容中使用红色的行动召唤按钮，并且在a /B测试后，绿色的变化会获得更多点击，那么从现在开始你应该将行动召唤按钮的默认颜色改为绿色。

要了解更多关于A/B测试的信息，请在此处下载我们的免费介绍指南。

市场营销中的A/B测试

A/B测试对市场营销团队有很多好处，这取决于你决定测试什么。然而，最重要的是，这些测试对企业来说是有价值的，因为它们成本低但回报高。

假设你雇佣了一名内容创造者，年薪为5万美元。这个内容创造者每周为公司博客发布5篇文章，每年总计260篇文章。raybet电子竞技如果该公司博客上的平均帖子产生10条线索，你可以说，为raybet电子竞技该公司产生10条线索的成本略高于192美元(5万美元的工资÷ 260篇文章= 192美元/篇)。这是一大块实实在在的变化。

现在，如果你要求内容创造者花两天时间进行A/B测试一个文章，而不是写作两个在这段时间里，你可能会因为少发表一篇文章而烧掉192美元。但如果A/B测试发现，你可以将每篇文章的转换率从10个增加到20个，那么你只需花192美元就可以让你的博客获得的客户数量翻倍。

如果测试失败，当然，你会损失192美元，但现在你可以让你的下一个A/B测试更有教育意义。如果第二次测试成功让你的博客转换率翻倍，你最终就花了284美元，可能让你的公司收入翻倍。raybet电子竞技不管你的A/B测试失败了多少次，最终的成功总是会超过进行测试的成本。

有许多类型的分割测试，您可以运行，使实验最终值得。以下是营销人员在进行A/B测试时的一些共同目标:

• 增加网站流量:测试不同的博客文章标题或网页标题可以改变点击超链接标题进入你的网站的人数。这可以增加网站流量的结果。
• 更高的转化率:在您的CTA上测试不同的位置、颜色，甚至锚文本，可以改变点击这些CTA进入登录页的人数。这可以增加在你的网站上填写表格的人数，把他们的联系方式提交给你，然后“转化”成一个潜在客户。
• 降低跳出率:如果你的网站访问者在访问你的网站后很快离开(或“离开”)，测试不同的博客文章介绍，字体，或特色图片可以减少这种离开率，留住更多的访问者。
• 降低弃车:电子商务业务的平均增长率为70%的顾客离开他们的网站时购物车里有商品．这被称为“抛弃购物车”，当然，这对任何在线商店都是有害的。测试不同的产品照片、结账页面设计，甚至是显示运输成本的地方，都可以降低放弃率。

现在，让我们浏览一下设置、运行和度量A/B测试的检查表。

如何进行A/B测试

跟随我们的免费A/B测试工具包，你需要运行A/B测试的一切，包括一个测试跟踪模板，指导和灵感的指南，和一个统计意义计算器，看看你的测试是赢，输，还是不确定。

A/B测试前

让我们在开始A/B测试之前介绍一下需要采取的步骤。

1.选择一个变量进行测试。

当你优化网页和电子邮件时，你可能会发现有许多变量需要测试．但要评估一个变化的效果，你需要孤立一个。”自变量“并测量其性能。否则，您无法确定是哪个变量导致了性能的变化。

你可以为一个网页或电子邮件测试多个变量，只是要确保你一次只测试一个变量。

要确定变量，请查看营销资源中的元素及其可能的设计、措辞和布局备选方案。您可能测试的其他内容包括电子邮件主题行、发件人姓名以及个性化电子reybet雷竞技下载邮件的不同方式。

请记住，即使是简单的更改，例如更改电子邮件中的图像或者你的行动号召按钮上的文字，可以推动大的改进。事实上，这类变化通常比更大的变化更容易衡量。

注意:有些时候，测试多个变量比单个变量更有意义。这个过程叫做多元测试。如果你想知道应该运行A/B测试还是多变量测试，下面是来自Optimizely的一篇有用的文章比较了这两个过程。

2.确定你的目标。

尽管您将在任何一个测试中度量多个指标，但是选择一个主要指标来关注之前您运行测试。事实上，在设置第二个变体之前就要这样做。这是你的“因变量，它会根据你如何操纵自变量而改变。

想想你希望这个因变量在分割测试结束时的位置。你甚至可以陈述一个官员假设并根据这个预测检查你的结果。

如果你等到测试结束后才考虑哪些参数对你来说是重要的，你的目标是什么，以及你所提出的改变可能会如何影响用户行为，那么你可能不会以最有效的方式进行测试。

3.创建一个“控制”和一个“挑战者”。

现在你有了自变量，因变量和期望结果。使用此信息将您正在测试的任何内容的未更改版本设置为控制场景。如果你正在测试一个网页，这是一个已经存在的未更改的页面。如果你正在测试一个着陆页，这将是你通常使用的着陆页设计和复制。

从那里，建立一个挑战者-改变的网站，登陆页，或电子邮件，你将测试你的控制。例如，如果你想知道是否在登录页面添加推荐信将会在转化率上有所不同，设置你的控制页没有客户感言。然后，创建您的挑战者与奖状。

4.将你的样本组平均随机分配。

对于那些你有更多观众控制权的测试——比如电子邮件——你需要与两个或两个以上相等的观众进行测试，以获得决定性的结果。

根据您使用的A/B测试工具的不同，您执行此操作的方式也会有所不同。如果你是一个HubSpot企业客户对一封电子邮件进行A/B测试例如，HubSpot会自动将流量分配给你的不同版本，这样每个版本都会随机抽取访客。

5.确定你的样本量(如果适用)。

你如何确定你的样本量也取决于你的A/B测试工具，以及你所运行的A/B测试类型。

如果你正在对一封邮件进行A/B测试，你可能会希望将A/B测试发送给你列表中足够大的子集，以获得显著的结果。最终，您将选择一个获胜者，并将获胜的变体发送给列表的其余部分。(请参阅本文末尾的“分割测试的科学”电子书，了解更多关于计算样本大小的信息。)

如果您是HubSpot Enterprise的客户，那么使用滑块可以帮助您确定样本组的大小。它可以让你做任何样本大小的50/50 a /B测试——尽管所有其他的样本分割都需要至少1000个接受者的名单。

如果你在测试不有一个有限的受众，比如一个网页，那么你保持测试运行的时间将直接影响你的样本大小。您需要让您的测试运行足够长的时间，以获得大量的视图。否则，就很难判断各变量之间是否存在统计学上的显著差异。

6.决定你的结果需要有多重要。

一旦你选择了你的目标指标，你需要考虑你的结果需要有多重要来证明选择一个变量而不是另一个变量。统计意义是a /B测试过程中一个非常重要的部分，但却经常被误解。如果你需要复习一下，我推荐你从营销的角度阅读这篇关于统计意义的博文．

你的自信水平的百分比越高，你对你的结果就越肯定。在大多数情况下，您将需要95%的最低置信度——最好是98%——特别是如果这是一个时间密集的实验设置。然而，如果您不需要严格的测试，有时使用较低的置信度是有意义的。

马特·莱奥特HubSpot的一位高雷竞技苹果下载官方版级软件工程师，喜欢把统计学上的重要性想成下注。你愿意打赌的赔率是多少?说“我有80%的把握这是正确的设计，我愿意为之赌上一切”就像运行A/B测试到80%的重要性，然后宣布赢家。

Rheault还表示，在测试仅能略微提高转化率的内容时，您可能需要更高的置信阈值。为什么?因为随机方差更有可能发挥更大的作用。

他解释道:“降低自信阈值的一个例子是，一个可能提高10%或更多转化率的实验，比如重新设计的英雄部分。”

“这里的结论是，变化越彻底，我们就越不需要在过程上讲究科学性。变化越具体(如按钮颜色、缩微版等)，我们就越应该具有科学性，因为这种变化不太可能对转化率产生重大且显著的影响。”

7.确保在任何活动中一次只运行一个测试。

为一个活动测试不止一件事情——即使它不在同一个确切的资产上——可能会使结果复杂化。例如，如果在A/B测试登录页的同时，您A/B测试了指向该登录页的电子邮件活动，您如何知道是哪个更改导致了潜在客户的增加？

在A/B测试期间

让我们介绍一下A/B测试期间要采取的步骤。

8.使用A/B测试工具。

为了在你的网站或邮件中进行A/B测试，你需要使用A/B测试工具。如果你是HubSpot Enterprise的客户，HubSpot软件的功能可以让你a /B测试电子邮件(雷竞技苹果下载官方版学习在这里),号角(学习在这里)和登陆页面(学习在这里)．

对于非hubspot Enterprise客户，其他选项包括谷歌分析，它允许你对一个网页的10个完整版本进行A/B测试，并使用随机样本用户比较它们的性能。

9.同时测试两种变化。

时间在你的营销活动的结果中扮演着重要的角色，无论是一天中的时间，一周中的一天，还是一年中的一个月。如果您在一个月内运行版本A，在一个月后运行版本B，您如何知道性能变化是由不同的设计还是不同的月份引起的?

当你运行A/B测试时，你需要同时运行这两种变体，否则你可能会事后怀疑结果。

唯一的例外是，如果你在测试时间本身，比如找到发送邮件的最佳时间。这是一件值得测试的事情，因为根据你的业务提供的内容和你的订阅者是谁，订阅者参与的最佳时间可能因行业和目标市场而显著不同。

10.给A/B测试足够的时间来产生有用的数据。

同样，您需要确保您的测试运行的时间足够长，以获得大量的样本大小。否则，就很难判断这两种变体之间是否存在统计学上的显著差异。

多长时间才算够长?根据你的公司以及你执行A/B测试的方raybet电子竞技式，你可能会在数小时内获得显著的结果。或几天……或数周。要想获得统计意义上的显著结果，很大程度上取决于你获得了多少流量——所以如果你的网站没有获得大量流量，你就需要花更长的时间进行A/B测试。

阅读这篇博文，了解更多关于样本大小和时间的信息．

11.向真正的用户寻求反馈。

A/B测试与定量数据有很大关系……但这并不一定能帮助你理解为什么人们采取某些行动超过其他人。当你在进行A/B测试时，为什么不收集真实用户的定性反馈呢?

询问别人意见的最好方法之一是通过调查或民意测验．你可以在你的网站上添加一个退出调查，询问访问者为什么不点击某个CTA，或者在你的感谢页面上询问访问者为什么点击按钮或填写表格。

例如，你可能会发现，很多人点击了一个号召行动的链接，然后找到了一本电子书，但一旦他们看到了价格，他们就不会转换。这类信息会让你深入了解用户为什么会以某种方式行事。

A/B测试之后

最后，让我们介绍一下A/B测试后要采取的步骤。

12.关注你的目标指标。

再次强调，尽管您将度量多个指标，但在进行分析时，请将重点放在主要目标指标上。

例如，如果您测试了一封电子邮件的两种变体，并选择Lead作为您的主要度量标准，那么不要被打开率或点击率所困扰。您可能会看到较高的点击率和较差的转换率，在这种情况下，您最终可能会选择点击率较低的变体。

13.使用我们的A/B测试计算器测量结果的重要性。

既然您已经确定了哪种变异表现最好，现在就该确定您的结果是否具有统计学意义了。换句话说，它们是否足以证明改变的合理性?

为了找到答案，您需要进行统计显著性检验。你可以手动操作……或者你可以把你的实验结果代入我们的免费A/B测试计算器．

对于你测试的每个变体，系统会提示你输入尝试的总次数，比如发送的电子邮件或看到的印象。然后，输入完成目标的数量——通常你会查看点击次数，但这也可能是其他类型的转换。

计算器将给出您的数据为获胜变量产生的置信水平。然后，根据您选择的值测量该数字，以确定统计显著性。

14根据你的结果采取行动。

如果一种变异在统计学上优于另一种，那么你就赢了。通过禁用A/B测试工具中的损失变量来完成测试。

如果这两个变量在统计学上都不是更好的，那么您就会知道您所测试的变量不会影响结果，您将不得不将测试标记为不确定的。在这种情况下，坚持使用原始变体，或者运行另一个测试。您可以使用失败的数据来帮助您确定新测试的新迭代。

虽然A/B测试可以帮助您根据具体情况影响结果，但您也可以将从每次测试中获得的经验教训应用到未来的工作中。

例如，如果你在邮件营销中进行了A/B测试，并多次发现在邮件主题行中使用数字能够产生更好的点击率，那么你可能会考虑在更多邮件中使用这种策略。

15.计划你的下一次A/B测试。

你刚刚完成的A/B测试可能会帮助你发现一种新方法，让你的营销内容更有效——但不要止步于此。总有更多优化的空间。

你甚至可以尝试在同一网页的另一个功能上进行A/B测试，或在你刚刚测试过的邮件上进行测试。例如，如果你刚刚测试了登陆页的标题，为什么不做一个新的body copy测试呢?或者配色方案?或者图片?时刻关注提高转化率和潜在客户的机会。

A/B测试示例

我们已经讨论了A/B测试在市场营销中是如何使用的，以及如何进行测试——但是在实践中它们看起来是怎样的呢?

你可能已经猜到了，我们在平台上运行了许多A/B测试来提高用户粘性并推动转换率。以下是5个A/B测试的例子，可以启发你进行自己的实验。

1.网站搜索

网站搜索栏可以帮助用户快速找到他们在特定网站上想要的东西。HubSpot从之前的分析中发现，与网站搜索栏互动的访问者更有可能转化为一篇博客文章。所以我们进行了A/B测试，试图提高搜索栏的用户粘性。

在这个测试中，搜索栏功能是自变量，对内容提供感谢页面的看法是因变量。在实验中，我们使用了一个控制条件和三个挑战者条件。

在控制条件下（变量A），搜索栏保持不变。

在变体B中，搜索栏变得更大，在视觉上更突出，占位符文本被设置为“按主题搜索”。

变体C看起来与变体B相同，但只搜索HubSpot博客，而不是整个网站。

在变体D中，搜索栏变大了，但占位符文本被设置为“搜索博客”。这个变体也只搜索HubSpot博客

我们发现变体D是最有效的:它比控件增加了3.4%的转化率，并增加了6.5%的用户使用搜索栏。

2.移动CTA

HubSpot在我们的博客文章中使用了几个cta来提供内容，包括文章正文和页面底部的内容。我们对这些cta进行了广泛的测试为了优化它们的性能。

对于手机用户，我们进行了A/B测试，看看哪种类型的页面底部CTA转化率最高。对于自变量，我们改变了CTA条形图的设计。具体来说，我们在测试中使用了一个对照组和三个挑战者。对于因变量，我们使用了CTA感谢页面的页面浏览量和CTA点击量。

控制条件包括我们将cta正常安置在职位底部。变种B中，CTA没有关闭或最小化选项。

在变种C中，移动阅读器可以通过点击X图标关闭CTA。一旦它被关闭，就不会再出现了。

在变体D中，我们包括了一个选项，用上/下插入符号最小化CTA。

我们的测试发现所有变体都是成功的。变种D是最成功的，比对照组增加了14.6%的转化率。其次是变异体C，增加了11.4%，变异体B增加了7.9%。

3.作者cta

在另一个CTA实验中，HubSpot测试了在博客文章的顶部添加“免费”和其他描述性语言是否会增加内容线索。过去的研究表明，在CTA文本中使用“免费”将推动更多的转换，而指定所提供内容类型的文本将有助于搜索引擎优化和可访问性。

在测试中，自变量是CTA文本，主要因变量是内容提供形式的转换率。

在控制条件下，作者CTA文本保持不变（参见下图中的橙色按钮）。

在变式B中，在CTA案文中增加了“自由”一词。

在变体C中，CTA文本中除了“免费”之外还添加了描述性措辞。

有趣的是，变体B的表单提交量下降了14%。这是出乎意料的，因为在内容要约文本中包含“免费”被广泛认为是最佳实践。

与此同时，变体C中的表单提交比对照组高出4%。结论是添加描述性文本到作者CTA帮助用户理解提供，从而使他们更有可能下载。

4.博客目录

为了帮助用户更好地浏览博客，HubSpot测试了一个新的目录（TOC）模块。目标是通过更快地向读者展示他们想要的内容来改善用户体验。我们还测试了向TOC模块添加CTA是否会增加转换。

本次A/B测试的自变量为博客文章中TOC模块的包含和类型，因变量为TOC模块中内容提供表单提交和CTA点击的转化率。

控制条件不包括新的TOC模块——控制帖子要么没有目录，要么在帖子正文中靠近文章顶部的位置有一个简单的锚点链接项目符号列表(见下图)。

在变体B中，新的TOC模块被添加到博客文章中。这个模块具有粘性，意味着当用户向下滚动页面时，它仍然在屏幕上。变种B还包括一个内容提供CTA在模块的底部。

变种C包括一个与变种B相同的模块，但是去掉了CTA。

变种B和C都没有增加博客文章的转化率。控制条件优于变体B 7%，与变体c表现相同。此外，很少有用户与新的TOC模块或模块内的CTA进行交互。

5.审查的通知

为了确定收集客户评论的最佳方式，我们对电子邮件通知和应用程序内通知进行了拆分测试。在这里，自变量是通知的类型，因变量是在所有打开通知的人中遗漏审查的人的百分比。

在控件中，HubSpot发送了一条纯文本邮件通知，要求用户留下评论。在变体B中，HubSpot发送了一封包含用户名的证书图像的电子邮件。

对于变种C, HubSpot给用户发送了一个应用程序通知。

最终，这两种邮件的表现相似，甚至超过了应用内通知。大约25%的用户会在打开邮件后留下评论，而只有10.3%的用户会打开应用内部通知。用户打开电子邮件的频率也更高。

今天开始A/B测试

A/B测试能够帮助你了解用户想要看到的内容和营销内容。学习如何使用下面的免费电子书最好地执行上面的一些步骤。

编者按:这篇文章最初发表于2016年5月，现已进行了更新。