如何进行A/B测试：完美分割测试的15个步骤

当像我们这样的营销人员创造登录页，写电子邮件副本，或设计行动号召按钮，使用我们的直觉来预测什么会让人们点击和转换是很诱人的。

但基于“感觉”的营销决策可能对结果非常有害。与其依靠猜测或假设来做出这些决定，不如运行A/B测试——有时也被称为分割测试。

A/B测试是有价值的，因为不同的受众表现不同。对一家公司有效的东西未必对另一家公司有效。事实上，转换率优化（CRO）专家讨厌“最佳实践”一词，因为它实际上可能不是企业的最佳实践raybet电子竞技你．

但A/B测试也可能很复杂。如果你不小心，你可能会对人们喜欢什么以及什么让他们点击做出错误的假设——这些决定很容易误导你的策略的其他部分。

继续阅读，学习如何在数据收集之前、期间和之后进行A/B测试，这样你就可以根据结果做出最佳决策。

为了运行A/B测试，你需要创建一个内容的两个不同版本，并将其更改为单个版本变量．然后，你将向两个规模相似的观众展示这两个版本，并分析哪个版本在特定时间段(足够长的时间，以对你的结果做出准确的结论)表现得更好。

图片来源

A/B测试有助于营销人员观察一个版本的营销内容与另一个版本的营销内容的表现。以下是两种类型的A/B测试，您可以通过这两种测试来提高网站的转化率：

例1:用户体验测试

也许你想看看把某个CTA按钮移到主页顶部而不是放在边栏是否能提高点击率。

为了测试这一理论，您需要创建另一个使用新CTA布局的替代网页控制-是a版吗? B版的CTA在最上面是挑战者号然后，通过向预定百分比的网站访问者展示这两个版本来测试它们。理想情况下，浏览两个版本的访问者比例是相同的。

学习如何轻松地A/B测试你的网站的一个组件HubSpot的营销中心．

示例2：设计测试

也许你想知道改变呼叫行动(CTA)按钮的颜色是否可以增加它的点击率。

为了对这一理论进行A/B测试，你需要设计一个带有不同颜色的CTA按钮相同的作为控件的着陆页。如果你经常在营销内容中使用红色的行动召唤按钮，并且在a /B测试后，绿色的变化会获得更多点击，那么从现在开始你应该将行动召唤按钮的默认颜色改为绿色。

要了解更多关于A/B测试的信息，请在此处下载我们的免费介绍指南。

市场营销中的A/B测试

A/B测试对市场营销团队有很多好处，这取决于你决定测试什么。然而，最重要的是，这些测试对企业来说是有价值的，因为它们成本低但回报高。

假设你雇佣了一名内容创造者，年薪为5万美元。这个内容创造者每周为公司博客发布5篇文章，每年总计260篇文章。raybet电子竞技如果该公司博客上的平均帖子产生10条线索，你可以说，为raybet电子竞技该公司产生10条线索的成本略高于192美元(5万美元的工资÷ 260篇文章= 192美元/篇)。这是一大块实实在在的变化。

现在，如果你要求内容创造者花两天时间进行A/B测试一文章，而不是写作二在这段时间内，你可能会因为少发表一篇文章而花费192美元。但如果A/B测试发现你可以将每篇文章的转化率从10个线索提高到20个线索，那么你只需花费192美元，就有可能使你的企业从你的博客获得的客户数量翻一番。

如果测试失败，当然，你会损失192美元，但现在你可以让你的下一个A/B测试更有教育意义。如果第二次测试成功让你的博客转换率翻倍，你最终就花了284美元，可能让你的公司收入翻倍。raybet电子竞技不管你的A/B测试失败了多少次，最终的成功总是会超过进行测试的成本。

有许多类型的分割测试，您可以运行，使实验最终值得。以下是营销人员在进行A/B测试时的一些共同目标:

• 增加网站流量:测试不同的博客文章标题或网页标题可以改变点击超链接标题进入你的网站的人数。这可以增加网站流量的结果。
• 更高的转化率:在您的CTA上测试不同的位置、颜色，甚至锚文本，可以改变点击这些CTA进入登录页的人数。这可以增加在你的网站上填写表格的人数，把他们的联系方式提交给你，然后“转化”成一个潜在客户。
• 降低跳出率:如果您的网站访问者在访问您的网站后很快离开（或“跳出”），测试不同的博客文章介绍、字体或特色图片可以降低跳出率并留住更多访问者。
• 降低购物车报废率：电子商务业务的平均增长率为70%的客户离开网站时购物车中有物品．这被称为“抛弃购物车”，当然，这对任何在线商店都是有害的。测试不同的产品照片、结账页面设计，甚至是显示运输成本的地方，都可以降低放弃率。

现在，让我们浏览一下A/B测试的设置、运行和测量清单。

如何进行A/B测试

跟随我们的免费A/B测试工具包，你需要运行A/B测试的一切，包括一个测试跟踪模板，指导和灵感的指南，和一个统计意义计算器，看看你的测试是赢，输，还是不确定。

在A/B测试之前

让我们介绍一下开始A/B测试之前要采取的步骤。

1.选择一个变量进行测试。

当你优化网页和电子邮件时，你可能会发现有许多变量需要测试. 但要评估一项变更的有效性，您需要隔离一项”自变量“并测量其性能。否则，您无法确定是哪个变量导致了性能的变化。

你可以为一个网页或电子邮件测试多个变量，只是要确保你一次只测试一个变量。

要确定变量，请查看营销资源中的元素及其可能的设计、措辞和布局备选方案。您可能测试的其他内容包括电子邮件主题行、发件人姓名以及个性化电子reybet雷竞技下载邮件的不同方式。

记住，即使是简单的改变，比如改变邮件中的图像或者你的行动号召按钮上的文字，可以推动大的改进。事实上，这些变化通常比更大的变化更容易衡量。

注意:有时，测试多个变量比测试单个变量更有意义。这是一个称为多元测试的过程。如果您想知道是否应该运行a/B测试而不是多元测试，下面是来自Optimizely的一篇有用的文章这就比较了这两个过程。

2.确定你的目标。

尽管在任何一个测试中都要测量多个指标，但请选择一个主要指标作为重点之前您运行测试。事实上，在设置第二个变体之前就要这样做。这是你的“因变量，它会根据你如何操纵自变量而改变。

想想你希望这个因变量在分割测试结束时的位置。你甚至可以陈述一个官员假设并根据这个预测检查你的结果。

如果你等到测试结束后才考虑哪些参数对你来说是重要的，你的目标是什么，以及你所提出的改变可能会如何影响用户行为，那么你可能不会以最有效的方式进行测试。

3.创建一个“控制者”和一个“挑战者”

现在你有了自变量，因变量和期望结果。使用此信息将您正在测试的任何内容的未更改版本设置为控制场景。如果你正在测试一个网页，这是一个已经存在的未更改的页面。如果你正在测试一个着陆页，这将是你通常使用的着陆页设计和复制。

从那里，建立一个挑战者-修改后的网站，登录页，或电子邮件，你将测试你的控制。例如，如果你想知道向登录页添加推荐信将在转换中产生不同，设置你的控制页面，没有推荐。然后，用推荐创建你的挑战者。

4.平均随机地将样本分组。

对于那些你对听众有更多控制权的测试，比如电子邮件，你需要对两个或更多相等的听众进行测试，以便得出结论性的结果。

根据您使用的A/B测试工具的不同，您执行此操作的方式也会有所不同。如果你是一个HubSpot企业客户对一封电子邮件进行A/B测试例如，HubSpot会自动将流量分配给你的不同版本，这样每个版本都会随机抽取访客。

5.确定你的样本量(如果适用)。

你怎么样确定你的样本量也取决于你的A/B测试工具，以及你所运行的A/B测试类型。

如果你正在对一封邮件进行A/B测试，你可能会希望将A/B测试发送给你列表中足够大的子集，以获得显著的结果。最终，您将选择一个获胜者，并将获胜的变体发送给列表的其余部分。(请参阅本文末尾的“分割测试的科学”电子书，了解更多关于计算样本大小的信息。)

如果您是HubSpot Enterprise的客户，那么使用滑块可以帮助您确定样本组的大小。它可以让你做任何样本大小的50/50 a /B测试——尽管所有其他的样本分割都需要至少1000个接受者的名单。

如果你在测试不有一个有限的受众，比如一个网页，那么您保持测试运行的时间将直接影响您的样本大小。您需要让测试运行足够长的时间，以获得大量的视图。否则，很难判断变异之间是否存在统计上的显著差异。

6.决定你的结果需要有多重要。

一旦你选择了你的目标指标，你需要考虑你的结果需要有多重要来证明选择一个变量而不是另一个变量。统计意义是a /B测试过程中一个非常重要的部分，但却经常被误解。如果你需要复习一下，我推荐你从市场营销的角度看这篇关于统计学意义的博文．

你的置信水平百分比越高，你对自己的结果就越有把握。在大多数情况下，你会希望置信水平至少达到95%——最好是98%——特别是如果这是一个时间密集型的实验。但是，如果你不需要测试，有时使用较低的置信率是有意义的林根。

马特·莱奥特HubSpot的一位高雷竞技苹果下载官方版级软件工程师，喜欢把统计学上的重要性想成下注。你愿意打赌的赔率是多少?说“我有80%的把握这是正确的设计，我愿意为之赌上一切”就像运行A/B测试到80%的重要性，然后宣布赢家。

Rheault还表示，在测试仅略微提高转换率的东西时，您可能需要更高的置信阈值。为什么？因为随机方差更可能发挥更大的作用。

他解释道:“降低自信阈值的一个例子是，一个可能提高10%或更多转化率的实验，比如重新设计的英雄部分。”

“这里的结论是，变化越彻底，我们就越不需要在过程上讲究科学性。变化越具体(如按钮颜色、缩微版等)，我们就越应该具有科学性，因为这种变化不太可能对转化率产生重大且显著的影响。”

7.确保在任何活动中一次只运行一个测试。

为一个活动测试不止一件事情——即使它不在同一个确切的资产上——可能会使结果复杂化。例如，如果在A/B测试登录页的同时，您A/B测试了指向该登录页的电子邮件活动，您如何知道是哪个更改导致了潜在客户的增加？

在A/B测试期间

让我们介绍一下A/B测试期间要采取的步骤。

8.使用A/B测试工具。

为了在你的网站或邮件中进行A/B测试，你需要使用A/B测试工具。如果你是HubSpot Enterprise的客户，HubSpot软件的功能可以让你a /B测试电子邮件(雷竞技苹果下载官方版学习在这里)，呼吁采取行动(学习在这里)和登陆页面(学习在这里).

对于非hubspot Enterprise客户，其他选项包括谷歌分析，它允许你对一个网页的10个完整版本进行A/B测试，并使用随机样本用户比较它们的性能。

9.同时测试两种变化。

无论是在一天中的某个时间、一周中的某一天还是一年中的某个月，时间安排在营销活动的结果中都扮演着重要的角色。如果在一个月内运行版本A，一个月后运行版本B，您如何知道性能更改是由不同的设计还是由不同的月份引起的？

当您运行A/B测试时，您需要同时运行这两个变体，否则您可能会对结果进行二次猜测。

唯一的例外是，如果你在测试时间本身，比如找到发送邮件的最佳时间。这是一件值得测试的事情，因为根据你的业务提供的内容和你的订阅者是谁，订阅者参与的最佳时间可能因行业和目标市场而显著不同。

10.给A/B测试足够的时间来产生有用的数据。

同样，您需要确保您的测试运行的时间足够长，以获得大量的样本大小。否则，就很难判断这两种变体之间是否存在统计学上的显著差异。

多长时间才算够长?根据你的公司以及你执行A/B测试的方raybet电子竞技式，你可能会在数小时内获得显著的结果。或几天……或数周。要想获得统计意义上的显著结果，很大程度上取决于你获得了多少流量——所以如果你的网站没有获得大量流量，你就需要花更长的时间进行A/B测试。

阅读这篇博文，了解更多关于样本大小和时间的信息．

11.征求真实用户的反馈。

A/B测试与定量数据有很大关系……但这并不一定能帮助你理解为什么人们采取某些行动超过其他人。当你在进行A/B测试时，为什么不收集真实用户的定性反馈呢?

询问别人意见的最好方法之一是通过调查或投票．你可以在你的网站上添加一个退出调查，询问访问者为什么不点击某个CTA，或者在你的感谢页面上询问访问者为什么点击按钮或填写表格。

例如，你可能会发现，很多人点击了一个号召行动的链接，然后找到了一本电子书，但一旦他们看到了价格，他们就不会转换。这类信息会让你深入了解用户为什么会以某种方式行事。

A/B测试之后

最后，让我们介绍一下A/B测试后要采取的步骤。

12.关注你的目标指标。

同样，尽管您将测量多个指标，但在进行分析时，请将重点放在主要目标指标上。

例如，如果您测试了一封电子邮件的两种变体，并选择Lead作为您的主要度量标准，那么不要被打开率或点击率所困扰。您可能会看到较高的点击率和较差的转换率，在这种情况下，您最终可能会选择点击率较低的变体。

13.使用我们的A/B测试计算器测量结果的重要性。

现在，您已经确定了哪种变异表现最好，现在是时候确定您的结果是否具有统计意义了。换句话说，它们是否足以证明改变的合理性？

要找到答案，您需要进行统计显著性测试。您可以手动执行此操作。。。或者你可以把实验的结果插入我们的免费A/B测试计算器．

对于你测试的每个变体，系统会提示你输入尝试的总次数，比如发送的电子邮件或看到的印象。然后，输入完成目标的数量——通常你会查看点击次数，但这也可能是其他类型的转换。

计算器将给出您的数据为获胜变量产生的置信水平。然后，根据您选择的值测量该数字，以确定统计显著性。

14.根据结果采取行动。

如果一个变量在统计上优于另一个变量，那么您就有了赢家。通过禁用A/B测试工具中的丢失变量来完成测试。

如果这两个变量在统计学上都不好，那么您刚刚了解到您测试的变量不会影响结果，您将不得不将测试标记为非决定性。在这种情况下，请坚持使用原始变体，或者运行另一个测试。您可以使用失败的数据来帮助您在新测试中找到新的迭代。

虽然A/B测试可以帮助您根据具体情况影响结果，但您也可以将从每次测试中获得的经验教训应用到未来的工作中。

例如，如果你在电子邮件营销中进行了A/B测试，并且反复发现在电子邮件主题行中使用数字会产生更好的点击率，那么你可能会考虑在更多的电子邮件中使用这种策略。

15.计划你的下一次A/B测试。

您刚刚完成的A/B测试可能已经帮助您发现了一种新的方法，使您的营销内容更加有效-但不要就此止步。总有更多优化的空间。

你甚至可以尝试在同一网页或电子邮件的其他功能上进行A/B测试。例如，如果你刚刚在登录页上测试了标题，为什么不在正文副本？或配色方案？或图像上进行新的测试？始终注意提高转化率和潜在客户的机会。

A/B测试示例

我们已经讨论了A/B测试在市场营销中是如何使用的，以及如何进行测试——但是在实践中它们看起来是怎样的呢?

正如您可能猜到的，我们运行了许多A/B测试，以提高整个平台的参与度和驱动转换。下面是五个A/B测试示例，以启发您自己的实验。

1.网站搜索

网站搜索栏可以帮助用户快速找到他们在特定网站上想要的东西。HubSpot从之前的分析中发现，与网站搜索栏互动的访问者更有可能转化为一篇博客文章。所以我们进行了A/B测试，试图提高搜索栏的用户粘性。

在这个测试中，搜索栏功能是自变量，对内容提供感谢页面的看法是因变量。在实验中，我们使用了一个控制条件和三个挑战者条件。

在控制条件下（变量A），搜索栏保持不变。

在变体B中，搜索栏变得更大，视觉上更突出，占位符文本设置为“按主题搜索”

变体C看起来与变体B相同，但只搜索HubSpot博客，而不是整个网站。

在变体D中，搜索栏变大了，但占位符文本设置为“搜索博客”。该变体还只搜索HubSpot博客

我们发现变体D是最有效的:它比控件增加了3.4%的转化率，并增加了6.5%的用户使用搜索栏。

2.移动CTA

HubSpot在我们的博客文章中使用了几个cta来提供内容，包括文章正文和页面底部的内容。我们对这些CTA进行了广泛的测试为了优化它们的性能。

对于手机用户，我们进行了A/B测试，看看哪种类型的页面底部CTA转化率最高。对于自变量，我们改变了CTA条形图的设计。具体来说，我们在测试中使用了一个对照组和三个挑战者。对于因变量，我们使用了CTA感谢页面的页面浏览量和CTA点击量。

控制条件包括我们在柱子底部正常放置CTA。在变体B中，CTA没有关闭或最小化选项。

在变体C中，移动阅读器可以通过点击X图标关闭CTA。一旦关闭，它就不会再出现。

在变体D中，我们包括了一个选项，用上/下插入符号最小化CTA。

我们的测试发现所有变体都是成功的。变种D是最成功的，比对照组增加了14.6%的转化率。其次是变异体C，增加了11.4%，变异体B增加了7.9%。

3.作者CTAs

在另一个CTA实验中，HubSpot测试了在博客帖子顶部添加“免费”一词和其他描述性语言是否会增加内容线索。过去的研究表明，在CTA文本中使用“免费”将推动更多的转换，并且文本指定提供的内容类型将有助于SEO和可访问性。

在测试中，自变量是CTA文本，主要因变量是内容提供形式的转换率。

在控制条件下，作者CTA文本没有变化(见下图中的橙色按钮)。

在变式B中，在CTA案文中增加了“自由”一词。

在变体C中，除了“免费”之外，CTA文本中还添加了描述性措辞

有趣的是，变体B在表格提交中出现了损失，与对照组相比下降了14%。这是出乎意料的，因为在内容提供文本中包含“免费”被广泛认为是最佳实践。

同时，变体C中的表单提交比对照组高出4%。结论是，在作者CTA中添加描述性文本有助于用户理解报价，从而使他们更有可能下载。

4.博客目录

为了帮助用户更好地浏览博客，HubSpot测试了一个新的目录（TOC）模块。目标是通过更快地向读者展示他们想要的内容来改善用户体验。我们还测试了向TOC模块添加CTA是否会增加转换。

本次A/B测试的自变量为博客文章中TOC模块的包含和类型，因变量为TOC模块中内容提供表单提交和CTA点击的转化率。

控制条件不包括新的TOC模块——控制帖子要么没有目录，要么在帖子正文中靠近文章顶部的位置有一个简单的锚点链接项目符号列表(见下图)。

在变体B中，新的TOC模块被添加到博客文章中。这个模块是粘性的，这意味着当用户向下滚动页面时，它仍然在屏幕上。变体B还包括模块底部的内容提供CTA。

变种C包括一个与变种B相同的模块，但是去掉了CTA。

变种B和C都没有增加博客文章的转化率。控制条件优于变体B 7%，与变体c表现相同。此外，很少有用户与新的TOC模块或模块内的CTA进行交互。

5.审查通知

为了确定收集客户评论的最佳方式，我们对电子邮件通知和应用程序内通知进行了拆分测试。在这里，自变量是通知的类型，因变量是在所有打开通知的人中遗漏审查的人的百分比。

在控件中，HubSpot发送了一条纯文本邮件通知，要求用户留下评论。在变体B中，HubSpot发送了一封包含用户名的证书图像的电子邮件。

对于变体C，HubSpot向用户发送了应用内通知。

最终，这两封电子邮件的表现相似，表现优于应用内通知。大约25%打开电子邮件的用户留下了评论，而打开应用内通知的用户占10.3%。电子邮件也更多地被用户打开。

今天开始A/B测试

A/B测试能够帮助你了解用户想要看到的内容和营销内容。学习如何使用下面的免费电子书最好地执行上面的一些步骤。

编者按:这篇文章最初发表于2016年5月，现已进行了更新。