如何做A / B测试：您要写的清单

当像我们这样的营销者创造登陆页面，写电子邮件副本或设计呼叫动作按钮，可以使用我们的直觉来预测会让人们点击和转换是诱人的。

但基于“感觉”的营销决定可能是对结果的不利影响。而不是依赖猜测或假设来制作这些决定，而是更好地运行A / B测试 - 有时称为分型测试。

A/B测试是有价值的，因为不同用户的行为是不同的。适用于一家公司的东西不一定适用于另一家公司。raybet电子竞技事实上，转化率优化(CRO)专家讨厌“最佳实践”这个词，因为它可能不是最佳实践你。

但A / B测试也可以复杂。如果您不小心，您可能会对人们喜欢和什么使其点击 - 决策可以轻松误导您的策略的其他部分。

继续阅读以了解在数据收集之前，期间和之后如何进行A / B测试，以便您可以从结果中获得最佳决策。

要运行A / B测试，您需要创建两个不同版本的一件内容，更改为单个多变的。然后，你将把这两个版本展示给两个规模相近的观众，并分析哪一个在特定的时间段内表现更好(足够长时间来对你的结果做出准确的结论)。

源

A/B测试帮助营销人员观察营销内容的一个版本与另一个版本的表现。以下是两种类型的A/B测试，你可以通过这两种测试来提高网站的转化率:

例1:用户体验测试

也许你想看看将某个呼叫动作（CTA）按钮移动到主页的顶部，而不是将其保持在侧栏中将提高其点击率。

为了测试这一理论，你需要创建另一个能够反映CTA位置变化的网页。现有的设计-或“控制“ - 是版本A.版本B是”挑战者“。然后，您可以通过将它们中的每一个显示到预定百分比的网站访问者来测试这两个版本。理想情况下，看到任何一个版本的访问者的百分比是相同的。

了解如何轻松A / B测试您的网站的组件HubSpot的营销中心。

例2:设计测试

也许你想知道改变呼叫动作（CTA）按钮的颜色是否可以增加其点击率。

到A / B测试这个理论，您可以设计具有不同按钮颜色的替代CTA按钮，导致相同的着陆页作为控制。如果您通常在营销内容中使用红色呼叫动作按钮，并且绿色变异在您的A / B测试后接收更多点击，则可能会使您从现在开始将呼叫动作按钮的默认颜色更改为绿色上。

要了解更多关于A/B测试的信息，请在这里下载我们的免费入门指南。

A/B测试的好处

A/B测试对营销团队有很多好处，这取决于你决定测试什么。但最重要的是，这些测试对企业来说很有价值，因为它们成本低，回报高。

假设你雇佣了一名年薪5万美元的内容创造者。这个内容创造者每周为公司博客发表五篇文章，每年共计260篇文章。raybet电子竞技如果公司博客上的一篇文章平均能产生10条线索，那么你可raybet电子竞技以说，产生10条线索的成本是192美元多一点(5万美元薪水÷ 260篇文章= 192美元一篇)。这是一大块实实在在的变化。

现在，如果您询问此内容创建者花费两天的时间开发A / B测试一个文章，而不是写作二在这段时间内，你可能会因为少发表一篇文章而烧掉192美元。但如果A/B测试发现你可以将每篇文章的转换率从10个提高到20个，那么你就相当于花了192美元去增加你的博客所获得的用户数量。

如果测试失败，当然，你丢失了192美元 - 但现在你可以制作你的下一个A / B测试更受教育。如果第二个测试成功加倍您的博客的转换率，最终将花费284美元来掌握公司的收入增加。raybet电子竞技无论您的A / B测试失败多少次，最终成功几乎总是超过导致它的成本。

有许多类型的分裂测试，您可以运行以使实验最终不值得。以下是某些共同的目标营销人员在A / B测试时为其业务提供：

• 增加网站流量:测试不同的博客文章或网页标题可以改变点击超链接标题进入你的网站的人数。这可以增加网站流量的结果。
• 更高的转化率:在CTAS上测试不同的位置，颜色甚至锚文本可以更改单击这些CTA的人数以进入着陆页。这可以增加填写网站上的表格的人数，将他们的联系信息提交给您，并将“转换为铅”。
• 较低的反弹率：如果您的网站访问者在访问您的网站后迅速离开（或“弹跳”），则测试不同的博客介绍，字体或特征图像可以减少此弹跳率并保留更多访客。
• 降低弃车:据统计，40% - 75%的电子商务客户在离开他们的网站时，购物车里也有商品MightyCall。这就是所谓的“购物车弃置”。测试不同的产品照片、结账页面设计，甚至是显示运费的地方，都可以降低这种弃置率。

现在，让我们浏览一下设置、运行和测量A/B测试的检查表。

如何进行A/B测试

请跟随我们的免费A/B测试套件，包括运行A/B测试所需的一切，包括测试跟踪模板，指导和启发的操作指南，以及一个统计显著性计算器，以查看你的测试是成功的，失败的，还是不确定的。

在A/B测试之前

让我们涵盖在开始A / B测试之前要采取的步骤。

1.选择一个变量来测试。

当你优化网页和电子邮件时，你可能会发现需要测试的变量有很多。但要评估更改的效果是如何，您将想要隔离一个“独立变量”并测量其性能 - 否则，您无法确定哪一个负责性能的变化。

您可以为单个网页或电子邮件测试多个变量;只需一定是一次测试它们。

看看你的市场营销资源中的各种元素，以及它们在设计、措辞和布局上可能的替代方案。reybet雷竞技下载你可以测试的其他内容包括邮件主题、发件人姓名以及不同的邮件个性化方法。

请记住，即使在电子邮件中更改图像也是简单的更改或者你的行动号召按钮上的文字，可以推动大改进。实际上，这些变化通常比较大的更容易测量。

笔记：有时候，测试多个变量比测试单个变量更有意义。这是一个被称为多元测试的过程。如果你想知道应该运行A/B测试还是多变量测试，这里有一篇来自optimely的有用文章这是对两者的比较。

2.确定你的目标。

虽然您将衡量每次测试的许多指标，虽然每次测试都会选择一个主要的指标来专注于 -之前你经过测试。事实上，在你建立第二个变异之前做到这一点。这是您的“受抚养变量”。

想想在拆分测试结束时要在拆分测试结束时。你可能会说一名官方假设根据这个预测来检验你的结果。

如果等待直到后来思考哪些指标对您来说很重要，您的目标是什么，以及您提出的更改如何影响用户行为，那么您可能无法以最有效的方式设置测试。

3.创建一个“控制”和一个“挑战者”。

现在有了自变量，因变量，和期望的结果。使用此信息将正在测试的任何内容的未更改版本设置为“控件”。如果你正在测试一个网页，这是一个没有改变的网页，因为它已经存在。如果你正在测试一个着陆页，这将是你通常使用的着陆页设计和复制。

从那里，建立一个变体，或“挑战者”-网站，登陆页，或电子邮件，你将测试你的控制。例如，如果你想知道在着陆页上包括一个评价会有所不同，设置你的控制页面，没有评价。然后，创建你的变化与评价。

4.将你的样本群平均地、随机地分开。

对于你对受众有更多控制权的测试——比如电子邮件——你需要测试两个或更多相同的受众，以获得结论性的结果。

你如何做到这一点取决于你所使用的A/B测试工具。如果你是一个HubSpot企业客户对一封电子邮件进行A/B测试例如，HubSpot会自动将流量分成你的变体，这样每个变体都会得到一个随机的访客样本。

5.确定你的样本量(如果适用)。

你如何决定你的样本大小也取决于你的A/B测试工具，以及你所运行的A/B测试类型。

如果你正在对一封邮件进行A/B测试，你可能会希望将A/B测试发送给列表中的较小部分，以获得具有统计学意义的结果。最终，你将选出一个赢家，并将获胜的变体发送到列表的其他部分。(请参阅本文末尾的“分裂测试的科学”电子书，了解更多关于计算样本大小的内容。)

如果您是Hubspot Enterprise客户，您将有一些帮助使用滑块确定样本组的大小。它会让您对任何示例大小进行50/50 A / B测试 - 尽管所有其他样本拆分都需要至少1,000个收件人的列表。

如果你测试的是没有有一个有限的受众，比如一个网页，那么你让你的测试运行多久将直接影响你的样本大小。

您需要让您的测试运行足够长的时间来获得大量的视图，否则将很难判断这两个变体之间是否有统计上的显著差异。

6.决定你的结果需要有多重要。

一旦你选择了你的目标度量，想想你的结果需要有多重要才能证明你选择了一个变量而不是另一个变量。统计意义是a /B测试过程中非常重要的一部分，但却经常被误解。如果你需要从市场营销的角度复习统计学的重要性，我推荐你阅读这篇博文。

你的自信程度越高，你对自己的结果就越有信心。在大多数情况下，您会希望置信水平至少为95%，最好是98%，特别是如果它是一个时间密集的实验来建立。但是，如果不需要那么严格的测试，有时使用较低的置信率是有意义的。

马特Rheault作为HubSpot的高雷竞技苹果下载官方版级软件工程师，他喜欢把统计意义想象成下注。你愿意下注的赔率是多少?说“我有80%的把握这是一个正确的设计，我愿意赌上一切”类似于运行一个具有80%重要性的A/B测试，然后宣布获胜者。

罗特还说，你可能需要一个更高的置信阈值，当测试某个东西，只有轻微提高会话率。为什么?因为随机方差更可能发挥更大的作用。

他解释道:“降低置信阈值会让我们感到更安全的一个例子是一个可能提高10%或更多转换率的实验，比如重新设计英雄部分。”

“这里的结论是，变化越剧烈，我们需要的过程明智性就越不科学。变化越具体(游戏邦注:如按键颜色、微缩拷贝等)，我们就应该越科学，因为这些变化不太可能对转化率产生重大而显著的影响。”

7.确保在任何活动中你每次只运行一个测试。

为一个单一的活动测试多个东西——即使不是在相同的资产上——可能会使结果复杂化。例如，如果你在进行A/B测试的同时，测试了一封指向登录页面的电子邮件活动……你怎么知道是哪个变化导致了铅的增加?

在A/B测试期间

让我们来介绍在A/B测试中需要采取的步骤。

8.使用A/B测试工具。

要在您的网站上或在电子邮件中进行A / B测试，您需要使用A / B测试工具。如果您是Hubspot Enterprise客户，则Hubspot软件具有可让您A / B测试电子邮件的功雷竞技苹果下载官方版能（学习在这里),号角(学习在这里)及登陆页(学习在这里)。

对于非推荐企业客户，其他选项包括Google Analytics的实验，这使您可以使用最多10个单个网页的完整版本，并使用随机用户样本进行比较它们的性能。

9.同时测试两种变化。

时机在你的营销活动的结果中扮演着重要的角色，无论是一天中的某个时间，一周中的某一天，还是一年中的某个月。如果您要在一个月期间运行版本A，而在一个月之后运行版本B，那么您如何知道性能变化是由不同的设计还是不同的月份引起的呢?

当你运行A/B测试时，你需要同时运行这两个变体，否则你可能会对结果进行事后猜测。

唯一的例外是，如果你正在测试时间本身，比如寻找发送电子邮件的最佳时间。这是一件值得测试的事情，因为根据你的业务提供了什么以及你的订阅者是谁，订阅者参与的最佳时间会因行业和目标市场而发生很大的变化。

10.给A/B测试足够的时间来产生有用的数据。

同样，您需要确保让您的测试运行足够长的时间，以获得大量的样本量。否则，就很难判断这两个变量之间是否有统计学上的显著差异。

足够长多久了？根据您的公司以及如何执行A / B测raybet电子竞技试，在数小时或数天或数周内可能发生统计学上显着的结果。获得统计上显着的结果需要多长时间的大部分是您获得的流量是多少 - 所以，如果您的业务对您的网站没有大量流量，您将需要更长时间才能运行A / B测试。

理论上，您不应该限制收集结果的时间。(阅读此博客文章以了解有关示例大小和时序的更多信息。)

11.向真正的用户寻求反馈。

A / B测试与定量数据有很大关系......但这并不一定帮助您了解为什么人们会采取某些行动。当你在运行A/B测试时，为什么不从真实用户那里收集定性反馈呢?

要求人们提出意见的最佳方法之一是通过调查或投票。你可以在你的网站上添加一个退出调查，询问访问者为什么他们没有点击某个CTA，或者在你的感谢信页面上添加一个调查，询问访问者为什么他们点击了某个按钮或填写了一个表格。

例如，您可能会发现很多人点击了将它们带到电子书的呼叫动作中，但一旦他们看到价格，他们就没有转换。这种信息将为您提供大量洞察，为什么您的用户以某种方式行为。

A/B测试后

最后，让我们介绍A/B测试后需要采取的步骤。

12.专注于你的目标指标。

同样，尽管您将度量多个指标，但在进行分析时，请将重点放在主要目标指标上。

例如，如果你测试了电子邮件的两种变体，并选择了潜在客户作为你的主要指标，那么就不要纠结于打开率或点击率。你可能会看到高点击率和低转化率，在这种情况下，你可能最终会选择低点击率的变体。

13.使用我们的A/B测试计算器来衡量你的结果的重要性。

既然您已经确定了哪个变量的性能最好，现在就可以确定您的结果是否具有统计学意义。换句话说，它们足以证明改变是正当的吗?

要了解出来，您需要进行统计显着性的测试。你可以手动做到这一点......或者你可以从你的实验中插上结果我们的免费A / B测试计算器。

对于你测试的每个变体，系统会提示你输入尝试的总次数，比如发送的邮件或看到的印象。然后，输入它完成的目标数量——通常你会看到点击，但这也可能是其他类型的转换。

计算器将吐出你的数据为获胜变异所产生的置信水平。然后，将该数字与您选择的值进行衡量，以确定统计意义。

14.根据您的结果采取行动。

如果一种变异在统计上优于另一种变异，那么你就是赢家。通过禁用A/B测试工具中的丢失变量来完成测试。

如果任何变化都没有统计上更好，那么你才知道你测试的变量没有影响结果，你必须将测试标记为不确定。在这种情况下，坚持原始变化 - 或运行另一个测试。您可以使用失败的数据来帮助您弄清楚新测试的新迭代。

虽然A / B测试可帮助您对案例逐个影响结果，但您也可以应用您从每个测试中学到的课程并将其应用于未来的努力。

例如，如果你在电子邮件营销中进行了A/B测试，并反复发现在电子邮件主题栏中使用数字能够产生更好的点击率，你便可以考虑在更多电子邮件中使用这种策略。

15.计划下一个A/B测试。

你刚刚完成的A/B测试可能会帮助你发现让营销内容更有效的新方法——但不要就此止步。总是有更多优化的空间。

你甚至可以尝试在你刚刚测试过的同一个网页或电子邮件的另一个功能上进行A/B测试。例如，如果你只是在登陆页上测试一个标题，为什么不做一个新的主体复制测试呢?或配色方案?或者图片?时刻关注提高转化率和潜在客户的机会。

今天开始A/B测试

A / B测试允许您到达您的观众希望看到的内容和营销的真实性。了解如何最好地使用下面的免费电子书进行上面的一些步骤。

编者按:这篇文章最初发表于2016年5月，现已全面更新。