How to Do A/B Testing: A Checklist You'll Want to Bookmark

当像我们这样的营销人员创造着陆页，编写电子邮件副本或设计通话操作按钮，使用我们的直觉来预测将使人们点击和转换的原因可能很诱人。

But basing marketing decisions off of a "feeling" can be pretty detrimental to results. Rather than relying on guesses or assumptions to make these decisions, you're much better off running an A/B test — sometimes called a split test.

A/B testing can be valuable because different audiences behave, well, differently. Something that works for one company may not necessarily work for another. In fact, conversion rate optimization (CRO) experts hate the term "best practices" because it may not actually be the best practice for你。

但是A/B测试也可能很复杂。如果您不小心，您可能会对人们喜欢的东西和使他们点击的内容做出错误的假设 - 这些决定很容易误解策略的其他部分。

Keep reading to learn how to do A/B testing before, during, and after data collection so you can make the best decisions from your results.

要运行A/B测试，您需要创建两个不同版本的一件内容，并更改为单个内容variable。然后，您将向两个类似大小的受众展示这两个版本，并分析哪个版本在特定时间段内表现更好（足够长以对您的结果得出准确的结论）。

Source

A/B测试可帮助营销人员观察一种营销内容的一种版本与另一个版本的表现。以下是您可能进行的两种A/B测试，以提高网站的转换率：

示例1：用户体验测试

也许您想看看将特定的通话行动（CTA）按钮移至主页顶部，而不是将其放在侧边栏中会提高其点击率。

为了测试该理论，您将创建另一个反映CTA放置更改的替代网页。现有设计 - 或control“ - 是版本A。版本B是“挑战者”。然后，您通过将它们显示为预定的站点访问者的预定百分比来测试这两个版本。理想情况下，看到这两个版本的访问者的百分比是相同的。

Learn how to easily A/B test a component of your website withHubSpot's Marketing Hub。

示例2：设计测试

Perhaps you want to find out if changing the color of your call-to-action (CTA) button can increase its click-through rate.

要进行A/B测试此理论，您将设计一个带有不同按钮颜色的替代CTA按钮相同的登陆页面作为控件。如果您通常在营销内容中使用红色的呼叫式操作按钮，并且绿色变化在您的A/B测试后获得更多点击，则可以从现在开始更改呼叫式操作按钮的默认颜色到绿色在。

要了解有关A/B测试的更多信息，请在此处下载我们的免费入门指南。

A/B测试的好处

A/B测试对营销团队有很多好处，具体取决于您决定测试的内容。不过，最重要的是，这些测试对企业很有价值，因为它们的成本较低，但奖励很高。

Let's say you employ a content creator with a salary of $50,000/year. This content creator publishes five articles per week for the company blog, totaling 260 articles per year. If the average post on the company's blog generates 10 leads, you could say it costs just over $192 to generate 10 leads for the business ($50,000 salary ÷ 260 articles = $192 per article). That's a solid chunk of change.

Now, if you ask this content creator to spend two days developing an A/B test on一文章，而不是写作二articles in that time period, you might burn $192 because you're publishing one fewer article. But if that A/B test finds you can increase each article's conversion rate from 10 to 20 leads, you just spent $192 to potentially double the number of customers your business gets from your blog.

如果测试失败，当然，您损失了192美元 - 但是现在您可以使您的nextA/B test even more educated. If that second test succeeds in doubling your blog's conversion rate, you ultimately spent $284 to potentially double your company's revenue. No matter how many times your A/B test fails, its eventual success will almost always outweigh the cost to conduct it.

There are many types of split tests you can run to make the experiment worth it in the end. Here are some common goals marketers have for their business when A/B testing:

• Increased Website Traffic:测试不同的博客文章或网页标题可以更改单击该超链接标题的人数以访问您的网站。结果可以增加网站流量。
• 更高的转化率：测试CTA上的不同位置，颜色甚至锚定文本可以更改单击这些CTA的人数，以获取登陆页面。这可以增加网站上填写表格的人数，向您提交联系信息，然后“转换”为潜在客户。
• 较低的跳出率：如果您的网站访问者在访问您的网站后迅速离开（或“弹跳”），请测试不同的博客文章介绍，字体或功能图像可以降低此跳出率并保留更多的访问者。
• 较低的购物车被遗弃：电子商务企业看到40％ - 75％的客户在购物车中带有商品离开网站。MightyCall。This is known as "shopping cart abandonment." Testing different product photos, check-out page designs, and even where shipping costs are displayed can lower this abandonment rate.

现在，让我们浏览清单以进行设置，运行和测量A/B测试。

如何进行A/B测试

Follow along with our free A/B testing kit with everything you need to run A/B testing including an test tracking template, a how-to guide for instruction and inspiration, and a statistical significance calculator to see if your tests were wins, losses, or inconclusive.

Before the A/B Test

让我们在开始A/B测试之前介绍要采取的步骤。

1.选择一个变量进行测试。

当您优化网页和电子邮件时，您可能会发现您需要测试许多变量。But to evaluate how effective a change is, you'll want to isolate one "independent variable" and measure its performance — otherwise, you can't be sure which one was responsible for changes in performance.

您可以为一个网页或电子邮件测试多个变量；只需确保您一次测试它们即可。

Look at the various elements in your marketing resources and their possible alternatives for design, wording, and layout. Other things you might test include email subject lines, sender names, and different ways to personalize your emails.

Keep in mind that even simple changes, like changing the image in your emailor the words on your call-to-action button，可以推动重大改进。实际上，这些变化通常比较大的变化更容易衡量。

笔记：在某些时候，测试多个变量而不是单个变量更有意义。这是一个称为多元测试的过程。如果您想知道是否应该运行A/B测试与多元测试，这是优化的一篇有用的文章比较两者。

2.确定您的目标。

尽管您将为每个测试测量许多指标，但选择一个主要指标来关注 -前您运行测试。实际上，在建立第二个变化之前，请执行此操作。这是您的“因变量”。

考虑一下您希望此变量在拆分测试结束时的位置。您可能会陈述一个官员hypothesis并根据此预测检查结果。

如果您等到后来考虑哪些指标对您很重要，目标是什么以及您提出的更改如何影响用户行为，那么您可能不会以最有效的方式设置测试。

3. Create a 'control' and a 'challenger.'

现在，您拥有独立变量，因变量和所需的结果。使用此信息来设置您要测试的任何“控制”的未更改版本。如果您正在测试一个网页，那么这是已经存在的未更改的网页。如果您正在测试着陆页，则通常使用的是登录页面设计和复制。

从那里开始构建变体或“挑战者” - 网站，着陆页或您可以根据自己的控制进行测试的电子邮件。例如，如果您想知道是否在着陆页上包括推荐would make a difference, set up your control page with no testimonials. Then, create your variation with a testimonial.

4.平均和随机分组样本组。

For tests where you have more control over the audience — like with emails — you need to test with two or more audiences that are equal in order to have conclusive results.

如何做到这将根据您使用的A/B测试工具而有所不同。如果你是HubSpot Enterprise客户通过电子邮件进行A/B测试, for example, HubSpot will automatically split traffic to your variations so that each variation gets a random sampling of visitors.

5.确定样本量（如果适用）。

您如何确定样本量也将根据您的A/B测试工具以及您正在运行的A/B测试的类型而有所不同。

如果您是A/B测试电子邮件，则可能需要将A/B测试发送到列表的较小部分，以获得统计上显着的结果。最终，您将选择一个获胜者，并将获胜的变化发送到列表的其余部分。（有关计算样本量的更多信息，请参见本文末尾的“拆分测试科学”电子书。）

如果您是HubSpot Enterprise客户，则可以使用滑块来确定样本组的大小。它可以让您进行任何样本量的50/50 A/B测试 - 尽管所有其他样本拆分都需要至少1,000名收件人列表。

If you're testing something that不拥有有限的受众，例如网页，然后您保持测试的时间多长时间会直接影响样本量。

You'll need to let your test run long enough to obtain a substantial number of views, otherwise it'll be hard to tell whether there was a statistically significant difference between the two variations.

6.确定您的结果需要多么重要。

一旦选择了目标指标，请考虑一下您的结果需要对选择一种变体而不是另一种变化的合理性。统计显着性是经常被误解的A/B测试过程中的一个非常重要的部分。如果您从营销的角度需要对统计意义进行复习，我建议您阅读此博客文章。

信心水平的百分比越高，就越确定您的结果。在大多数情况下，您将需要最低95％的置信度（最好是98％），尤其是如果这是一个耗时的实验。但是，如果您不需要测试很严格，则有时使用较低的置信率是有意义的。

马特·罗斯（Matt Rheault）, a senior software engineer at HubSpot, likes to think of statistical significance like placing a bet. What odds are you comfortable placing a bet on? Saying "I'm 80% sure this is the right design and I'm willing to bet everything on it" is similar to running an A/B test to 80% significance and then declaring a winner.

Rheault还说，在测试仅略微提高对话率的事物时，您可能希望更高的信心阈值。为什么？因为随机差异更有可能发挥更大的作用。

他解释说：“一个例子，我们可以感觉更安全地降低信心阈值，这是一个实验，可能会将转化率提高10％或更高，例如重新设计的英雄部分。”

“这里的要点是，变化的根本性越多，我们需要在流程方面进行科学越少。更具体的变化（按钮颜色，微复制等），我们应该越科学，因为更改较少可能对转换率产生很大且明显的影响。”

7.确保您一次仅在任何广告系列上进行一次测试。

Testing more than one thing for a single campaign — even if it's not on the same exact asset — can complicate your results. For example, if you A/B test an email campaign that directs to a landing page at the same time that you’re A/B testing that landing page ... how can you know which change caused the increase in leads?

During the A/B Test

让我们介绍您在A/B测试期间采取的步骤。

8.使用A/B测试工具。

To do an A/B test on your website or in an email, you'll need to use an A/B testing tool. If you're a HubSpot Enterprise customer, the HubSpot software has features that let you A/B test emails (了解这里的方式），电话行动（了解这里的方式）和着陆页（了解这里的方式).

对于非HubSpot Enterprise客户，其他选项包括Google Analytics' Experiments, which lets you A/B test up to 10 full versions of a single web page and compare their performance using a random sample of users.

9.同时测试这两个变体。

定时在您的营销活动的结果中起着重要作用，无论是一天中的时间，一周中的一天还是一年中的一个月。如果您要在一个月和一个月后运行A版本A版本，您将如何知道性能变化是由不同的设计或不同月份引起的？

当您运行A/B测试时，您需要同时运行两个变体，否则您可能会第二次猜测结果。

The only exception here is if you're testing timing itself, like finding the optimal times for sending out emails. This is a great thing to test because depending on what your business offers and who your subscribers are, the optimal time for subscriber engagement can vary significantly by industry and target market.

10.给予A/B测试足够的时间来产生有用的数据。

同样，您需要确保让测试运行足够长的时间以获得大量样本量。否则，很难说两种变体之间是否存在统计学上的显着差异。

足够长的时间？根据您的公司以及您如何执行A/B测试raybet电子竞技，在数小时或几天或几周内获得统计上的显着结果可能会发生。获得统计学上显着的结果需要多长时间的很大一部分是您获得了多少流量 - 因此，如果您的业务不会吸引您的网站流量很多，那么您运行A/B将需要更长的时间测试。

从理论上讲，您不应该限制收集结果的时间。（（阅读此博客文章以了解有关样本量和计时的更多信息）

11.询问来自真实用户的反馈。

A/B测试与定量数据有很大关系...但这并不一定能帮助您理解为什么人们对他人采取某些行动。当你're running your A/B test, why not collect qualitative feedback from real users?

向人们提出意见的最好方法之一是through a survey or poll。您可以在您的网站上添加出口调查，询问访问者为什么他们没有单击某个CTA，或者在您的感谢页面上单击一个，向访客询问他们为什么单击按钮或填写表格。

例如，您可能会发现，很多人点击了通话行动，将他们带入电子书，但是一旦看到了价格，他们就不会转换。这种信息将使您了解您的用户为何以某些方式行事。

A/B测试之后

最后，让我们介绍您的A/B测试后采取的步骤。

12.专注于您的目标指标。

同样，尽管您将测量多个指标，但在进行分析时，请继续关注该主要目标指标。

例如，如果您测试了两种电子邮件的变体，并选择了线索作为主要指标，请不要陷入开放率或点击率。您可能会看到高点的率和转化率差，在这种情况下，您最终可能会选择最终点击率较低的变化。

13.使用我们的A/B测试计算器测量结果的重要性。

Now that you've determined which variation performs the best, it's time to determine whether or not your results statistically significant. In other words, are they enough to justify a change?

为了找出答案，您需要进行统计意义的测试。您可以手动做到这一点...或者您可以将实验结果插入我们的免费A/B测试计算器。

为每一个变量你测试,你会被提示to input the total number of tries, like emails sent or impressions seen. Then, enter the number of goals it completed — generally you'll look at clicks, but this could also be other types of conversions.

计算器将吐出您的数据为获胜变化产生的置信度。然后，根据您选择的值确定统计显着性的值来衡量该数字。

14. Take action based on your results.

If one variation is statistically better than the other, you have a winner. Complete your test by disabling the losing variation in your A/B testing tool.

If neither variation is statistically better, you've just learned that the variable you tested didn't impact results, and you'll have to mark the test as inconclusive. In this case, stick with the original variation — or run another test. You can use the failed data to help you figure out a new iteration on your new test.

虽然A/B测试可帮助您逐局影响结果，但您也可以应用每个测试中学习的课程并将其应用于未来的工作。

例如，如果您在电子邮件营销中进行了A/B测试，并反复发现在电子邮件主题中使用数字会产生更好的点击率，则可能需要考虑在更多电子邮件中使用该策略。

15.计划您的下一个A/B测试。

您刚刚完成的A/B测试可能帮助您发现了一种使营销内容更有效的新方法，但不要止步于此。总是有更多优化的空间。

您甚至可以尝试对同一网页的另一个功能或您刚刚进行测试的电子邮件进行A/B测试。例如，如果您只是在着陆页面上测试了标题，为什么不对身体副本进行新测试呢？还是配色方案？还是图像？始终留意增加转化率和线索的机会。

立即开始A/B测试

A/B测试使您可以了解观众想要看到的内容和营销的真实性。了解如何使用下面的免费电子书来最好地执行上述一些步骤。

Editor's note: This post was originally published in May 2016 and has been updated for comprehensiveness.