A/B测试的基本概念

尽管很久以前都看到A/B testing这个字眼,一直都没有好好去看它到底是个什么东东,前两天看了篇关于A/B测试的不错的文章,写下对其的简单认识吧。

wikipedia中的定义如下:A/B testingsplit testing or bucket testing is a method of marketing testing by which a baseline control sample is compared to a variety of single-variable test samples in order to improve response rates. A classic direct mail tactic, this method has been recently adopted within the interactive space to test tactics such as banner ads, emails and landing pages.

A/B测试的核心在于:在对同一个要素有两种版本(A/B)并且有度量哪个更成功的指标的情况下,将A/B两个版本都同时地做实验,然后根据度量结果来决定哪个版本更好,从而决定在真正去使用哪个版本。

关于A/B测试,如下的一幅图可以很清晰地展现。

ab testing

a/b testing

目前,A/B测试在Web测试(主要是用户体验测试)中用的比较多。

你可以用如下两种方法来建立A/B测试:

1. 在页面加载之前替换元素( Replace the element to be tested before the page loads)

2. 重定向到两一个页面 (Redirect to another page)

下面是A/B测试中的一些该做和不该做的事情(Do's and Don'ts)。

Do's:

1. 你需要需要知道在放弃之前需要进行多长时间的测试。过早或过晚放弃都是不对的。

2. 注意给相同访客呈现出相同版本,特别是一些价格什么敏感信息。(可以用cookie之类的追踪用户)

3. 在整个网站中保持A/B测试的一致性,不要在X页面显示A中测试元素,而在Y页面显示B种测试元素。

4. 做很多的A/B测试(为了达到既定的目标)。

Don'ts:

1. 只有在测试了你能控制A/B两种版本之后,才开始你的测试;不要一段时间测试A版本,一段时间测试B版本,而是应该同时进行,将流量分散为A/B两类。

2. 不要过早地下结论,需要事先预估一个A/B测试的周期。

3. 不要令常来的访客惊讶(或困惑),如果是测试一个核心功能,最好只对新用户进行测试。

4. 不要让个人的喜好影响测试的结果,因为不一定是看起来更合理(或更漂亮)的版本会获得A/B测试的胜利,结果是什么就是什么,数据说话,保持客观。

 

对A/B测试有更多的兴趣,可以看一下下面这篇文章:

http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

master

Stay hungry, stay foolish.

发表评论

邮箱地址不会被公开。 必填项已用*标注

*