今天10月的最后一个工作中日，下星期起就宣布进到“双十一”主题活动了，11月1日~3日将打开第一波提前购。一方面，网购达人们跃跃欲试，乘势而上。另一方面，店家也是费尽心思了一切办法来搞营销。

你有没有注意到，这段时间服务平台店家的营销短消息尤其多，每日都能接到许多条。对于这个状况，国家工信部还特意在这周举行了行政部门会，规定各种电子商务马上自纠自查，严禁乱发营销短消息邻居扰民。

无需狂轰乱炸，是否有更高等级的提升转换的方法呢？我们知道，产品运营一言不合就搞A/B测试，这也是她们最爱用的一个提高武器。需不需要搞营销，折扣优惠幅度多少，是立减或是满赠，广告词用几句，这种可以用A/B测试来决策。仿佛拥有A/B测试，每个人都能够变成增长黑客。

但是A/B测试这东西，用完了是助推；用不太好，被断章取义了，反倒会成为一个深坑，很多人都踩过。

例如某一线下推广艺术机构，有一大批付钱vip会员将要期满。这个组织 想要知道，假如给这种快期满vip会员赠予一份精致的礼物，是否会提升她们的续利率。因此她们干了A/B测试，一部分快期满vip会员收到了礼物，而另一部分沒有。数据显示，这两伙vip会员的续利率类似，送礼物没起什么作用。

那麼，是否索性就把礼物费省了呢？幸亏，科学研究工作人员沒有到这里。她们通过进一步的数据统计分析，发觉尽管总的续利率类似，但礼物对分类群体的实际效果是不一样的。

最显著的是两大类顾客：这些最近半年来加入过主题活动的vip会员，接到礼物后的续利率显著提高了；而这些很长期也没有来过的vip会员，接到礼物后的续利率反倒减少了。这很有可能是由于礼物提示了她们，自身去的頻率有多低，会费是多么的划不来。这俩种效用互相相抵，这才造成了A/B测试的結果看起来类似。

再举个相近的事例：2013年，民宿客栈大佬爱彼迎对它的检索页开展更新设计方案，把百度搜索从原先的小图片表明变成了高清大图表明，而且突显了楼盘部位。她们资金投入了很多資源来做此次重做，大家都预估新版本会进一步提高转化率。可是，A/B测试的结论令人大跌眼镜，新版本转化率不仅没提高，反倒降了0.27%，相当于失效。

测试工作人员推断，和前边的事例一样，最新版本很有可能是在一些情景下提升了转化率，而在一些情景之中减少了转化率，以致于最后結果互相相抵。但难题是，她们不清楚究竟是什么细分化状况。并不是活跃性客户和非活跃性客户，也不是新用户和老客户。

最终才发觉，难题出在电脑浏览器上。在Chrome和Firefox浏览器上，最新版本都明显增强了转化率，而在IE电脑浏览器上，最新版本却显著降低了转化率，由于新版本的编码有bug，和IE兼容问题。在修补难题以后，最新版本在IE电脑浏览器上的转化率也迅速提高了。

上边这两个事例说的是，如果你拥有了一个全局变量的A/B测试，你得进一步去细分化情景；相反，假如你仅仅在某一实际情景下做的A/B测试，那麼就不必轻率把这个结果营销推广到全局性。

举个医药学上的事例。上年11月份，有一个医药学消化内科行业的国际性顶级期刊《Annals of Internal Medicine》发布了一篇毕业论文，言之凿凿地强调，根据在荷兰进行的一个严苛的随机对照试验，佩戴口罩针对安全防护新冠病毒不起作用。

这一试验是什么原因呢？科学研究工作人员分享了6000名青年志愿者，任意分为2组，一组在出门时维持社交距离并佩戴口罩；另一组出门时只维持社交距离但不佩戴口罩。2组青年志愿者都必须 每日在户外运动3个钟头，并不断一个月。数据显示，不佩戴口罩组的患病率为2.1%，而佩戴口罩组的患病率为1.8%。毕业论文觉得，尽管佩戴口罩组的患病率低一点点，可是差别不明显，不具备应用统计学上的实际意义，因此下结论：佩戴口罩沒有预防功效。

怎么理解这一结果呢？我看到，有很多人从不一样方面明确提出了强有力的怀疑，例如感柒测试标准，样本数尺寸这些。但是，最重要的是前边说的那一个情景。此项试验，是在上年四五月期内做的，那个时候，荷兰的新冠病毒患病率还很低，并且荷兰是欧洲国家，人口数量流动量也低。因此，这一试验数据压根就不可以体现出，在新冠肺炎疫情爆发期内，在太平洋沿岸地域，佩戴口罩能充分发挥的功效。这就是把部分情景的A/B测试結果轻率推倒全局性的经典案例。

总而言之，A/B测试不容易撒谎，但A/B测试很有可能会被曲解。