AB测试中12个常见的误区（上）

　　文章为大家梳理一些运用AB测试时12个常见的误区，本文为上篇，一起看看
　　AB测试是一项很有趣的测试内容，使用者可以通过优质的工具去完成产品中的AB测试。但其实，AB测试并不仅仅是建立一个测试，很多公司在使用AB测试时都存在一定的误区，都在不经意间浪费着时间和金钱且不自知。
　　下面，本文将为大家梳理一些运用AB测试时常见的误区：
　　一、太早停止AB测试
　　如果样本量足够大，统计显著性是版本A优于版本B的最好证据，50的统计显著性代表一种随机的结果。如果你只要求有50的统计显著性，那么你可能要考虑离职了，因为其实这个数字达到75也不能说明什么。
　　任何一个经验丰富的测试人员都有过这样的经历，你通过AB测试去检测你的产品功能，最终将一个置信度达到80的产品推向各大市场，但最终发现，市场却并不买账。于是你想，那下次把数字达到90怎么样？这样就会很好了吧？其实比达到90更重要的是，你要找到其中的真相。
　　真相胜利
　　作为一个专业的职场人士，你的工作就是找出真相。你必须先把自我放在一边，执着于你的假设或设计是人之常情，如果当你的假设没有出现显著的差异性时，这可能会对你造成很严重的打击。真理高于一切，否则一切都失去了意义。
　　这里有一个常见的场景，即使对于经常进行AB测试的公司也是如此，公司进行一个又一个的测试，持续了12个月，好不容易挑选出“获胜者”，然后将它们推出市场。结果一年后发现，他们网站的转化率和刚开始时一样
　　为什么？基本是因为测试停止得太早或样本量太小。这里有一个关于何时停止AB测试解释，简而言之需要满足这三个条件，才能说明测试已经完成：
　　足够的样本大小。实验要有足够的被试参与，你需要为你的AB测试预先估算出足够的样本量。
　　要运行多个销售周期（通常为24周）。如果你只是在几天内就停止测试（或者在达到所需的样本量之后就停止），那么你获得的这个样本结果，并不具有代表性。
　　统计学的显著性至少要达到95（p0。05）。值得注意的是，p值没有办法告诉我们B比A的方案好。
　　这里有一个经典的例子来说明我的观点，下表为开始测试两天后的结果：
　　图1。图片来源于网络
　　我构建的新版本损失惨重，我构建的版本并没有太大的优势，而我的客户也已经开始准备停用这个方案。但是，由于样本量太小（每次变化只有100多次访问），通过我的坚持不懈，这是10天后的结果：
　　图2。图片来源于网络
　　你没看错，我制造的版本现在以95的置信率获胜。
　　有些AB测试结束得过早，这就需要我们仔细检查各种数据。而最糟糕的事情就是，因为不准确的数据，让你损失了大量的时间与金钱。
　　需要多大的样本量？
　　通过上面的介绍，我们都不希望根据较小的样本量得出结论。理想的状态下，一个好的测试版本最好能发生至少350400次转换数据。但是，这个数字不是定值。我们不要被一个号码困住，因为我们手中的是科学，而不是魔术。
　　所以，你一定要提前估算出测试所需要的样本量。那么即使这样做了，但置信度还是低于95怎么办？那么可以从细分领域下手，但你仍需要为每个测试的细节提供足够的样本量。无论如何，你都需要不断修改你的假设并进行新的测试。
　　二、测试的单位不是“周”
　　假设你有一个高流量网站，你在三天内实现了98的置信度，并且每次都发生了至少350次的转换数据。
　　这样能算完成了测试吗？不，我们需要排除周期性因素并测试整整一周。如果你从上周一开始测试，那么这个测试需要在下周一停止。
　　为什么？因为你的转化率可能会因“今天是星期几”而有很大差异。如果你一次不测试整整一周，那么你的结果就会出现偏差。所以，你需要以“周”为单位，在你的网站上运行“每日转化次数”的报告，观察到底能产生多少波动。
　　下面是一个例子：
　　图3。图片来源于网络
　　你看到上表中的内容了吗？
　　星期四的收入比星期六和星期日的总和还多出2倍，星期四的转换率几乎是星期六的2倍。如果我们没有以“周”为单位进行测试，那么结果将是不准确的，所以，必须开始一次运行七天的测试。如果在这七天内没有出现差异显著的结果，则再运行七天。如果14天都没有达到，那么就运行到第21天。
　　多数情况下，你需要至少运行两周的测试（我的个人最低时间是四周，因为两周通常是不准确的），然后，如果你需要延长测试时间，则应用七天规则逐步叠加。
　　注意外部因素
　　如果你在双十一等一些购物季获得了良好的测试结果，那么你一定要在购物季结束后再次进行重复的测试。另外，如果你的公司铺设了一些电视广告或者其他大型活动，都可能会影响你的测试结果。你必须要了解你的公司正在做什么，因为外部因素会影响到你的测试结果。
　　三、没有足够的流量也进行AB测试
　　如果你每月只能完成一次或两次销售，然后进行测试，结果显示B方案比A方案的转化率高15，这样的结果准确吗？
　　当然不。许多人都喜欢用AB测试来验证假设，但流量较小的情况下，即使版本B的效果再好，也可能需要数月才能达到统计显著性。
　　不基于假设就进行测试
　　我喜欢意大利面，但我对意大利面条柔韧度的测试却没多大兴趣，比如将它扔在墙上，看它是否粘住墙壁？
　　这其实是一种随意的测试想法，而测试这种随机想法需要付出巨大代价，它会浪费你宝贵的时间和流量，所以永远不要那样做。你需要有一个假设。假设的提出要根据有限的证据，这个证据可以通过实验去被证明，并且作为一个新的研究起点。
　　如果你在没有明确假设的情况下进行AB测试，然后发现B方案的转化率高了15，可是你从中学到了什么？
　　什么没有。我们需要了解我们的受众，获得合理的假设，这将有助于我们更好地改进贴合实际的测试。
　　四、不利用大数据分析平台
　　测试的平均值往往包含着谎言。如果A方案比B方案的转化率高出10，但也并不能代表全部。你需要将其中的指标再次进行分割测试，去分析其中的各项细分指标。你可以使用一些优质的大数据分析工具，利用各种分析模型，对数据进行细致地分析和处理。
　　图4。图片来源于神策数据
　　五、为了不值得的问题进行测试
　　你测试过用户喜欢什么颜色，对吗？
　　请赶快停止吧。世界上哪里有最好的颜色，因为颜色始终与视觉层次结构有关。当然，你可以在网上找到有人通过测试颜色从而获得收益，但这些结果很多都是显而易见的，所以，不要把时间浪费在这些测试上。
　　余下的6个误区，未完待续，欢迎大家持续关注。
　　
　　原文来源：https：conversionxl。com