关于ABTest的外传

　　AB测试的作用大家都知道，就不多说了，在这里写写我在平时工作中应用心得。
　　在我的业务线平时应用AB的场景：A大多是已经在线的一个产品，而B是一个我们将要上线的另一版本的产品（有可能是改进也有可能是推倒重来的），因为直接通过B去替换A可能用户一下子接收不了，所以我们会切部分用户出来用B版本，上线一段时间后，收集用户的反馈，再去调整，逐步去替换使用A的用户，这样做能让用户更平滑的接收。别小看这个过程，其实有很多策略可讲究了。说说我的真实经历。
　　之前做【AE卖家后台首页改版】的时候有两种方案做AB测试，第一种：直接切20的流量体验新版后台（根据帐号数随机切20的用户登录就跳转到新版），不提供【返回旧版】入口，另一种切50的流量让用户体验新版后台，但是要提供【返回旧版】的入口。
　　第一种方案相对比较保守或者说慎重，因为用户不能回到原来熟悉的页面中去使用，特别是在后台（执行任务为主）一旦用户有比较紧急和重要的任务要做（比如编辑产品、发货、回复询盘），会非常影响他的效率，从而直接带来一些不理性的反馈。好处：如果产品的改版是方向性的（就是商业决策上一定要这样去改了），那通过这种方案一步步切流量，整个过程还需要和用户沟通解释，就能有个较平滑的过渡，比如网站首页的改版、SKU项目。
　　第二种方案就比较开放，因为用户有【返回旧版】的入口，用的不爽可以回去，而且被测试的用户基数较大，这样得到的反馈相对来说更有定量的价值，容易发现同类度比较多的问题，相对来说反馈内容也比较理性充实，我在群里、网上、上门跟用户聊的时候他们大多都说出对于不爽的很多细节。
　　当然这两种方案都基于一个很重要的前提，改版前做好功课：解决的问题和用户期望匹配度要高，准，而且第二种尤其。写到这里大家应该能看出我最终选择了哪种方案做了【AE卖家后台首页改版】。
　　对了，第二种方案还能给我们一个很重要的结果指标，就是用户在AB版本的存留人数，再来看个当时【AE卖家后台首页改版】review数据图。
　　此次使用ABtest的进行测试，新旧版各50的用户，在新旧版头部布有切换按钮，用户在下次登录ME时会自动进入上次退出地的ME版本中。
　　总的来说新版上线后，用户随着一个时间段的体验和适应，新旧版的的存留上是五五开。
　　新版由于链接数上有所简化，所以PV对比上会略低，而新版Session在近一周有所超越旧版的迹象。
　　通过存留比能很好的反映用户最终的接受度，同时也是作为判断产品是达到足够替换旧版的一个重要指标之一。
　　这里再提一下对于改版类的AB测试还有一大利器就是热点分布图，基本能很直观的表现出用户的焦点功能能否在一屏内看到，操作到，尽量少的需要滚动。
　　当然每个产品情况不同不一定是看类似的指标数据，但在做AB前梳理清楚上线后通过哪些数据来衡量是非常重要的，衡量哪些指标，我们UED也最好能主动和PD一起去讨论，毕竟有些指标数据能指导、影响我们的方案和看问题视角。
　　当然AB测试还有很多种用法和分步实施方案，测试出的结果也会有很多有意思的解读，项目做的多了，思考的多，遇到的问题多了，都能感受的到，以上只是举了个简单的例子。
　　AB测试和PD