AB测试成为企业新窗口数据科学才是未来

　　更多技术交流、求职机会，欢迎关注 字节跳动数据平台微信公众号，回复【1】进入官方交流群
　　如何能够预知一个产品的未来？最好的办法当然是穿越到未来看一看。
　　这种＂模拟未来、窥探底牌＂的设想似乎只是一种天方夜谭。尤其在数字化浪潮冲击下，部分行业增长陷入困局，一些企业甚至面临生存挑战。在产品调整和版本更新的决策上，企业愈发谨慎。
　　有太多案例告诉企业：失败和增长只在一念之间。
　　无论产品还是企业，其命运的终局逃不出一个个小决策的叠加。这也意味着在前行的无数节点上，企业需要持续面对选择焦虑。
　　令人庆幸的是，A/B 测试让企业的＂预知未来＂变成了可能。A/B 测试是指对不同策略进行对比实验，根据结果选择最优方案。通过实验和数据排除主观臆断的误差，确定最优解。
　　在多数人眼中，对 A/B 测试可能略感陌生，但对于字节跳动、谷歌、微软等国内外科技公司， A/B 测试却是不可或缺的工具。以字节跳动为例， A/B 测试已经融入公司的各个环节，和写代码一样，是业务基础的必备一环。抖音和今日头条等产品命名、交互设计、推荐算法等设置，无一不经过了 A/B 测试的检验。
　　A/B 测试这种工具虽然重要，但在国内认知却十分有限。早在几年前，针对企业面临的流量红利消退、用户增长压力大、业务增长等问题，字节跳动就着手搭建了云服务平台火山引擎，将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业，提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务，帮助企业在数字化升级中实现持续增长。
　　值得一提的是，火山引擎推出 DataTester 工具，将 A/B 测试能力开放给更多行业。曾经仅存在于互联网公司内部的秘密武器，如今正在走进更多领域和企业。在实现增长的企业故事里，不乏 A/B 测试的身影。 得到的＂工具论＂：产品改版不用再纠结
　　＂成大事者，不纠结。＂这是得到创始人罗振宇常挂在嘴边的一句话。
　　现实情况却远没这么简单。作为头部知识服务平台，得到将满足用户短时间内获取有效知识的需求为目标，改版针对性强、更新频率高则是平台引以为傲的特点。截止 2022 年 1 月 30 日，得到 APP 累计用户规模就已经突破 1 亿人。如果改版方向错误，不仅会浪费推广投入，更致命的是浪费时间和影响口碑。面对高频率多选项的改版需求，仅仅依靠商业直觉判断是很难不纠结的。
　　得到选择用数智化工具实现不纠结。自从引入火山引擎 A/B 测试 DataTester 工具后，A/B 测试广泛应用在得到的算法调优、转化提升、内容渗透等方面。仅 2022 年第三季度就开启实验超过 20 个，成功率达 80%，直接促成了产品渗透率和转化率的提升。
　　具体到实操层面上，A/B 测试就是在得到产品正式版本发布之前，为同一个目标制定两个（或以上）方案，将一小部分用户流量分成几组，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学地帮助产品进行决策。俗话说得好：＂鞋子合适不合适，只有上脚后才知道。＂
　　以优化首页直播滚动布局为例，改版前屏幕只能露出一个直播模块，老师和标题显示存在感低，影响直播转化。DataTester 将设计布局提升转化作为主要实验目标，设定了两个方案推给同等规模的用户进行实验：
　　从结果来看，B 组转化率高出 A 组 8%。在数据和实验的支持下，得到首页改版顺利落地。
　　在打磨产品展示细节、提升购买转化率上，DataTester 同样有效。在课表页面，实验测试了＂默认收起课程表+点击展开课表＂，以及＂默认全部展示露出课表＂两个选项。在移动产品设计上，收起内容的页面设定颇为流行，但测试数据显示后者表现更好。有实验和数据支撑，突破流行设定改版也就更有底气。
　　通过 DataTester 的数据能力，得到对毕业证书展示页面、搜索展示等进行了多维度优化和改进，知识付费行业最难提升的＂复够率＂都有了显著进步。在用户增长艰难的当下，得到的案例为增长提供了一种新思路。 用 A/B 测试，优化企业获客、转化、留存、复购的每一个环节，以数据为底色的取舍机制和逻辑，正在重塑企业决策。
　　在创投圈，有句话很出名——＂选择比努力重要，与谁同行比要去的远方更重要＂。打开思路，不局限于科技互联网企业，对于任何打磨产品细节，提升关键数据有所追求的企业，选择一款成熟的数字工具，都会让决策变得些许轻松。 悟空租车的 A/B 成效：直接提升 App 盈利
　　A/B 测试不止能在细节调整上给出取舍意见，对于产品流程设计也能提供合理选择。如果流程改版涉及到挑战＂常识＂，决策者就更需要来自数据和实验的信心。
　　改版主动延长用户支付路径，这不是悟空租车的一步＂昏招＂，而是让收入增长 7%的＂神操作＂。A/B 测试提供的数据支撑，让悟空租车敢于剑走偏锋。
　　悟空租车创立于 2014 年，是国内头部预约出行服务平台。截止 2022 年底，平台已覆盖全国 460 余个城市,服务网点超 4.7 万个,可租车型超 6000 款,产品使用用户达高达 2200 多万。用户在使用汽车在线租赁平台流程中，选车付款以外还有一个重要环节——押金缴纳。更重要的是，如用户无法使用信用进行免押金选项，就必须直接缴纳一笔大金额押金。从消费心理层面，大额支付的阴影会直接＂劝退＂不少用车客户，拉低平台成单率。
　　面对支付流程上的痛点，悟空租车决定有所改变。通过 DataTester 进行 A/B 测试，A 组在支付页面上同时支付租金押金，支付流程更短更方便，但总金额更大；B 组先支付租金，再支付押金，流程更长，但支付分割后，单次金额更小。经过两周的对照实验，B 方案比 A 方案上升达 7%，增长明显。最终延长支付流程方案落地，用户反馈良好。
　　支付流程的节奏变更会直接影响到业绩涨落，对于如此棘手的决策，火山引擎 A/B 测试给出的结论足够具有说服力。
　　悟空租车改版实现增长的最大启示在于，数据和实验的说服力远胜经验主义。一个具有挑战性的改变，在组织内部难免遭受质疑，而有了 DataTester 这类数据工具后，内部对于决策的科学性会有更强信心，有利于减小内部阻力，实现方案落地。
　　作为火山引擎 DataTester 的开发者，字节跳动有一句话常被提及——＂遇事不决就 A/B＂。在字节，A/B 实验是一种信仰，实验的目的在于打破经验主义，让企业对于大小决策都能保持平常心，可以举重若轻，将复杂决策化繁为简。 增长困局催生 A/B 测试的春天
　　流量触及天花板、用户增长乏力声音不断的当下，得到和悟空租车等成熟公司的增长案例格外显眼。但这只是 A/B 测试帮助下无数成功案例的一部分，即便企业业务模型迥异，但也同样能够从中获益。
　　在泛互联网行业，A/B 测试正在成为一种无法回避的工具。泛互联网行业产生之初，高增长就相伴而生。但随着流量成本的上升，私域运营的精细，用户喜好的变动，小投入大增长越来越难。随着互联网行业的增长路径变得昂贵而狭窄，A/B 测试这个＂探路神器＂开始崭露头角。
　　流量成本高影响最直接的就是公域获客。弹药有限的前提下，企业必须寻找最优方案，才能保证付费广告投放的投入产出比。其中，涉及到广告素材优化、投放落地页优化时，A/B 测试的优势就十分明显。以火山引擎旗下 DataTester 工具为例，它不仅可以支持客户跨渠道投放及跨渠道的 A/B 测试，还能智能优选出更具潜力的素材和落地页。从落地页创建到广告投放再到实验报告分析，广告主使用 DataTester 能够一站式完成。同时该工具还支持智能流量调优，实时动态地将更多流量分给更优素材，实现效益最大化。
　　跟公域获客不同，私域运营更加垂直精细，强调个性化。多少运营者为了一个标题想到＂头秃＂？
　　DataTester 的出现很大程度上可以消除这种烦恼。当域内用户的触达运营策略需要优化时，DataTester 能够实现多触达渠道的全覆盖，支持智能文案赛马和用户旅程实验。而且使用者还可以使用 DataTester，对推送通道、时机、标题、内容（文案/落地页）、目标受众、提醒方式等进行全方位优化。
　　具体到产品优化，A/B 测试 DataTester 的应用场景则更加丰富。需要对产品的 UI（颜色/字体/布局）、转化路径等进行优化时，企业可以通过 DataTester 可视化编辑器快速生成不同的实验版本进行测试，同时 DataTester 支持实验和 Feature 深度打通，提供示例代码，便于管理实验功能、维护相关代码。
　　彩云天气就是很好例子。该应用上线于 2014 年，截止 2022 年底公司员工仅有 50 人左右，但服务用户却高达数千万。通过人工智能对中央气象台数据进行挖掘，提供分钟级天气预报，决定了公司对数据的敏感和信仰。借助 DataTester 提供的实验工具，彩云天气筛选出天气反馈布局、会员显示等方面更新方案，显著提升了主页分享率和会员转化率。
　　事实证明，数据力量不仅可以服务于成熟企业，也能帮助中小微企业实现增长。数字工具是降本增效的关键已经成为不少企业的共识，增长困局下，A/B 测试春天来了。
　　不管是创业公司小微企业，还是跨国巨头。一个企业的成功，本质上是无数正确小决策的叠加。在过去很长一段时间，企业决策的质量更依赖于管理者的经验和商业直觉。＂早一步做烈士，晚一步做炮灰＂的商业案例不胜枚举。
　　随着数字化的不断演进，数字决策的科学性、可视化和透明化正在取代模糊的尺度把握。当下，工具和数据信仰已经不再是选修课，而是企业的必修课。
　　从远古时代先民烧龟甲占卜开始，人类就试图通过工具辅助决策。从迷信到决策艺术再到决策科学，本质上是工具的进化和技术进化。过往静态机械的用户画像、资源浪费巨大的内部赛马机制等正在被更科学更具性价比的方式所替代。在商业博弈中，能够帮助企业＂先看底牌再出牌＂，A/B 测试的春天还会远吗？ 总 结
　　以洛水伏羲、筮法周易为始，从玄学秘术再到数据工具，自古至今的人们，求索万物运行的规律与答案热情始终没有改变。纵观工业时代、电气时代、信息时代，每一次经济与文明大幅前行，也皆因先进工具的普及。回归到更具象的现实，将高效数据工具开放，帮助中小企业破局，为企业数字化进程尽一份力，也是火山引擎数据驱动增长的初心所在。
　　除去 A/B 测试工具之外，火山引擎还提供全套的数据治理工具。在底层数据建设和上层数据应用层面，火山引擎能大幅降低企业在数据治理和数据应用上的门槛，帮助企业降本增效。
　　在充满不确定性的商业世界中，数据力量无法被低估。越来越多的企业通过火山引擎的数据驱动，找到了关于未来的笃定和安全感。
　　点击跳转 A/B测试-火山引擎 了解更多