1个案例读懂游戏产品如何用AB测试做增长

　　更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群
　　随着国内游戏用户数量趋于饱和，中国游戏产业也从高速成长期逐渐转型，市场成熟度提升，竞争趋于精细化。
　　随着游戏出海以及私域流量运营的挑战，游戏企业对数据分析的使用需求和依赖度进一步提高。而在游戏研发立项、验证、开发、测试、上线和运营等阶段AB测试均能发挥重要作用。
　　本文讲述一个通过AB测试获得数据驱动增长能力的游戏产品故事。并介绍在游戏的研发推广的全流程中，AB测试都能应用于哪些场景。
　　快速试错，AB测试打磨爆款游戏
　　游戏行业发展至今，先后经历了主机游戏时代、网页游戏时代、移动游戏时代等多个阶段，如今移动游戏收入占国内游戏收入的7成以上，许多传统游戏公司正面临着转型压力。而随着游戏技术的日趋成熟，大批新兴公司涌入该行业，进一步加剧了竞争压力。
　　游戏研发流程大致分为立项、验证、开发、测试、上线准备和运营六个阶段，每个阶段往往都伴随着许多修改。
　　修改的效果如何？对于核心指标是否会有负面的影响？传统的思路，是将新特性上线后验证效果，但这也往往存在上线周期长，过分依赖经验，影响面广等问题。
　　AB测试能够完美地解决上述痛点。它通过在线上流量中取出一小部分，完全随机地分给原策略A（对照组）和新策略B（实验组），再结合科学的统计方法，得到对于两种策略相对效果的准确估计。
　　AB测试使用线上小流量即可验证效果，并能够有效地衡量不同策略的收益。
　　全民弹弹弹的AB测试故事
　　在发行时曾荣获年度最佳休闲游戏大奖的《全民弹弹弹》，是超休闲游戏类的爆款产品代表。它是一款操作简单、极易上手的球跳塔类休闲游戏，玩家既可以让弹球一层一层地击穿彩色砖块，享受纯粹的弹射快感，也可以解锁更多未知的球球，体验合成的养成乐趣。
　　在这款游戏研发和推广过程中，借鉴了字节跳动的增长经验，接入了字节自研出品的AB测试产品火山引擎DataTester，对游戏的多个环节进行了AB测试。
　　在《全民弹弹弹》的游戏运营环节，为验证游戏首页对玩家留存和广告数据的影响，设计了两款首页方案通过AB测试进行玩家留存数据的对比：跳塔页（左图）、合成页面（右图）。
　　经过在DataTester中运行2周的实验测试，结果显示，首页为合成页（右图）的页面在用户3日留存、用户7日留存以及广告效果等核心指标中，均明显优于对照组跳塔页（左图）的方案。
　　在AB测试的数据结果支撑下，《全民弹弹弹》最终全量上线了合成页面的方案，并取得了优异的效果。
　　一款游戏从研发到打磨，再到上线后的不断调优，全链路均可通过AB测试提升效率和决策准确度。除上述场景外，DataTester还能在游戏产品中，应用于以下场景：
　　1。验证新手引导改动，新手任务难度调整，初始资源调整等
　　2。验证关卡难度、装备爆率、宝箱中奖率调整等影响游戏体验的的改动
　　3。验证商城界面，积分系统，公告栏、banner、按钮、图标等功能性区域的改动
　　4。验证匹配系统、好友系统、聊天系统等社交性功能改动
　　5。验证游戏IP、NPC、游戏场景、剧情的改动
　　实验分层，可无限拓展实验流量
　　在游戏内测阶段，常常会遇到需要多个AB测试并行的场景：
　　小A要验证新的武器系统，需要50的流量验证；小B修改商城界面，也需要50的流量；小C对新手任务进行了完善，同样需要50的流量验证。此时同时进行3个实验，需要150的流量。
　　线上流量不够用，只能对实验进行优先级排序，让几个实验先后进行，但这会导致效率低下。
　　火山引擎AB测试DataTester流量分层技术，将总体流量复制无数遍，形成无数个流量层。流量层两两之间相互正交，再加之运行在相同层的实验流量互斥，从而保证同时运行多个实验不会互相干扰。
　　实验分层技术可以有效的解决线上流量不足的情况，尤其是在游戏内测阶段，这个阶段往往获取用户难度较大。需要通过发布内测任务，小规模买量等方式获得游戏玩家，流量获取成本高。
　　而这个阶段既需要验证游戏的性能、兼容性，又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。
　　如果内测时间过长，不仅需要持续的买量投入，也会导致游戏上线节奏被拖慢，甚至可能错过市场热点。通过DataTester实验流量分层技术，打破流量限制，大大缩短游戏验证时间，快速上线迭代。
　　3大实验场景，提高游戏推广效率
　　除了传统的客户端、服务端AB测试以外，火山引擎DataTester还设有3大针对特殊场景的AB测试能力，可以大幅提升游戏在广告投放、信息推送等场景下的效率。推送实验：通过对推送通知的标题、内容、点击动作等进行测试，找出效果最优的方案。
　　DataTester支持多种推送通道、设备类型；可应用于游戏的拉新、召回以及活动推广等场景，及时响应效果，避免负面影响。
　　广告实验：提升广告投放ROI，可对比不同的实验文案、不同的投放渠道的广告投放效果。
　　DataTester可以通过转化增效度量的方式来控制自然转化对实验效果的影响，保证广告实验的科学性和严谨性。
　　可视化实验：DataTester可以达成所见即所得的AB测试配置，新手小白也能直接上手使用。
　　通过所见即所得的在线编辑，降低在WebH5页面优化的场景下，产品方和运营方使用AB测试工具的成本。可用于游戏活动的推广页面，抽奖页面的效果对比，无需编程即可快速上线。
　　上述能力均来自于字节跳动在多年业务打磨中，完成过150万余次AB测试的经验积累，因此产品在实用性和易用性方面能力极强。
　　出海游戏，DataTester保驾护航
　　如今全球化运营已经成为新的趋势，海外游戏营收相较于国内有着更高的增长性。国内自研游戏纷纷出海，快速抢占重点地区份额。与此同时也带来了差异化运营、全球化发布、信息安全等全新的挑战。地区差异化运营
　　由于各国文化、宗教信仰、潮流趋势的差异，相同的游戏活动和修改，在海外不同的地区往往取得的收益各不相同。对于公司来说，海外不同地区的差异化运营，往往需要积累各地的运营经验，成本通常较高。
　　盲目的推行，又容易导致一些负面的影响。DataTester的AB测试支持圈选不同地区的游戏用户，可以针对不同地区的用户开展针对性的测试，能够快速的比较实验结果，确定该地区的最优方案。全球化发布
　　全球化发布也是公司在出海过程中所不得不面临的挑战。全球化发布意味着运维成本的提高，同时多版本的管理也增加了发行的复杂性。
　　DataTester运行中的AB实验，支持直接转换为特性进行发布。同时支持渐进式发布、定时发布，以及回滚操作等。通过使用特性发布功能，使发布流程更加简洁，减少发布风险。
　　产品介绍
　　DataTester是火山引擎数智平台旗下产品，经过抖音、今日头条等字节业务多年验证，累计开设过150万次AB测试，可基于先进的底层算法，提供科学分流能力和智能的统计引擎，支持多种复杂的AB测试类型。
　　在应用和分析场景上，DataTester深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代，策略优化，运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。
　　目前，DataTester已在外部多家企业上线应用，将成熟的数据驱动增长经验赋能给游戏、汽车、大消费、金融等多个领域。
　　AB测试火山引擎