在已经成熟的手游买量业务中，如何证明新制作的优惠券功能是有效的是核心问题；作为产品经理，说明清楚优惠券有效性不仅可以体现自身价值对现有买量业务的加持，还能够更进一步争取技术资源支持。

在上一篇文章中初步梳理了评估效果的思路，在具体的实操中遇到了不少问题。

一、第一次ab测试过程

1. 测试目的

基于买量做AB包测试首登送券，验证在相同买量条件下，有优惠券的包和无优惠券的包新用户付费率、新用户付费arpu值的对比。

活动后台首登送券规则的测试运行。

2. 功能准备

实现了优惠券活动——新注册帐号自动发放优惠券的功能。

3. 测试时间

活动时间：3天。

4. 活动形式

活动期间内，用户在【活动游戏包】内注册新帐号，可领取到系统自动推送的5张优惠券。

5. 优惠券设置

满减面额：【满6减2】、【满30减5】、【满68减10】、【满128减20】、【满328减50】（总计付费560+，成本87，整套约85折）。

优惠券张数：各档位预备3k张（用户量级预计2k）。

有效期：领取后2天到期。

6. 数据回收

1）包维度—对比整体付费效果的提升：

（AB包）总流水、付费率、新人付费率、新人付费流水、活跃arpu值、留存率【后台可查】。

2）用户维度—用于计算用户LTV：

用券用户的注册时间、使用优惠券时间【技术获取】。

3）优惠券维度—统计优惠券使用效果/付费金额：

换名包新增用户数、领取优惠券人数、领取使用人数、成功下单占比、满减总金额、ROI与测试包ROI、未使用过期券占比、用券净消费金额【后台可查/计算】。

7. 注意事项

为避免AB包买量因素不同的影响，应尽可能控制相同资源位、同等素材、同等量级，减少无关因素的干扰【市场】。

市场导量需要控量，避免超过优惠券张数【市场】。

游戏内尽量避免运营活动开展情况的不同而对用户的付费影响【运营】。

二、第一次ab测试结论

1. 优惠券效果

广点通：优惠券包的新用户付费率比对比包高，略微提升，新用户付费arpu值波动较大；

头条：优惠券包的新用户付费率整体比对比包低，新用户付费arpu值优惠券包也偏低；

2. 失败原因分析

简单来说，市场买量的波动性污染了实验组和对照组的数据。

本次测试市场导量策略有调整，来量节奏存在一定不稳定性，用户质量参差不齐，广点通用户质量明显优于头条。

实验组导量太少，且和对照组量级差距太大，发放优惠券的实验组仅为不发的对照组的量级的1/3，进而导致数据波动较大。

最低一档的【满6减2】优惠券在折扣力度上不足以让非R玩家转化（尤其是本次头条导入的用户付费质量明显偏低，能够转化为付费玩家的基数也相对小了）

三、事后的思考

增长的第一炮往往是最重要的，第一炮打响了团队对业务的信心会提升，资源也更容易争取；但现实并不如人所愿，第一次ab测试几乎以失败结束，由于市场买量的波动性，并不能得出发放优惠券能够提升运营数据的结论。

在一次无意的资料搜索中，找到了其他行业的案例分析，在和伙伴讨论后茅塞顿开，行业虽然不同，但遇到的问题及解题思路都是互通的。

这段文字翻译成游戏行业的术语是：

目的：量化优惠券使用户额外消费的金额。

需要的数据：

优惠券发放人数

优惠券有效期内用户arpu值（发优惠券arpu值）

无优惠券时用户付费率

无优惠券时用户arpu值（正常arpu值）

相关指标：

正常付费人数=优惠券发放人数*无优惠券时付费率

提升付费人数=优惠券发放人数*（有优惠券付费率-无优惠券付费率）

正常流水=正常付费人数*正常arpu值

有优惠券流水=提升付费人数*发优惠券arpu值+正常付费人数*发优惠券arpu值

最终得到：

流水提升=有优惠券流水-正常流水。

注：

提升付费人数*发优惠券arpu值：是本来不会下单的用户产生的流水

正常付费人数*发优惠券arpu值：是本来会下单的用户产生的流水

具体实操上，我只需要找一个市场买量投放稳定的包，对比其发优惠券前后的数据，将发券前的数据作为正常值，套用上方公式即可得出结论。

四、最后的思考

蓦然回首，我发现上面的方法在我第一篇文章中已经提出了，但我还并没有实操基于时间的横向对比；当时不做的原因是游戏受到时间波动影响很大，且具体对流水提升的技术方式没有想透彻。

知易行难，共勉。