优秀产品经理如何精准发现问题（下）：效果回归与阶段性调研

　　产品经理的核心只有一个，那就是发现和解决问题。我们往往更加关注解决问题的方式方法，而忽略了发现问题的能力。
　　一、效果回归与阶段性调研概论
　　1。效果回归与阶段性调研对产品生命周期的意义
　　判断和决定产品循环是否终止
　　确定产品接下来的计划
　　2。对自我成长的意义
　　验证解决方案的可行性
　　修正和巩固自身的方法论
　　3。概念：阶段性调研是针对产品现状进行的系统性分析
　　此时的分析结论最能代表产品问题全貌，可以有效指导下阶段的产品计划
　　二、阶段性调研的时间节点（在什么时间会进行系统性的阶段性调研）
　　接触新产品：接手一个新的产品或者产品方向时，对产品进行深入的了解
　　周期性回顾：每个月季度半年进行定期的周期性回顾
　　不定期（突发性）回顾：领导、政策上的调整需要
　　三、阶段性调研通用方法论（普适，也适用于人生）
　　定义理想态拆解未达理想态的短板提出解决方案验证是否解决。
　　阶段性调研更关注前两个环节：
　　step1：找到理想态，定义理想态并以数字化的指标或其他标准来衡量。
　　这是一个非常严谨的定义过程，需要PM明确的知道自己产品的目标是什么，是各个部门共同努力的方向。
　　step2：抽样分析，将所以不到理想态的case抽样分析，通过分析明确各case未到理想态的原因。
　　step3：优先级判断，将所有问题进行汇总，根据影响面、问题严重程度、解决问题所需成本进行优先级排序，作为接下来的项目计划。
　　1。找到理想态详解
　　（1）如何找到理想态
　　任何一个产品都用来解决用户的问题满足用户的需求，所以产品的理想态可以统一的理解为：给出的方案确确实实解决了用户的问题，比如用百度查到了自己需要的信息，用滴滴到达了目的地，用头条找到了自己感兴趣的内容并消费了时间。
　　接下来要找到能衡量理想态的数字化指标或者明确的标准：
　　A。滴滴：容易理解，使用订单成交率可以衡量用户是否到达目的地
　　B。墨迹天气：使用天气准确率可以衡量用户是否获取了正确的天气
　　以上为刚需类、工具类产品中的策略模块，通常可以以“解决了用户的问题”作为理想态，并找到一个标志性的数据指标来衡量是否到达理想态。
　　C。百度的搜索满意程度
　　点击率：高点击率不能说明满意，低点击率也不能说明不满意（搜索时间）。搜索结果是平台对满足大多数用户的你内容猜测，并不一定适用于每一个用户，比如在饿了么搜索麦当劳，展示所有麦当劳店铺即可，而在搜索引擎显然不能这么简单。
　　头条：不能确定停留时间为多长则表示用户对产品满意。
　　搜索：对这种产品的理想态描述较为复杂，并不明晰，更别说使用单一指标了。需要pm基于对用户的理解、参照竞品，比如搜索完肯德基创始人再搜麦当劳，那他很可能想搜麦当劳创始人。
　　通常这种复杂的产品，会以平台当前能够给出的最佳产品方案（PM以为最合理的状态）作为理想态，而不一定能够100满足所有人的所有需求。
　　推荐：平台是在有根据的猜测有用的非岗需求，永远不会清楚的知道最标准的答案时什么，所以同样以当前能够给出的最佳产品方案作为理想态。再用策略推荐出的结果在所有推荐候选中是否为最佳结果、用户行为指标作为发现问题的辅助手段。
　　注意：所有的理想态都是为阶段性产品目标服务而服务的，随着产品的发展，理想态的定义也在进化甚至质变，比如从马车到汽车的道理。
　　再比如滴滴：
　　刚开始做出租车，以司机的应答率作为核心指标，不太关心司机应答后的流程；后来做快车专车，有了更完整的使用环节，覆盖更完整的出行流程，这时以订单的成交率作为指标，监控用户从叫车到目的地的完整闭环；接下来可能会往快速到达方向进步等。
　　再比如百度：
　　刚开始，致力于用户所搜索的每个关键词都能有对应的结果；有了用户行为的反馈之后，变会对一个用户进行用户画像，从而满足每一个人的每个搜索，致力于提高每次搜索的满意度。
　　2。抽样分析
　　正因为成本问题，时间成本、运算能力分析，使我们无法完全了解每个用户，所以采用抽样分析。样本通常被称为case。
　　（1）抽样步骤：确定调研目标确定抽样对象选择抽样方法确定抽样数量样本分析标注整理汇总问题
　　调研目标决定了抽样对象和抽样方法，根据目标确定抽样对象的维度（用户、订单等），抽样方法有随机、等分等。
　　首先要明确调研的目标，帮助确定抽样的对象的方式！！！
　　案例：分析“相关视频”推荐策略的问题抽取推荐视频列表，看内容和排序是否合理
　　分析以上模块红广告视频推荐策略，如果抽取当前展现出来的广告视频进行抽样分析，则会出现问题：只能分析出当前展示的广告的准确率，而不能分析出广告的覆盖程度，是否有其他适合展示的广告的视频下方未进行展示。而相关视频则没有覆盖率的问题。
　　所以要确定正确的抽样对象，同时满足准确率和覆盖率（召回），以上案例应该在有广告展示的地方调研准确率，没有广告的地方调研覆盖率。
　　（2）确定抽样对象：通过一定规则筛选出的待分析的全量集合
　　不考虑成本肯定是全量调研，但是成本有限就需要抽样。
　　筛选规则：
　　未达到核心指标（一定规则，比如只需筛选当前版本的用户而不需要筛选上一版本的用户，或者可以代表一个用户生命周期的用户，比如有循环效应的产品，用户每天的行为没什么差异，则选取一天的即可。有明显时间效应的，周末和平时不一样，则需要对一整周进行抽样）
　　样本类型：用户个体、行为片段（用户的行为动作session，翻页、点赞、浏览等，代表一个用户带着场景和需求在自家产品上的完整流程）、搜索词（query，抽样搜索词调研满足情况）、订单（订单的完成情况、订单后的推荐等）
　　案例：滴滴订单成交问题
　　取样：全国一周内（明天的周末效应，取一周为一个周期）内所有未成交（未成交、差评重点关注）的订单中抽样。
　　案例：美团搜索问题
　　取样：因为无法直接通过数字性指标精准筛选，所有只能从一天的全量用户session中抽样，然后人为进行进一步筛选
　　（3）选择抽样方式：常用的抽样方法是随机抽样
　　随机抽样：从N个单位中任意抽取n个，每个样本被抽中的概率相等，适用于大多数场景。随机抽样也有很多细分方法，不再赘述。
　　选择抽样数量：统计学角度，样本数越大越好。
　　统计角度，样本数量越高越好，结果的准确率就会越好，但是调研成本也会越高，所以调研成本是精度和成本的balance，有统计意义即可。
　　经验值：一般问题：尽量使代表某个问题的样本数量5，或者影响面3即可。
　　样本标注分析：对抽样的case进行过逐一分析
　　人工对每个case进行分析，太过于细节，不再赘述
　　整理汇总问题：按照合理的逻辑框架进行整理汇总，普适
　　上下层级：总分关系
　　同层级之间：相互排斥不重叠，不遗漏
　　3。优先级判断
　　单位成本下的收益从大到小即优先级从高到底。
　　单位成本下的收益：ROL项目收益项目成本
　　当ROL相同时取绝对20天内收益绝对值更大的那个，同时兼顾影响面、恶劣程度、国家政策等（也就是较为常见的四象限判断法）
　　计算方式：
　　项目收益：待解决问题影响面（调研结果直接得到，百分比）解决后体验提升程度（现阶段与理想态的差距）预期解决比例（由开发给出，解决之后可以解决到什么程度）
　　项目成本：一般指研发成本和硬件等成本
　　优先级判断很重要：直接决定后续的产品计划
　　至此，阶段性调研的方法论已全部完成。