股票交易系统评估模型

　　本文将以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。enjoy
　　做产品的人，通常要问自己这些问题：
　　“我们这款现在口碑如何？”
　　“这个功能，用户使用起来满意度怎么样？”
　　“这一次更新，体验有提升吗”
　　“和竞品A比，我们有优缺点是什么”
　　所谓“知己知彼”，我们通常更轻易“知彼”（了解竞品），因为有市场的检验、用户的口碑，还有自己切身操作体验。然而对于“知己”，则不那么确定了，一来因为主观的“先入为主、身在其中”常常让我们盲目，二来是我们常常没有一个可靠的评估系统。
　　评估、反馈对于产品的进化非常重要。但我们平常往往是这样做的：
　　“这次改版之后，用户说了什么？有不好的声音吗？”
　　“用户又降了，这版做的不够好吗？”
　　“看下用户对这次优化的总体评分怎样？”
　　以上信息，本质上的都是反馈，但是信息杂乱、模糊，我们无法从中得到对于产品各个侧面用户精确的满意度。
　　我们需要一个稳定、全面、客观的评估工具。
　　稳定：采用统一指标、统一度量，能够重复测量使用；
　　全面：所设指标包含用户和这个功能（系统）接触的所有信息面，无遗漏；
　　客观：要求测量指标全面、严谨，对于不同样本施测能得到稳定一致的结果。
　　以下，我们以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。
　　STEP1指标收集
　　交易系统的指标包括那些内容？速度流畅、还是内容丰富？这些都是未知。这第一步非常重要，因为这是所有工作的基石。所以需要尽可能全面收集信息，绝不能出现显而易见的遗漏。我们的指标内容收集主要来自：
　　9名内部专家用户访谈
　　用户问卷信息收集（343人次）
　　客户端后台反馈
　　用研已有研究积淀和舆情积淀
　　访谈时候需要设立一个可以主题，让受访者可以围绕这个主题充分表达出交易系统所包含的内容。
　　我们的访谈主题是：
　　目前同花顺的交易（含PC和手机），您认为优缺点各是什么呢？
　　您觉得交易这个模块，未来的规划和发展方向应该是什么？
　　STEP2指标拆分
　　针对以上两个主题，专家和用户同一角度给出建议（诉求），所得内容，需要做语义拆分。语义拆分是一个集合经验和直觉的过程，当然也有一些方法论可以借鉴，但最重要的还是要做数据的人要熟悉产品和项目，最后出来的结果再反馈给专家把关，基本上都能正确。
　　根据内容我们将交易系统的评价维度归纳为以下几个大类：
　　性能问题
　　可用性问题
　　功能问题
　　内容方面
　　图示：部分关键信息归纳（仅示部分）
　　同时，根据内容再细分指标。在一级指标下再分二级指标（15个）：
　　STEP3指标定义
　　对二级指标赋予明确定义。这一步既是对各个细分指标的解释说明，也是为了后一步的指标测量做准备。
　　STEP4指标测量
　　根据上一步明确的指标定义，直接对目标用户实测。15个二级指标都需要真实用户评分，化为15道实测题目，用户在充分理解指标含义之后，作出评分。
　　题目的格式参考如下：
　　如：“安全：交易的安全，是指交易和资金安全有保障。您觉得同花顺手机交易做得如何？”（评分：0100，非常不满意非常满意）
　　通过线上问卷形式实测，回收1434个数据。
　　STEP5指标统计
　　清理掉失真的数据，得可用数据904个（这里主要是删掉作答时间少于最低测试时间的数据）。主要分析方法：因子分析（二级指标一级指标；一级指标总体满意度）
　　注意：因为因子分析原理是靠提取少量分子来描述多个原始变量，而我们此处无需削少因子数目，所以在Extract环节提取因子数目应和原始变量数目相同，比如“功能”下面有5个二级指标，提取因子数应是“5”。
　　各个指标对上一级的权重（贡献力）计算如下：
　　STEP6评估模型
　　经过上述计算，我们可得初步评估模型如下图：
　　从这个系数图谱，我我们可以清晰看到，对交易总体满意度敏感的因素是“功能”，而对“功能”指标影响大是“创新性”和“区分度”。从整理来说，速度、流畅、以及内容方面，的确是目前我们交易系统的短板，也从数据上得到了体现。总结起来，评估模型能直观告诉设计者2个问题：
　　目前的系统优缺点是？（知道优缺点，能够在产品方向上有的放矢）
　　影响用户满意度最重要的因素是？（根据权重找出改进的优先点，才能抢占用户口碑）
　　当然，这只是第一次评估，所有的评估都要有对比才有意义。评估模型还需要继续进行23轮的迭代验证，并跟随未来交易系统的功能调整而逐渐调整，它不是一个静态的工具。