01. 体验度量是什么?
简单来说,用户体验度量是通过一套测量体系量化用户体验的过程。
尽管体验很难被科学客观地分析,但将度量这种手段运用于体验的管理是非常有必要的。引用管理学大师彼得•德鲁克的一句话:If you can’t measure it, you can’t improve it(如果你无法度量它,你就无法改进它)。我们相信更好地衡量体验设计的价值,可以帮助我们更好地实现产品价值、用户价值、商业价值,甚至是社会价值。
02. 为什么要做体验度量?
下面我们再来分析一下做好体验度量能帮我们解决哪些难题,首先从我们遇到的几个问题出发。
概念过于抽象主观:设计师们提出的体验优化方案被认为过于主观,难以得到直接证据支持,各部门很难达成共识,方案难以推进落地。怎么办?
影响因素复杂多元:现有的NPS满意度调研反映了每个季度的商家整体满意度,但是团队面对NPS结果无法直接定位问题,难以进行有效的诊断和提升。怎么办?
问题难以闭环管理:现有的VoB系统能够收集到一定数量的商家反馈问题,但是这些零散的应急需求很难被高效地纳入体验优化项目。怎么办?
相信大家或多或少遇到过类似的问题,虽然大家有着“以用户为中心”提升“用户满意度”的共同目标,但在过程中具体该怎么做,仍然是抽象模糊的。体验度量恰恰是解决这些问题的关键策略,我们希望通过体验度量帮助京麦达成以下目标做出更好的设计,创造更大的价值。
目标一:让商家体验从“抽象”到“具象”,从“玄学”到“科学”,定义一套被各部门认可的衡量标准;
目标二:与商家建立更加直接的联系,从商家角度直接洞察需求,更有针对性地定位优化问题;
目标三:更好地实现体验设计价值及体验设计体系化,与各部门建立合作关系,长期监测跟进优化。
03. 怎么做体验度量?
体验度量一般可以分为五个步骤:拆指标、采数据、做诊断、再优化、续监测。
在京麦一期度量中,我们主要完成了前三个步骤,后期我们会尝试推进后两个步骤,同时也将继续完善现有的度量模型和调研方式。
—— 1. 拆指标 ——
首先我们要明确这个产品的用户体验由哪几部分构成,就比如评价一个人的英语水平如何,我们可以从听、说、读、写这四方面进行评价。
通过比对分析业界相对成熟的指标模型,我们发现各个模型有不同的切入点,比如PULSE模型以网页产品商业化为导向,HEART模型以用户为核心,PTECH模型更适合企业级产品,UES模型更适合技术产品等。涵盖的维度多种多样,有的维度是产品相关指标,比如留存率、日活用户数、转化率,有的维度是用户侧反馈,如NPS净推荐值、满意度。
深入分析这些维度,我们发现几乎所有指标都可以被分为系统表现、用户行为、用户感受这三类。
有了前面提到的三大目标和参考指标,我们开始分析京麦移动端的现有情况。
由于京麦在现在这个阶段已经有了相对稳定的产品形态,市场上也有了同类型的产品。因此,我们首先把完整性作为反映产品系统表现的重要维度,也就是商家需要的、别人家都有的,京麦“有没有”?
第二项维度是参与度,店长是否会通过移动端来经营管理店铺呢?客服是否会通过移动端来答复客户呢?也就是各类角色“用不用”。
而作为一款B端产品,它的使用效率和易用性是至关重要的,我们要关注用户的行为,也就是商家们是否能“又快又好地使用”。
最后一项指标是满意度,它代表了用户的主观整体感受,这也是所有指标中涵盖面最广的一项。总的来说,商家们是否认为这个产品“令人满意”?
TIPS:体验度量具有非常强的业务属性,不同的业务类型、业务阶段、业务规模、资源情况都会有与之相配的不同的合适的度量方式,适合自己的指标才是好指标。
—— 2. 采数据 ——
有了度量指标之后,我们需要通过从不同渠道去收集尽量全面的数据。还是拿英语举例,我们该如何去给听、说、读、写这四部分打分呢?可以通过听力、口语、阅读、写作的统一考试打分,可以让老师根据平时上课的表现打分,也可以让同学互相评价打分。
那么度量的数据也可以有多种来源,比如通过用户访谈得到用户主观使用感受(定性数据),通过问卷调研得到满意度或是易用性评分(定量数据),通过后台数据得到用户的行为数据(定量数据)。
基于移动端京麦现在所处的发展阶段阶段,我们重新明确了我们的调研目标:
- 清晰与竞品差距与机会点;
- 关注核心模块的使用体验;
- 了解用户的主观感受。
因此,我们在这个阶段实施了用户访谈、问卷调研和竞品分析三种不同的调研活动,收集了大量的定性数据及定量数据。
竞品功能完整性对比分析
调研目的
通过分析对比现在行业内同类产品的功能,计算京麦功能的完整性得分。以千牛、拼多多、京麦三个平台六个端为分析对象,测试各一级、二级、三级功能的支持情况。
调研方法
- 确认竞品后,通过使用各家产品的具体功能,拆分一级、二级、三级或更细节的功能,填写完整性分析表;
- 计算完整性得分(京麦具体计算以二级功能为标准,分为六个不同等级,分别对应六个分数)。
TIPS:1. 可以通过与产品同学的沟通,共同完成各级功能模块及相应支持程度的定义;2. 后期可以纳入客观数据指标,结合用户的参与情况、平台满意度计算权重,重新定义重要程度、支持程度;3. 以一个季度为统计周期,及时跟进新上线功能。
线上用户访谈
调研目的
与用户直接对话,较为直接、细致地了解不同角色用户如何使用各功能,以及在使用过程中经常遇到的问题,了解他们的使用习惯和实际需求。获得用户画像、用户使用感受、用户问题反馈等定性数据。
调研方法
- 用户招募:提前1周设计招募问卷,并在QQ商家群投放、回收,筛选目标用户,提前打电话确认访谈意向;
- 前期沟通:添加商家的微信,了解商家的基本信息,预约商家参与时间,并要求商家提前在手机/电脑上安装腾讯会议;
- 访谈大纲:根据具体想要了解的功能模块、用户群体等,撰写访谈大纲,包括开场白、基本信息、具体问题、观察操作提问、延展问题、结束语等;
- 实施访谈:提前预约会议室,打印访谈记录表。需要至少一位主持人、一位观察记录员,访谈时长控制在30-45分钟左右;
- 访谈结果梳理:每场访谈结束,参与者进行快速回顾总结,截取录屏中关键段落,提炼对应的用户行为、态度、问题、需求等信息,逐步建立猜想,并在后续的访谈中进行验证、修改;每轮访谈结束,对共性问题进行分类归纳,梳理电子化在线表格;撰写访谈报告(可能包括用户体验地图、用户画像等);
- 后续跟进:邮寄周边礼物,并建立商家体验群,维护长期合作关系。
TIPS:1. 提前争取更多利益点吸引商家参与;2. 提前明确目标用户类型,与产品侧配合利用线上使用数据定位筛选访谈用户(如使用经验、使用频率、经营类目等);3. 提前与受访者沟通,可以让商家准备反馈问题列表,与商家反复确认时间;4. 确认用户接受上访谈使用的设备及场景,对可能出现的意外情况做预案;5. 访谈后,在企业版微信建立相对稳定的商家关系,以便回访;访谈信息整理需要更多人同时参与,尽量在访谈当天或次日完成转录、问题分类,及时补充假设,在后续访谈中验证/推翻;6. 及时从录屏中截取关键段落、截图,便于举证。
参考资料:【Jelly】B端深度访谈小技巧
线上问卷调研
调研目的
以更大样本量验证访谈结论,同时通过对大量用户的主观打分、行为习惯的分析,得到对产品整体的使用评价,直接获得用户角度满意度、参与度、易用性得分。
调研方法
- 问卷设计:提前1周开始设计问卷,根据前期访谈结果,有针对性地设计各模块、各角色对应问题;
- 问卷投放:针对不同端的问题,分为2个问卷,分别投放;(如果需要长期追踪,建议以季度为单位,以京麦为例,紧跟平台满意度调研投放时间,在1月/4月/7月/10月初分别投放);提前与产品、运营侧进行沟通,确认上线、下线时间,以及所需物料,如文案、icon、banner等;
- 问卷结果梳理:数据清洗、分析;梳理关键信息,制作图表;输出报告结论。
TIPS:1. 尽量咨询用户研究团队专业人员,听取他们对问卷题目设置的建议,留出组内讨论、线上测试时间,进行1-2轮调整;2. 如果需要长期追踪,建议以季度为单位投放问卷,以京麦为例,紧跟平台满意度调研投放时间,在1月/4月/7月/10月初分别投放;3. 提前与产品、运营同学进行沟通,确认上线、下线时间,以及所需物料,如文案、icon、banner图等。
参考资料:【Jelly】问卷数据清洗与分析经验
分析工具:在线分析工具SPSSAU
—— 3. 做诊断 ——
收集了大量数据信息之后,我们需要设定不同维度的权重,并通过一定的规则计算出各指标的最终得分。比如工具类产品,可能更强调用户达成任务的效率,因此易用性和任务效率权重较高,而主观数据的满意度权重则相对更低。
同时每项指标的背后都有一种或多种的数据采集方式,每项指标的数据颗粒度也不同,有的可能只针对一个模块,有的可能涵盖整个使用过程。因此,我们在设定计算规则的时候,要尽可能的全面客观。
最后,将度量体系的各个维度进行加权计算,基于数据表现,可以诊断出产品的提升信号。
完整性 | 功能完整性对比分析(客观)
目前,京麦在整个商家后台行业中已经处在功能相对较为完善的阶段,因此完整性将作为一个重要指标纳入整个体验度量体系中。通过与其他同类产品对比,可以看出各端功能的覆盖完整度,这一维度是完全客观的度量指标。
易用性 | 用户使用难易程度(主观)
易用性是衡量用户在使用产品各功能时感受到的难易程度的标准,是完全主观的度量标准。在比较了各类可用性测试、易用性测试度量体系后,我们选取了表格中的四项维度和对应的七个问题。通过问卷的形式,以李科特五度度量(强烈反对=20分,反对=40分,中立=60分,赞同=80分,强烈赞同=100分)换算获得了易用性的分数。
参与度 | 各角色用户常用功能模块的使用率(主观)
参与度是衡量用户对各功能模块的使用率的主观度量标准。使用京麦的商家可以按照其工作岗位分为店长、运营推广人员、客服人员、财务人员、技术人员等多种类型,通过对各类人群常用功能模块的使用率的加权平均值,计算整体的参与度。
任务效率 | 各角色用户完成特定任务的投入产出比(主观&客观)
任务效率是用户通过使用京麦完成某一特定工作任务(发布新商品、填报活动等)的投入产出比,通常以时间、完成度、出错率等具体业务指标来具体定义。一期我们以100%-用户主观反馈问题的比例来推测计算任务效率。二期计划:与各条业务线沟通,以他们的业务指标来定义更具体的任务效率指标,通过用户行为监控数据来计算客观的任务效率值。
满意度 | 用户对产品整体的使用感受(主观)
使用季度性《平台商家满意度调研报告》统计得分,也可以在问卷中设置相应打分题进行统计。
—— 4. 再改造 ——
通过前面几个步骤的计算得分,产品已经有了较为宏观的改造方向,我们可以再结合前期调研收集的用户反馈问题,重点解析数据表现背后的原因。这个阶段需要引入更细致的专家评估等方法,对各类问题的优先级进行排序。
我们计划结合产品现有的移动化进程,首先提升完整性,然后分批次地针对核心模块优化易用性、任务效率,并通过概念设计及用户测试等方式进行产品优化改造的快速验证。
—— 5. 续检测 ——
后续,我们也希望引入更多用户的行为数据指标,如用户活跃度、用户增长率、功能插件使用率、页面点击率等,从业务指标中获得更全面的数据信息。
同时引入监测工具,对产品重塑后的关键指标进行持续追踪,周期性监测指标的改善情况,让各部门同时参与体验度量的工作,提升优化产品的效率。从体验度量指标的数据采集到数据分析到数据的可视化,再到最后的优化落地,让体验度量的闭环全程可管理。
04. 参考
[1] AaronCui(2020)用户产品:敏捷体验度量思考与实践
[2] 吗啡(2018)TECH 模型:企业级产品体验度量实践
[3] 谈真(2020)“体验度量”的应用价值与落地举措
[4] 御术(2019)科技与人文结合的体验度量
我们在实施京麦商家体验调研,以及计算维度得分的过程中遇到了不少的挑战,目前还有很多不足之处,比如仅以用户主观反馈为主要数据来源。而后期我们计划将纳入更多客观数据,更为细致地定义任务效率,使度量更为全面科学。也欢迎大家多多指正、互相交流!