本篇將介紹如何有序組織體驗評估，并將詳細講解本次 QMD 升級的要點、難點是如何落地執(zhí)行的。

上期回顧：

我們選用質(zhì)量管理工具 PDCA 來組織體驗評估，做體驗管理。以季度為評估周期，一個季度完成一次 PDCA 循環(huán)后，我們持續(xù)迭代評估體系，從而更好的完成下一個周期的體驗評估。

一、策劃

策劃的主要內(nèi)容就是大家很熟悉的 5W1H 了。

1. 評估目標-Why

如第一篇文章所述，新的體驗評估機制，評估目標從單一的提升體驗質(zhì)量，調(diào)整成契合業(yè)務目標的體驗質(zhì)量。

參與體驗評估，業(yè)務設計師的預期有：

1. 提升產(chǎn)品使用體驗；
2. 提升業(yè)務核心指標。

QMD 項目組需要兼顧參與評估業(yè)務的預期，目標有：

1. 采用可靠的評估機制，度量契合業(yè)務目標的體驗，發(fā)掘影響業(yè)務目標的體驗問題，確保評估結(jié)果可信、可靠并易感知；
2. 確保按照規(guī)劃周期性做體驗評估、同步結(jié)論、跟進優(yōu)化；
3. 驗證各個參評業(yè)務的評估指標、評估機制的可靠性。

2. 相關人員-Who

想要按照以上預期高質(zhì)量的完成體驗評估，離不開組織架構(gòu)的支持。58UXD 設立了由交互設計師和用研工程師組成的體驗管理組。由體驗管理組來組織全部業(yè)務的體驗考核、體驗評估、體驗展示、體驗跟進等一系列橫向體驗管理項目。QMD 作為體驗管理的重要工具，由體驗管理組中的 QMD 項目組來牽頭策劃完成。有同學對 58UXD 其他體驗管理工具感興趣的話，可以在評論區(qū)留言。

明確了組織方及其職責，根據(jù)新的評估機制，還需要每個業(yè)務 6 名評估專家（2 名產(chǎn)品、2 名交互、2 名視覺）。QMD 項目組采取了參評業(yè)務產(chǎn)品、交互、視覺交叉互評的方式，由第二篇文章介紹的評分者信度保障結(jié)果的可靠性。

在新的體驗評估機制下，有很多 QMD 項目組和業(yè)務設計師需要溝通協(xié)作的節(jié)點。為了高效運行評估機制，QMD 項目組在各個參評業(yè)務都明確了一位 QMD 對接人。

各個角色的職責明確如下：

3. 評估業(yè)務-What

新的體驗評估機制對參評業(yè)務也有了新的要求。出于可行性和投入產(chǎn)出比的考慮，我們根據(jù)以下 4 點，深入了解各個業(yè)務的情況，做出研判，最終確定了參評業(yè)務。

1. 當前階段業(yè)務對于體驗的重視程度如何；
2. 業(yè)務是否有明確的、可持續(xù)監(jiān)控的目標；
3. 業(yè)務迭代的頻率如何；
4. 業(yè)務是否已達到一定用戶規(guī)模。

4. 時間規(guī)劃-When

如前所述，新的體驗評估機制關鍵節(jié)點多，時間跨度長，需要周密的規(guī)劃和嚴謹?shù)臅r間管理。

QMD 項目組是以季度為單位做周期性體驗評估的，所以在季度初就會做好整個季度的規(guī)劃，并嚴格執(zhí)行。同時采用周報制來及時處理意外事件，保障項目準時完成。

另外值得提一下評估場次時間的確定，除了視評估專家的時間安排外，也需要考慮線上測評的版本是否符合業(yè)務預期，晚幾天可能就到了發(fā)版時間，是否需要評估最新版，需要綜合情況和業(yè)務協(xié)商。同時也要求 QMD 項目組在規(guī)劃之初，就要留好類似這種情況的 buffer。

5. 評估地點-Where

確定好評估時間，就可以提前約會議室了。

然而我們在 2022 年的 Q2 和 Q4，遇到了兩次因疫情大量同事遠程辦公的情況。如此我們需要保證線上評估或者部分同學線上評估的結(jié)果可靠性。原理如第二篇文章所述，需要保障人員可靠性、認知一致性，標準化實施方案。

6. 怎么評估-How

給到專家評估，我們需要至少準備評分工具和主觀問題反饋工具。這些都需要以評估指標為基礎，我們從第一篇文章了解到指標的制定原理后，各個業(yè)務的評估指標具體怎么確定呢？

首先，調(diào)整基礎指標：我們知道業(yè)務的評估指標由基礎指標和自定義指標構(gòu)成的，我們在制定指標前需要根據(jù)新的指標體系需要，重新審視原有的基礎指標。我們認為一個良好的基礎指標，應該是清晰、準確、普適、易懂的；我們邀請專家對這樣的指標進行評估，應該是對體驗設計有指導意義的。所以對基礎指標做了如下調(diào)整：評估指標由原來的一級指標改為二級指標，顆粒度更細，聚焦到具體問題；相似指標合并，二級指標由 15 個合并成 10 個；增加動效、語義等方面的評估；評估指引描述方式更直白、易理解；等等。

我們把基礎指標給到業(yè)務，由業(yè)務設計師參考以下幾個原則制定個性化指標體系。

1. GSM 模型（Goal- Signal- Metric）：方法在第一篇文章中；
2. 反向思考：場景拆解到什么程度，可以結(jié)合業(yè)務的實際需要，由希望監(jiān)控的顆粒度
3. 有跡可循：場景的設計目標，需要是可量化、可監(jiān)控的，一方面可以追蹤優(yōu)化效果，另一方面可以反向驗證指標制定的合理性；
4. 因地制宜：評估指標需要足夠細化、貼合業(yè)務場景。比如基礎指標中的“品牌”指標，在基礎指標中的描述是“”，是考慮普適性的描述方式。而其在不同業(yè)務中的具體元素、形式、原則等體驗要素都差別較大，所以需要額外說明當前業(yè)務的“品牌”具體需要達到什么體驗要求。有些業(yè)務會額外提供一份品牌手冊，供專家評估參考；
5. 穩(wěn)定性：指標體系內(nèi)的元素需要在一定時間范圍內(nèi)保持穩(wěn)定，盡量不因業(yè)務的調(diào)整而頻繁變化。

有了細化的評估指標制定指引，我們向參評業(yè)務做了詳盡的講解，并充分探討其在各個業(yè)務的可行性。業(yè)務設計師按照要求，結(jié)合實際情況，制定了由總目標、影響總目標的場景、場景的評估指標、評估指標的詳細說明四個部分構(gòu)成的指標體系。而后交由 QMD 項目組審核，確定無誤后，由業(yè)務設計師根據(jù)模版，自行制定體驗評估要用到的評分工具和主觀問題反饋工具，這里我們用的分別是 58 問卷和在線協(xié)作表格。

二、評估

1. 體驗評估

一切準備就緒后，就可以邀請專家來評估了。就像第二篇文章介紹的那樣，為了保障評估結(jié)果的可靠性，我們對評估工具、專家、環(huán)境等都制定了標準化方案。下圖是 QMD 項目組在專家評估前宣講的評估目標、機制及評估注意事項。

2. 信度評估

專家評估后，我們就拿到了評分問卷和主觀問題記錄表的原始數(shù)據(jù)。首先最重要的一件事就是預處理評分數(shù)據(jù)，評估信度，完成校驗閉環(huán)。我們采用的信度可靠對照關系如下：

如果第一次信度評估可靠程度不高，則需要調(diào)整數(shù)據(jù)組，重新進行信度評估，直至信度可靠。我們并非每一場體驗評估都一帆風順，在疫情期間遠程體驗評估時，我們就遇到了無論如何調(diào)整數(shù)據(jù)組都不能達到信度可靠的結(jié)果的情況。發(fā)現(xiàn)了這種情況，我們立即響應，臨時邀約更多專家，快速加測了一場。欣慰的是，兩場評估結(jié)果合并后，經(jīng)過數(shù)據(jù)組調(diào)整，評分信度可靠。

3. 業(yè)務復議

通過第二篇文章我們知道，復議階段的目標一是矯正部分理解有偏差的主觀問題，二是讓業(yè)務盡快了解 QMD 的結(jié)論，感受到其可靠可信，快速迭代優(yōu)化問題。所以：

1. 復議呈現(xiàn)給業(yè)務的內(nèi)容有：評分、分數(shù)對比、對應的主觀問題、截圖等；
2. 需要留給業(yè)務復議的反饋空間；
3. 想要做體驗評估的你，需要具備一定的數(shù)據(jù)分析基礎和表格操作技巧。

4. 輸出報告

報告是為了讓體驗評估結(jié)論更加直觀、可信，便于查閱與傳播。我們對報告做了一些調(diào)整：

① 評分和問題對應展示；

② 評分間差距標記更加清晰明了；

③ 增加 QMD 項目組的優(yōu)化建議。希望業(yè)務重視分數(shù)洼地、不及競品的指標對應的影響較大的主觀建議。高優(yōu)場景/指標/問題判斷標準如下，供參考：

1. 權重最高或較高；
2. 和均值比差 10%/8%/5%/3%以上；
3. 和競品比差 10%/8%/5%/3%以上；
4. 同比/環(huán)比差 10%/8%/5%/3%以上。

三、體驗跟進 & 項目復盤

前面兩篇文章介紹的體驗評估指標體系和評估機制，是我們通過現(xiàn)狀分析、理論分析等綜合確定的，此時我們需要校驗兩點：??

一是需要校驗根據(jù)認知、經(jīng)驗主觀拆解的評估指標是否符合預期；

二是需要校驗 QMD 機制全程保障的專家評估結(jié)論是否可靠。

我們采取的校驗方式，就是看體驗評估的結(jié)論應用到業(yè)務的體驗優(yōu)化后，是否帶來如預期程度的業(yè)務指標的提升。

所以我們在報告同步后，下一次體驗評估前，留足業(yè)務改進優(yōu)化的時間，組織參評業(yè)務復盤 QMD 結(jié)論落地情況。由各個業(yè)務闡述以下內(nèi)容：

1. 問題發(fā)掘&解決：QMD 報告分析&洞察、解決思路&方案、上線效果&數(shù)據(jù)、結(jié)論；
2. 項目管理：優(yōu)化進度、迭代計劃。

同時為了激勵、幫助業(yè)務設計師推動結(jié)論落地，我們邀請設計總監(jiān)、設計負責人和高階設計師從三個維度為業(yè)務復盤的內(nèi)容打分、點評，包括邏輯合理度、指標結(jié)果相關度、進度。

同時 QMD 項目組收獲了業(yè)務設計師對于整個體驗評估機制的一些想法，結(jié)合組織過程遇到的問題和思考，做了周期性的復盤。

四、推廣 & 改正

通過業(yè)務復盤及評委打分、點評，我們了解到業(yè)務的大部分迭代效果都是正向的，小部分負向效果的迭代需要嘗試其他設計方案。所以目前沒有因為復盤結(jié)果而要調(diào)整指標的情況。由此印證 QMD 體驗評估的結(jié)論是可靠的，整個體驗評估流程也是可靠的。

如果有業(yè)務出現(xiàn)按照 QMD 的結(jié)論設計方案，驗證發(fā)現(xiàn)預期的業(yè)務數(shù)據(jù)沒有提升或者反而下降，則需要反思指標制定、分析、洞察、解決思路、方案是否有問題，逐一排查關鍵環(huán)節(jié)，及時作出調(diào)整。

如開篇所述，QMD 項目組也在每次體驗評估完成后進行復盤，持續(xù)優(yōu)化評估機制，目前整個流程已經(jīng)形成 SOP，便于高效組織每次評估，跟緊業(yè)務節(jié)奏，打好配合。

五、最后

以上詳盡介紹了我們 QMD 項目組，組織 58UXD 各個業(yè)務體驗評估的過程與思考。我們認為整個體驗評估體系的升級和實踐，最關鍵的思考邏輯就是閉環(huán)管理，這個邏輯貫穿始終，讓所有人為因素的影響降到最低，保障過程和結(jié)果可靠可信。我們設定的閉環(huán)管理一共有以下三個方面：

1. 在策劃環(huán)節(jié)，各業(yè)務制定的指標體系、整理的評估工具，都由 QMD 項目組審核，確保指標拆解符合指引要求，評估工具準確無誤；
2. 在評估環(huán)節(jié)，各個業(yè)務的專家的評分都需要評估評分者信度，確保評分可靠；
3. 在跟進環(huán)節(jié)，通過業(yè)務復盤了解優(yōu)化效果，校驗指標制定的可靠性，以及整個 QMD 新機制為業(yè)務體驗設計帶來的價值。

分享不易，希望對你有所幫助。歡迎大家留言交流。

歡迎關注「58UXD」的微信公眾號：