編輯導(dǎo)語(yǔ)：在產(chǎn)品正式發(fā)布之前，產(chǎn)品團(tuán)隊(duì)和開(kāi)發(fā)人員往往需要進(jìn)行產(chǎn)品測(cè)試，以便及時(shí)發(fā)現(xiàn)漏洞、完善用戶體驗(yàn)。那么，產(chǎn)品團(tuán)隊(duì)要如何才能成功地進(jìn)行一次產(chǎn)品測(cè)試？本篇文章里，作者總結(jié)了十個(gè)關(guān)鍵步驟，一起來(lái)看。

在 iPad 發(fā)布 Illustrator 的當(dāng)天，它立即在美國(guó)和日本的應(yīng)用商店中排名第一，獲得了4.6 星級(jí)的評(píng)價(jià)，并得到了許多刊物的好評(píng)。

這個(gè)應(yīng)用程序最初的成功是出于設(shè)計(jì)，而不是偶然的。一個(gè)有用的 Beta 程序可以幫助團(tuán)隊(duì)成功地進(jìn)行設(shè)計(jì)和實(shí)踐，也許最重要的是，讓我們的用戶感覺(jué)到了付出、包含和參與到創(chuàng)造 Illustrator 生態(tài)系統(tǒng)的未來(lái)中。

用一位 Beta 參與者的話說(shuō)：“我參加了不少測(cè)試版程序，這里的 Slack 頻道社區(qū)很棒，我很高興成為社區(qū)的一員，我很喜歡 Illustrator 推出 iPad 版本的極致體驗(yàn)，這讓體驗(yàn)更加直觀。太感謝了！

Beta（測(cè)試版）程序用于在開(kāi)發(fā)周期收集有關(guān)產(chǎn)品或服務(wù)的反饋，以便在版本發(fā)布之前進(jìn)行改進(jìn)。一旦產(chǎn)品開(kāi)發(fā)完成，目標(biāo)用戶就可以從一個(gè)端口到了另一個(gè)端口，來(lái)完成一個(gè)或多個(gè)關(guān)鍵工作流，以收集真實(shí)世界的用戶的體驗(yàn)。

在軟件開(kāi)發(fā)世界中，Beta測(cè)試是常見(jiàn)的，但在焦點(diǎn)和形式上差異很大。Adobe 近年來(lái)，我們一直在通過(guò)反復(fù)試驗(yàn)，來(lái)開(kāi)發(fā)一套測(cè)試版最佳實(shí)踐流程。我們相信，我們已經(jīng)找到了成功的 10 個(gè)關(guān)鍵主題，這些主題步驟可以成為強(qiáng)大的工具，來(lái)幫助任何團(tuán)隊(duì)推出成功產(chǎn)品的。

下面，我們將深入研究這些主題，并提供一些有關(guān)如何在你自己的測(cè)試版程序中實(shí)現(xiàn)它們的信息。

一、選一個(gè)目標(biāo)?Pick a goal

這似乎看起來(lái)很明顯，但作為一個(gè)團(tuán)隊(duì)，你需要為 beta 測(cè)試程序設(shè)定一個(gè)目標(biāo)。這一目標(biāo)在作出較小規(guī)模的決定時(shí)候，將會(huì)提供一個(gè)明確定義的優(yōu)先級(jí)，比如邀請(qǐng)誰(shuí)參加程序，或舉辦何種類型的虛擬活動(dòng)。

如果你的團(tuán)隊(duì)的主要目標(biāo)是營(yíng)銷和參與，那么收集反饋以改善體驗(yàn)和產(chǎn)品開(kāi)發(fā)策略將更加困難。例如，將市場(chǎng)營(yíng)銷放在首位的測(cè)試計(jì)劃可能會(huì)影響社交媒體大V 參與者數(shù)量，因?yàn)檫@會(huì)導(dǎo)致這些影響力者將產(chǎn)品推廣給他們的追隨者，在這種情況下，產(chǎn)品團(tuán)隊(duì)和測(cè)試團(tuán)隊(duì)之間可能更傾向于取悅用戶，而不是獲得可操作的產(chǎn)品反饋。

由于項(xiàng)目中有社會(huì)影響者，團(tuán)隊(duì)將不太可能調(diào)查挑戰(zhàn)領(lǐng)域，分享他們正在尋找反饋的領(lǐng)域，或者包容負(fù)面反饋。同樣，如果測(cè)試版的重點(diǎn)放在強(qiáng)調(diào)這項(xiàng)技術(shù)有多神奇的教程上，用戶將無(wú)法提供最初的、公正的反饋——這將更能代表用戶在應(yīng)用發(fā)布時(shí)的反應(yīng)。

如果你的團(tuán)隊(duì)的目標(biāo)是收集可操作的反饋以幫助改進(jìn)用戶體驗(yàn)，那么本文非常適合您。獲取有用的產(chǎn)品反饋將使整個(gè)團(tuán)隊(duì)受益：設(shè)計(jì)師將獲得有關(guān)用戶體驗(yàn)的有用反饋；工程師將發(fā)現(xiàn)有助于改進(jìn)代碼的相關(guān)缺陷；營(yíng)銷人員將開(kāi)發(fā)一個(gè)投資社區(qū)，產(chǎn)品經(jīng)理可以根據(jù)用戶需求調(diào)整功能架構(gòu)和未來(lái)產(chǎn)品方向。

二、建立社區(qū)?Create a community

用戶更喜歡有被傾聽(tīng)的感覺(jué)。開(kāi)發(fā)一個(gè)社區(qū)，讓它活躍，鼓勵(lì)和歡迎用戶參與。通過(guò)確保社區(qū)中的每個(gè)人都能向合適的跨職能團(tuán)隊(duì)成員提出職責(zé)問(wèn)題、困惑和管理請(qǐng)求，讓用戶能夠聽(tīng)到任何給定主題的“專家”的意見(jiàn)。

如果用戶無(wú)法解決困擾他們的問(wèn)題或得到有用的反饋，他們將停止溝通?？梢酝ㄟ^(guò)設(shè)立有趣的復(fù)活節(jié)彩蛋來(lái)鼓勵(lì)用戶參與，比如驚喜贈(zèng)品、參與設(shè)計(jì)挑戰(zhàn)和有益的研討會(huì)。

從組織管理的角度來(lái)看，確保整個(gè)跨職能團(tuán)隊(duì)在回答問(wèn)題和跟進(jìn)用戶反饋方面承擔(dān)一定的責(zé)任。這樣，參與的負(fù)擔(dān)就不會(huì)落在一個(gè)團(tuán)隊(duì)成員身上，團(tuán)隊(duì)的參與能力才能得到最大化。

至于社區(qū)平臺(tái)，我們一直在使用Slack。你公司旗下的在線論壇可能無(wú)法獲得持續(xù)的互動(dòng)和參與，這是因?yàn)橛脩舨涣?xí)慣在這種情況下進(jìn)行交流，因此最重要的是在用戶習(xí)慣的場(chǎng)景下與他們進(jìn)行互動(dòng)溝通：我們發(fā)現(xiàn)，每天我們的許多用戶都在使用 Slack 與客戶和合作者進(jìn)行溝通，因此整合功能對(duì)我們很有用。

無(wú)論如何，找到你的用戶所聚集的地方，并將這些平臺(tái)作為潛在的社區(qū)進(jìn)行調(diào)查，但同樣重要的是要確信平臺(tái)為用戶提供了安全和隱私。

無(wú)論你的平臺(tái)是什么，如果在你的測(cè)試版中有兩個(gè)或更多不同的用戶類型，那么尋找不同的社區(qū)是很重要的，這將使你更容易將研究結(jié)果背景化，對(duì)你的測(cè)試參與者來(lái)說(shuō)，這將是一個(gè)更好的體驗(yàn)。

我們通過(guò)一次痛苦經(jīng)歷意識(shí)到這一點(diǎn)：在一次測(cè)試中，我們既包括了學(xué)生，也包括了專業(yè)人士。我們很快意識(shí)到學(xué)生們被專業(yè)人士嚇壞了，他們感到被排除在談話之外。在 Slack 中，這意味著我們需要開(kāi)發(fā)單獨(dú)的工作興趣區(qū)供相同類型的用戶溝通（而不僅僅只是一個(gè)渠道）。

三、以用戶為中心?Be user-centered

理想情況下，整個(gè)跨職能團(tuán)隊(duì)都能與用戶交談，我們需要確保所有人都準(zhǔn)備就緒。當(dāng)直接與用戶交談時(shí)，有一些需要注意最佳實(shí)踐方法可以提供給你們（這里我們不會(huì)全部介紹）。

舉個(gè)例子，你作為評(píng)分者，用戶會(huì)傾向于取悅你，因此遵循本文中的指導(dǎo)原則將有助于減少這種偏見(jiàn)，并為參與者提供表達(dá)自己的空間，并提供關(guān)鍵信息。

請(qǐng)記住，對(duì)于參與者來(lái)說(shuō)，有點(diǎn)困難是可以的接受的（這可以讓我們了解需要解決的問(wèn)題），對(duì)于我們來(lái)說(shuō)，也是可以選擇不提供答案的——相反，所有團(tuán)隊(duì)成員都應(yīng)該探究“為什么”。

例如，如果一個(gè)用戶說(shuō)，“嘿，我想要某某功能”，不要回答說(shuō)，“那不在我們的規(guī)劃內(nèi)?！倍牵瑔?wèn)他們?yōu)槭裁聪胍@個(gè)功能——他們會(huì)用它做什么？他們什么時(shí)候用？他們希望在哪里找到它？

這將更具洞察力——它將便于設(shè)計(jì)團(tuán)隊(duì)更好地了解預(yù)期的切入點(diǎn)；它將為產(chǎn)品管理層提供關(guān)于特定工作流程需要哪些功能的清晰信息；它甚至可能表明，用戶的問(wèn)題可以通過(guò)實(shí)現(xiàn)相同目標(biāo)的不同功能來(lái)解決。

四、仔細(xì)篩選參與者?Carefully screen the participants

當(dāng)一個(gè)團(tuán)隊(duì)開(kāi)始測(cè)試的時(shí)候，最大的問(wèn)題總是：誰(shuí)會(huì)被邀請(qǐng)參加測(cè)試？因此，很重要的一點(diǎn)是要清楚地定義你測(cè)試對(duì)象的的要求。這些用戶將決定應(yīng)用程序的未來(lái)，因此確保他們反映目標(biāo)用戶的屬性非常重要。

這可以包括職業(yè)、工具使用、工作流程、需求和目標(biāo)等變量。與研究人員合作，為篩選調(diào)查來(lái)設(shè)計(jì)問(wèn)題，以涵蓋你決定的所有標(biāo)準(zhǔn)，并根據(jù)用戶完成的調(diào)查結(jié)果，來(lái)只邀請(qǐng)符合這些標(biāo)準(zhǔn)的用戶。

當(dāng)你在做的時(shí)候，篩選調(diào)查是一個(gè)收集其他有用數(shù)據(jù)的絕好機(jī)會(huì)，所以不要局限于詢問(wèn)前面提到的用戶標(biāo)準(zhǔn)。雖然篩選的首要任務(wù)是選擇用戶參與（或不參與）beta測(cè)試程序，但它也可以用于其他原因。

例如，可以用來(lái)篩選出對(duì)你的產(chǎn)品感興趣的人群，并洞察哪些信息是用戶群體在產(chǎn)品上市時(shí)最感興趣的。

此外，篩選調(diào)查是一個(gè)很好的途徑，可以收集到更多關(guān)于那些最終進(jìn)入數(shù)據(jù)測(cè)試程序的用戶的見(jiàn)解。該用戶信息可以稍后與用戶提供的反饋進(jìn)行三角剖分；例如，有關(guān)用戶正在運(yùn)行的設(shè)備、他們對(duì)類似產(chǎn)品的經(jīng)驗(yàn)以及他們使用的其他技術(shù)信息，這些都可以幫助解釋他們的定性反饋。

當(dāng)你確定測(cè)試版目標(biāo)受眾時(shí)，一定要考慮公平和包容。畢竟，我們生活在一個(gè)多元化的社會(huì)，而不是一個(gè)單一的社會(huì)，你產(chǎn)品的最終用戶將反映這一點(diǎn)。

一定要為不同背景、性取向、性別、體型以及身體、心理和感官能力的人創(chuàng)造一個(gè)包容的空間。收集不同的觀點(diǎn)可以幫助團(tuán)隊(duì)更好地理解用戶面臨的一系列問(wèn)題，使他們能夠在產(chǎn)品發(fā)布之前解決這些問(wèn)題。如果你想了解更多提示，可以查看 Adobe Design Inclusive Worksho 或其他 Adobe Design Inclusive 資源。

我們的團(tuán)隊(duì)將很快分享一份包容性的研究最佳實(shí)踐指南，其中是有關(guān)招募用戶、與用戶溝通、適應(yīng)和吸引具有各種能力的用戶的最佳實(shí)踐的詳細(xì)信息。

五、嚴(yán)格跟蹤和分類反饋?Rigorously track and triage feedback

如果團(tuán)隊(duì)忽視了跟蹤和分類，那么我們最初收集的所有有用的產(chǎn)品反饋都將丟失。

出于這些目的，我們選擇使用 Reacji Channeler，這是 Slack 上的一個(gè)插件，通過(guò)使用預(yù)定義的 emoji 對(duì)單個(gè)消息進(jìn)行簡(jiǎn)單的回饋，就可以對(duì)消息進(jìn)行有效的標(biāo)記、排序和跟蹤。通過(guò)這種方式，我們可以用瓢蟲(chóng)表情符號(hào)標(biāo)記與 bug 相關(guān)的反饋，并將它發(fā)送到工程部，而我們可以用剪貼板標(biāo)記與可用性相關(guān)的反饋，并將它發(fā)送到設(shè)計(jì)部。

整個(gè)團(tuán)隊(duì)都參與了 “反應(yīng)”——這是一種確保 Beta 版反饋被發(fā)送到正確位置的低成本方式，不必花一整個(gè)下午的時(shí)間來(lái)回答用戶的問(wèn)題。畢竟，團(tuán)隊(duì)正忙于開(kāi)發(fā)新產(chǎn)品！

我們還使用了 Instabug，這是一種應(yīng)用內(nèi)服務(wù)，允許用戶快速輕松地共享 bug、崩潰日志，用戶可以選擇直接報(bào)告改進(jìn)的方面。一般來(lái)說(shuō)，Instabug 的反饋會(huì)發(fā)送給工程師或用研人員，而可用性請(qǐng)求或功能請(qǐng)求會(huì)發(fā)送給研究人員進(jìn)行分析。

六、切實(shí)分析反饋?Actionably analyze the feedback

在使用 Reacji Channeler（應(yīng)用插件）對(duì)輸入進(jìn)行分類之后，反饋可以被傳送到數(shù)據(jù)庫(kù)軟件中（我們使用Airtable），在那里，研究人員可以對(duì)其進(jìn)行分類、跟蹤、組織和分析。

整個(gè)團(tuán)隊(duì)都應(yīng)該能夠訪問(wèn)這些數(shù)據(jù)，這樣如果他們想獲取詳細(xì)信息，就可以引用這些數(shù)據(jù)。

在分析 Airtable 中的反饋之后，研究人員將結(jié)果與所有跨職能團(tuán)隊(duì)分享，然后他們可以實(shí)施反饋。對(duì)我們來(lái)說(shuō)，這采取了每周一次的全體會(huì)議的形式，研究人員在會(huì)上分享了測(cè)試版中最重要的幾點(diǎn)見(jiàn)解：一次又一次出現(xiàn)的特性請(qǐng)求或重復(fù)出現(xiàn)的可用性問(wèn)題（值得注意的是，根據(jù)上述國(guó)際觀點(diǎn)，這是針對(duì)多個(gè)國(guó)家的）。

例如，本次周會(huì)將分享美國(guó)的最高反饋，但日本的反饋也會(huì)進(jìn)行分享。這對(duì)整個(gè)團(tuán)隊(duì)的文化管理非常有幫助。每一項(xiàng)發(fā)現(xiàn)都與可行的建議和下一步措施相結(jié)合，其中一些建議被輸入Jira，以確保問(wèn)責(zé)制的實(shí)行。

七、所有流程國(guó)際化?Internationalize all processes

關(guān)于包容性的建議，最重要的是要考慮到你的潛在受眾的全部范圍。因此，所有做法也應(yīng)在國(guó)際上付諸實(shí)施。國(guó)際化管理，而不僅僅是本地化。

正如我們的同事 Wilson Chan和 Mika Nakamura 所指出的，國(guó)際研究已經(jīng)超越了語(yǔ)言，包括文化色彩、符號(hào)、美學(xué)、設(shè)備使用、連接水平、技術(shù)標(biāo)準(zhǔn)、工作流程、購(gòu)買風(fēng)格、學(xué)習(xí)風(fēng)格，甚至法律考慮。對(duì)于本文概述的所有最佳實(shí)踐，我們建議在其他國(guó)家（和語(yǔ)言/文化）也實(shí)施它們。

這張圖片是由一位日本測(cè)試版的參和者sunsuke Satake在iPad的Illustrator中創(chuàng)作的。

八、找到你的“部落”?Find your village

需要一個(gè)“部落”才能提高 beta 的實(shí)踐成功性！一個(gè)成功的測(cè)試版需要專門的跨職能資源。根據(jù)你的團(tuán)隊(duì)結(jié)構(gòu)，這可能包括工程、產(chǎn)品管理、設(shè)計(jì)、研究、用研質(zhì)量評(píng)估、內(nèi)容策略和社區(qū)管理。

我們發(fā)現(xiàn)，如果有人將測(cè)試版本作為他們的主要關(guān)注點(diǎn)，那么測(cè)試版本的效果將是最好——沒(méi)錯(cuò)，運(yùn)行測(cè)試版本可以是一項(xiàng)全職工作。我們強(qiáng)烈建議讓用戶體驗(yàn)研究人員從頭到尾參與這個(gè)過(guò)程。雖然他們可能不會(huì)運(yùn)行測(cè)試版的日常后勤工作，但研究人員可以設(shè)置程序以獲得盡可能好的數(shù)據(jù)，這意味著需要收集可操作和可預(yù)測(cè)的數(shù)據(jù)。

用戶體驗(yàn)研究人員可以幫助進(jìn)行諸如面向用戶的反饋會(huì)議、調(diào)查和數(shù)據(jù)分析等活動(dòng)。同樣重要的是，測(cè)試版用戶通常是你的產(chǎn)品的粉絲（稍后將對(duì)此進(jìn)行詳細(xì)介紹）。研究人員會(huì)意識(shí)到這種積極的偏見(jiàn)，并在他們的分析中加以解釋。

九、縱向評(píng)估?Evaluate longitudinally

縱向研究是研究人員工具箱中最強(qiáng)大的工具之一，它允許團(tuán)隊(duì)在相當(dāng)長(zhǎng)的一段時(shí)間（例如一個(gè)月）內(nèi)關(guān)注應(yīng)用程序中的完整工作流，以便更好地了解用戶體驗(yàn)。

對(duì)于我們的縱向研究，我們首先在實(shí)踐研究前對(duì)每位參與者進(jìn)行 30 分鐘的人種學(xué)訪談。然后，每周都有任務(wù)要求參與者完成關(guān)鍵的工作流程，來(lái)確定風(fēng)險(xiǎn)領(lǐng)域。

參與者需要在每周末提供結(jié)構(gòu)化的書面反饋。最后，我們對(duì)每位參與者進(jìn)行 30 分鐘的研究后匯報(bào)和反饋訪談。

在整個(gè)過(guò)程中，參與者與主持人有一個(gè)開(kāi)放的渠道，并鼓勵(lì)參與者隨時(shí)與主持人聯(lián)系，提出受挫的情況、bug、問(wèn)題或疑惑。同樣，重要的是要 參與者 包括殘疾人和具有國(guó)際視野的人。

縱向研究的結(jié)果可以揭示什么有助于或阻礙用戶成功使用產(chǎn)品，他們也可以提供一種方法來(lái)衡量隨著時(shí)間的推移，熟練程度的提高程度。

例如，我們尋找的關(guān)鍵指標(biāo)之一是用戶的感知能力隨著時(shí)間的推移而增加；同時(shí)，他們完成任務(wù)的時(shí)間（或完成任務(wù)所需的時(shí)間）應(yīng)該隨著熟練程度的提高而減少。基本上，你的目標(biāo)是這樣的：

十、對(duì)結(jié)果進(jìn)行基準(zhǔn)測(cè)試?Benchmark the results

基準(zhǔn)測(cè)試提供了一致的度量標(biāo)準(zhǔn)，用來(lái)衡量用戶對(duì)應(yīng)用程序的感知。特別是，基準(zhǔn)測(cè)試提供了基線度量，以便隨著新版本的發(fā)布時(shí)間進(jìn)行監(jiān)視和跟蹤，從而測(cè)量錯(cuò)誤修復(fù)、性能更新和每個(gè)版本附帶的新特性的影響。

在應(yīng)用程序不斷發(fā)展的過(guò)程中，他們通過(guò)識(shí)別任何可能解決的成功和滿意度障礙（心智模型不匹配、復(fù)制不清晰、使用質(zhì)量等）來(lái)通知團(tuán)隊(duì)。它們還允許研究人員收集對(duì)用戶體驗(yàn)更深入的見(jiàn)解，為此，我們將在每次發(fā)布實(shí)質(zhì)性更新時(shí)推送的應(yīng)用內(nèi)調(diào)查。

選擇您最感興趣的度量標(biāo)準(zhǔn)，我的建議是：易用性、性能、滿意度，并使用 Likert 量進(jìn)行調(diào)查反映問(wèn)題。

測(cè)試版本的一個(gè)重要指標(biāo)是用戶整合產(chǎn)品的意圖。也就是說(shuō)，如果這個(gè)應(yīng)用程序明天推出，他們真的會(huì)使用它嗎？我們還建議將每個(gè)定量問(wèn)題與定性開(kāi)放式問(wèn)題配對(duì)；也就是說(shuō)，對(duì)每個(gè)李克特量表問(wèn)題都要問(wèn) “為什么”，數(shù)字本身并不能說(shuō)明全部情況！

盡管 Beta測(cè)試版 程序需要預(yù)先投入時(shí)間和資源，但它要比在發(fā)布錯(cuò)誤應(yīng)用程序后對(duì)其進(jìn)行改進(jìn)要簡(jiǎn)單得多，成本也要低得多。通過(guò)我們的測(cè)試程序收集到的豐富信息使 iPad團(tuán)隊(duì)中能夠在 Illustrator 開(kāi)發(fā)過(guò)程中做出關(guān)鍵的作用，評(píng)估產(chǎn)品準(zhǔn)備情況，完善營(yíng)銷材料，并發(fā)布一款獲得成功和用戶贊賞的產(chǎn)品。

本文翻譯已獲得作者的正式授權(quán)（授權(quán)截圖如下）

作者：Laura Herman；譯者：李玥琪；審校：蔡林燕、李澤慧、張聿彤；編輯：李莉好

原文鏈接：https://medium.com/thinking-design/10-key-steps-to-a-successful-product-beta-program-868a4d3fd9ca

本文由@TCC翻譯情報(bào)局 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 Unsplash，基于CC0協(xié)議。