【呼叫中心IVR系統(tǒng)的測試解決方案(上)】
呼叫中心IVR系統(tǒng)的測試解決方案(下)
思博倫通信 辛小秋 2012/02/06
5、呼叫中心(IVR)系統(tǒng)測試方法
IVR測試一般分為三個層次,性能壓力測試、語音匹配測試(包括各個菜單)、語音質(zhì)量測試。其中,最關(guān)鍵的是性能壓力測試,它的測試目的有兩個:第一是搞清楚被測試系統(tǒng)(DUT)的最大的呼叫處理能力(無差錯點);第二是搞清楚在它的最大壓力條件下能夠無故障工作多長時間。
5.1 性能壓力測試
(1)性能測試的幾個概念
- BHCA(Busy Hour Call Attempt),忙時呼叫次數(shù)。它表示DUT在一個小時內(nèi)最大的呼叫處理次數(shù),當(dāng)然在沒有差錯的情況下,或者差錯率很低(業(yè)內(nèi)差錯率為萬分之一以內(nèi))。我們一般用BHCA表示系統(tǒng)的呼叫處理能力。
- CPS,每秒鐘呼叫次數(shù)。它表示DUT在一秒鐘內(nèi)最大的呼叫處理次數(shù),和BHCA的關(guān)系是3600倍。
- 系統(tǒng)支持的呼叫通道數(shù),指DUT最大支持的呼叫通道數(shù)目。例如,IVR對外呼入接口有28個E1,那么它所支持的最大呼叫通道數(shù)目就是840。
- 系統(tǒng)支持的并發(fā)呼叫通道數(shù),指DUT能夠處理的最大并發(fā)通道數(shù)目,一般能夠達(dá)到它的最大支持通道數(shù)目的10%-50%不等,需要和系統(tǒng)提供商溝通清楚,當(dāng)然也需要實際測試。
- 呼叫完成率,呼叫完成次數(shù)與呼叫總次數(shù)的比率。業(yè)內(nèi)要求達(dá)到4個9,即99.99%。
- 呼損率,呼叫失敗次數(shù)與呼叫總次數(shù)的比率。業(yè)內(nèi)要求萬分之一以內(nèi)。它與呼叫完成率之和為100%。
- 無差錯點,指呼叫完成率達(dá)到業(yè)內(nèi)要求情況下的最大呼叫量,即DUT的能夠承受的最大呼叫處理次數(shù)。
- 平衡點,指用戶感受良好情況下的無差錯點。用戶感受部分包括語音質(zhì)量、呼叫延遲、回聲、語音間斷等等方面,需要測試語音匹配和語音質(zhì)量才能定位。一般認(rèn)為平衡點才是DUT真正的呼叫處理能力,因為隨著呼叫壓力的增加,用戶感受會惡化。
。2)性能測試項目(舉例:DUT=IVR系統(tǒng),可以提供28個E1接口作為呼入,最大允許接入840路)
并發(fā)呼叫測試
- 測試目的:找到DUT的并發(fā)呼叫無差錯點。即找到DUT在異常條件下(許多呼叫并發(fā)呼入)支持的最大處理呼叫次數(shù)。
- 測試方法:呼叫測試儀表使用28個E1,產(chǎn)生840路并發(fā)(即同時呼叫)IVR呼入呼叫,通過二分法找到無差錯點。例如,840路并發(fā),出現(xiàn)大面積呼損時,下次測試改為840/2=420路并發(fā)呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
異步呼叫測試
- 測試目的:找到DUT的異步呼叫無差錯點。即找到DUT在正常條件下(呼叫壓力逐步增加)支持的最大處理呼叫次數(shù)。
- 測試方法:呼叫測試儀表使用28個E1,產(chǎn)生840路IVR呼入呼叫,每個通道的呼叫間隔1s,通過二分法找到無差錯點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
仿真呼叫測試
- 測試目的:找到DUT在各種呼叫模型條件下的呼叫無差錯點。即找到DUT在仿真真實網(wǎng)絡(luò)條件下(存在各種呼叫模型,包括波松分布、階梯分布等)支持的最大處理呼叫次數(shù)。
- 測試方法:呼叫測試儀表使用28個E1,產(chǎn)生840路IVR呼入呼叫,注意使用各種不同的呼叫模型,產(chǎn)生不同變化的呼叫壓力(不同的CPS),通過二分法找到無差錯點。例如,在某種呼叫模型下20CPS時,如果出現(xiàn)大面積呼損,下次測試改為20/2=10CPS呼叫;如果再有呼損,則改為5CPS呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
5.2 語音匹配測試
(1)語音匹配測試目的
- 進(jìn)一步驗證IVR系統(tǒng)的性能。語音匹配測試是在性能壓力測試基礎(chǔ)上,驗證系統(tǒng)在極限壓力條件下(無差錯點),各個菜單的語音提示是否正常按時發(fā)出,用戶能否正常聽到。一般來說,當(dāng)話務(wù)量達(dá)到IVR系統(tǒng)極限時,語音提示的播放就會因為大量呼叫排隊而變慢,甚至出現(xiàn)播放錯誤,當(dāng)播放延遲超過正常2s(業(yè)內(nèi)標(biāo)準(zhǔn))或者語音匹配差錯率過高(業(yè)內(nèi)差錯率為萬分之一以內(nèi))時,我們在性能壓力測試中得到的無差錯點就會受到質(zhì)疑。
- 得到真實用戶的感受。語音匹配測試可以幫助測試者,得到一些用戶感受的指標(biāo),例如用戶平均多長時間能夠聽到語音提示,最長需要多少秒,最少需要多少秒。這樣就會方便我們判斷有多少用戶因為長時間聽不到語音提示而放棄呼叫的,因此語音匹配時間參數(shù)也是我們的客戶服務(wù)指標(biāo)之一。
。2)語音匹配測試項目
歡迎詞匹配測試
- 測試目的:檢驗IVR系統(tǒng)在極限條件下(無差錯點)對于歡迎詞的語音匹配情況(包括匹配錯誤率和匹配延遲)。
- 測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔一秒)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測試中的極限話務(wù)量(無差錯點話務(wù)量),通過二分法找到語音匹配無差錯點。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯點。語音匹配的無差錯點定義為:差錯率在萬分之一以內(nèi);匹配延遲在2s以內(nèi)。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:找到無差錯點,記錄語音匹配差錯率和匹配延遲。
菜單中語音匹配測試
- 測試目的:檢驗IVR系統(tǒng)在極限條件下,各級菜單的語音匹配情況(包括匹配錯誤率和匹配延遲)。
- 測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測試中的極限話務(wù)量(無差錯點話務(wù)量),通過二分法找到語音匹配無差錯點。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯點。語音匹配的無差錯點定義為:差錯率在萬分之一以內(nèi);匹配延遲在2s以內(nèi)。每一級菜單的語音匹配差錯率,在相同話務(wù)量的情況下應(yīng)該有所不同;菜單越深,差錯率越高,因此需要降低話務(wù)量來查找無差錯點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:找到無差錯點,記錄語音匹配差錯率和匹配延遲。
5.3 語音質(zhì)量測試
。1)語音質(zhì)量測試目的
- 進(jìn)一步驗證呼叫中心(IVR+CTI+IP傳輸)系統(tǒng)的性能。語音質(zhì)量測試是在性能壓力測試和語音匹配基礎(chǔ)上,驗證系統(tǒng)在極限壓力條件下(無差錯點),用戶和話務(wù)員之間的端到端通話質(zhì)量。一般來說,當(dāng)話務(wù)量達(dá)到IVR系統(tǒng)極限時,CTI對語音的處理和IP網(wǎng)絡(luò)對語音的傳輸都會出現(xiàn)問題,導(dǎo)致語音質(zhì)量指標(biāo)下降,當(dāng)單向延遲(通話一端傳送話音到另外一端所需要的時間)超過150ms(ITU推薦標(biāo)準(zhǔn))或者語音質(zhì)量分?jǐn)?shù)低于標(biāo)準(zhǔn)(G.711時PESQ應(yīng)>4.0分;G.729時PESQ應(yīng)>3.7分)時,就會大大影響用戶通話的感受,導(dǎo)致部分用戶放棄呼叫。語音質(zhì)量測試會找到真正意義的平衡點。
- 得到真實用戶的感受。語音質(zhì)量測試可以幫助測試者,得到一些用戶感受的指標(biāo),例如話務(wù)員的話音需要多長時間才能讓用戶聽到,有沒有回聲,有沒有語音間斷和語音滑碼,語音評價指標(biāo)MOS/PSQM/PESQ能夠打多少分。這些語音質(zhì)量測試參數(shù)也是我們的客戶服務(wù)指標(biāo)之一。
。2)語音質(zhì)量測試項目
端到端語音質(zhì)量測試
- 測試目的:檢驗呼叫中心系統(tǒng)在極限條件下(無差錯點)的端到端(即客戶到話務(wù)員)語音質(zhì)量,包括男聲、女聲以及G.711/G.729等不同編解碼對語音質(zhì)量的影響。
- 測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測試中的極限話務(wù)量(無差錯點話務(wù)量),通過二分法逐步降低話務(wù)量,直到全部話路都能夠接入話務(wù)員(由Abacus100仿真),并檢驗相應(yīng)語音質(zhì)量指標(biāo)是否達(dá)到業(yè)內(nèi)標(biāo)準(zhǔn),即找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:記錄平衡點的呼叫壓力(CPS)、語音質(zhì)量指標(biāo)(MOS/PSQM/PESQ)、單向延遲、回聲、語音間斷與滑碼等。
語音信箱的語音質(zhì)量測試(可選項目)
- 測試目的:檢驗呼叫中心的語音信箱系統(tǒng)在極限條件下(無差錯點)語音提。纯蛻魪恼Z音信箱中提取留言)時的語音質(zhì)量,包括男聲、女聲對語音質(zhì)量的影響。
- 測試方法:呼叫測試儀表使用低負(fù)荷對呼叫中心系統(tǒng)中的語音信箱進(jìn)行“留言錄入”,直到語音信箱全部錄入留言。然后,呼叫測試儀表分別在低負(fù)荷、中負(fù)荷、高負(fù)荷背景話務(wù)量條件下進(jìn)行“留言提取”,呼叫路數(shù)與語音信箱最大路數(shù)相同,通過語音波形圖的比較,根據(jù)ITU的規(guī)范,得到語音質(zhì)量評分(MOS/PSQM/PESQ)找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
- 測試結(jié)果:記錄平衡點的呼叫壓力(CPS)、語音質(zhì)量指標(biāo)(MOS/PSQM/PESQ)。
6、補(bǔ)充說明
以上測試方案僅僅以某銀行的呼叫中心測試為藍(lán)本進(jìn)行探討,也僅僅涉及了電信E1接口和模擬線接口。目前,VoIP特別是SIP接入越來越為廣大運(yùn)營商和大中型企業(yè)所采用,因此思博倫在VoIP接入的呼叫中心測試領(lǐng)域也提供了大量的應(yīng)用測試方案,但是基本的測試方法和思路是一致的——幫助客戶找到真實的帶有用戶感受的呼叫中心性能指標(biāo),并協(xié)助分析影響性能的瓶頸。
聲明:本文是作者特別為CTI論壇所撰寫,非合作媒體謝絕轉(zhuǎn)載
CTI論壇編輯
相關(guān)閱讀: