數(shù)據(jù)申請入口:

　　https://wenet-e2e.github.io/WenetSpeech/

　　目前該工作已經(jīng)投稿語音研究頂級會議ICASSP2022，詳見：

　　https://arxiv.org/pdf/2110.03370.pdf

　　近十年以來，在深度學習的推動下，語音識別技術和應用均取得了突飛猛進的發(fā)展，搭載語音識別技術的相關產(chǎn)品和服務，諸如語音搜索、語音輸入法、智能音箱、智能電視、智能穿戴、智能客服、機器人等已經(jīng)廣泛應用到我們生活的方方面面。但在現(xiàn)有的中文語音識別研究中，由于開源中文語音數(shù)據(jù)集數(shù)據(jù)量少，場景單一，缺乏挑戰(zhàn)性，不能反映研究模型在大數(shù)據(jù)量和復雜場景下的泛化能力，例如，當前最大的中文普通話開源數(shù)據(jù)集AIShell-2，包含1000小時的朗讀風格錄制數(shù)據(jù)，主流識別系統(tǒng)在該數(shù)據(jù)的測試集上獲得的錯誤率低至5.3%左右。工業(yè)界往往使用更大規(guī)模的內部數(shù)據(jù)進行研究，而學術界無法獲取這些數(shù)據(jù)進行研究，這導致了中文語音識別研究在學術界和工業(yè)界的嚴重割裂。另一方面，當下研究的熱點無監(jiān)督學習和自學習，在中文語音識別領域，也缺乏公開標準的大數(shù)據(jù)集的支持。

　　今年以來，F(xiàn)acebook發(fā)布面向監(jiān)督學習的5萬小時的英文audiobook數(shù)據(jù)集Multilingual LibriSpeech；SpeechColab發(fā)布1萬小時的多領域英文數(shù)據(jù)集GigaSpeech。受這些工作的啟發(fā)，同時中文語音識別研究也迫切需要一個標準的大規(guī)模多領域的數(shù)據(jù)集，為此我們設計開發(fā)了WenetSpeech數(shù)據(jù)集。

　　WenetSpeech除了含有10000+小時的高質量標注數(shù)據(jù)之外，還包括2400+小時弱標注數(shù)據(jù)和22400+小時的總音頻，覆蓋各種互聯(lián)網(wǎng)音視頻、噪聲背景條件、講話方式，來源領域包括有聲書、解說、紀錄片、電視劇、訪談、新聞、朗讀、演講、綜藝和其他等10大場景，領域詳細統(tǒng)計數(shù)據(jù)如下圖所示。

　　WenetSpeech所有的數(shù)據(jù)均來源于網(wǎng)絡，其中三分之二的數(shù)據(jù)來自Youtube，三分之一來自Podcast。

　　對于Youtube數(shù)據(jù)，我們人工選擇含有嵌入式硬字幕（字幕嵌入在視頻流中，非外掛字幕）的視頻資源，并構建了如下圖的基于OCR的系統(tǒng)進行數(shù)據(jù)挖掘，流程如下：

　　文本檢測，在當前視頻幀上進行文本檢測。

　　字幕位置校驗，判斷檢測到的文本區(qū)域是否為合法的字幕區(qū)域。

　　字幕切換檢測，已得到字幕位置和區(qū)域，在連續(xù)的視頻幀上對該區(qū)域進行檢測，直至該區(qū)域的字幕變化為止，得到字幕的起始和結束時間。

　　文本識別，將字幕區(qū)域進行OCR識別，得到文本。

　　將3中對應時間的音頻提取出來，結合4中的文本，即得到字幕文本和該文本對應的音頻，也就是語音識別訓練中所需的文本和語音的候選平行數(shù)據(jù)。

　　下圖中給出該OCR系統(tǒng)在不同場景下的幾個典型示例。圖中綠色的框為檢測到的所有文字區(qū)域，紅色的框為判定為字幕的文字區(qū)域，紅色框上方的文本為OCR的識別結果�？梢钥吹�，該系統(tǒng)正確的判定了字幕區(qū)域，并準確的識別了字幕文本，同時經(jīng)過我們測試，發(fā)現(xiàn)該系統(tǒng)也可以準確判定字幕的起始和結束時間。

　　對于Podcast數(shù)據(jù)，我們使用國內最好的商業(yè)語音識別系統(tǒng)之一，對Podcast數(shù)據(jù)進行切分，并生成切分后音頻和其所對應的文本作為候選平行數(shù)據(jù)。

　　OCR字幕識別和ASR語音轉寫生成的候選平行數(shù)據(jù)中不可避免的存在一些錯誤，如人工字幕本身有錯誤，字幕時間不準，OCR識別錯誤，轉寫錯誤等。為了檢測該錯誤，WenetSpeech中提出一種基于端到端的自動標注錯誤檢測算法，如下圖所示。該算法首先根據(jù)候選平行數(shù)據(jù)的文本(ref)構建一個一個強制對齊圖，該圖中允許在任意位置進行刪除、插入和替換操作。然后將候選平行數(shù)據(jù)的語音輸入到該圖進行解碼得到識別結果(hyp)，最終計算ref和hyp的編輯距離并做歸一化從而得到該候選平行數(shù)據(jù)的置信度。當候選語音和文本一致性高時，ref和hyp一致性高，置信度高，反之，當候選語音和文本一致性低時，置信度低。

　　WenetSpeech中選取置信度>=95%的數(shù)據(jù)作為高質量標注數(shù)據(jù)，選取置信度在0.6和0.95之間的數(shù)據(jù)作為弱監(jiān)督數(shù)據(jù)。關于該算法的詳細內容，請參考我們的論文。

　　排行榜

　　除了訓練中校驗用途的Dev集外，我們還設計了兩個人工精標測試集，互聯(lián)網(wǎng)測試集Test_Net和會議測試集Test_Meeting，作為“匹配”和“不匹配”測試，同時提供三個語音識別主流工具包（Kaldi，ESPNet，WeNet）上搭建的基線系統(tǒng)，方便大家復現(xiàn)。在10000+小時的高質量標注數(shù)據(jù)上，目前三個系統(tǒng)的語音識別率如下表所示（結果為MER%，中文算字錯誤，英文算詞錯誤）。

　　雖然WenetSpeech將開源中文語音識別訓練數(shù)據(jù)規(guī)模提升到一個新的高度，然而我們希望進一步進行擴展和完善：

　　從領域角度，現(xiàn)有數(shù)據(jù)集在口音、中英文混合、會議、遠場、教育、電話、語音助手等場景仍覆蓋不足。

　　從數(shù)據(jù)量角度，現(xiàn)有的2萬+小時的總數(shù)據(jù)，對于無監(jiān)督學習仍然遠遠不夠。

　　因此，WenetSpeech在設計之初，就考慮到了未來做進一步擴展。目前我們已經(jīng)開始WenetSpeech 2.0的工作，并且在2.0中，我們希望更多的行業(yè)機構和開發(fā)者能參與進來，能夠集行業(yè)之力更好、更快的去做一個更大更泛化的數(shù)據(jù)集，從而進一步反哺和造福整個行業(yè)。如果您或者您的機構有興趣和意愿參與WenetSpeech 2.0的數(shù)據(jù)合作，請微信或者郵箱聯(lián)系以下作者（非誠勿擾）。

　　感謝西北工業(yè)大學、出門問問、希爾貝殼、騰訊會議天籟實驗室、華為升思MindSpore、西安未來人工智能計算中心對該工作的支持；感謝WenetSpeech團隊的各位小伙伴夜以繼日的努力；感謝都家宇和陳果果對該工作提出的寶貴意見。