數(shù)據(jù)采集介紹及其應用

2003/07/04

　　作為一名資深的電信系統(tǒng)集成營銷人員，我經(jīng)常接觸系統(tǒng)營運商、CTI呼叫/服務中心。近來最熱門的話題是數(shù)據(jù)采集和數(shù)據(jù)存儲。而且我們的客戶、供應商、銀行業(yè)職員、一些業(yè)務主管以及象客戶關(guān)系經(jīng)理、直銷經(jīng)理、業(yè)務計劃主管、財務管理者和CIO等職能部門的經(jīng)理們也在談論這一話題。

　　讓我來舉例說明那些呼叫中心正面臨的典型的工作任務/目標和難題：

　　1． 一家臺灣的呼叫中心為移動/固定電話客戶和供應商提供有接線生服務的呼叫業(yè)務和預付費電話卡業(yè)務。該呼叫中心每天要處理數(shù)千次呼叫、監(jiān)控每一個呼叫中心的呼叫業(yè)務量和處理情況，以確保最佳的客戶滿意度。為使呼叫中心的工作達到最優(yōu)化，他們實施客戶基礎(chǔ)管理和在線系統(tǒng)，可以實現(xiàn)象呼叫業(yè)務量、每次呼叫費用分析、呼叫卡使用和客戶優(yōu)選設(shè)置的自動報告。他們對打進電話或網(wǎng)絡查詢提供含正確數(shù)據(jù)的實時業(yè)務。即使這樣，該呼叫中心還是有巨大的壓力，電信營運商將在象中國這樣的地區(qū)以較低的營運成本的呼叫中心取代他們。

　　2． 南美呼叫中心

　　由于南美地區(qū)電信壟斷的打破，電信業(yè)在這一領(lǐng)域正在蓬勃發(fā)展。以智利電信公司為例，壟斷電信公司為客戶服務的成本很高，這為新的玩家（從互聯(lián)網(wǎng)業(yè)務供應商到移動電話公司）進入市場提供了方便之門。隨著語音IP技術(shù)和多業(yè)務網(wǎng)絡的興起，客戶比以前有越來越多的選擇。由于基本的電信業(yè)務已成為商品，獲勝者將屬于那些能夠提供最佳客戶服務的公司。

　　以上例子表明，他們正致力于通過以下性能指標改善其服務：

- 增加客戶忠誠度和壽命價值。
- 提高銷售和營銷方案的有效性。
- 通過監(jiān)控呼叫中心的營運狀況來最大限度地提高響應速度。
- 增加產(chǎn)品、服務和客戶的越區(qū)銷售收入。

　　通過分析呼叫通信量、網(wǎng)絡通信量和及其使用模式來使網(wǎng)絡性能最優(yōu)化。

　　當今的電信市場受基于成本和業(yè)務增長的挑戰(zhàn)。他們需要更強有力的武器從其日常的大量客戶的基礎(chǔ)數(shù)據(jù)中發(fā)掘極具價值的東西。當今由專家推薦的武器是“商業(yè)情報”，而獲取情報的關(guān)鍵技術(shù)是數(shù)據(jù)采集、數(shù)據(jù)存儲和在線分析處理。

什么是數(shù)據(jù)采集?

　　根據(jù)Gartner研究機構(gòu)的定義，數(shù)據(jù)采集是指通過查看數(shù)據(jù)庫中存儲的大量數(shù)據(jù)來發(fā)現(xiàn)有意義的和新的相互關(guān)系、模式及趨勢和使用模式識別技術(shù)和統(tǒng)計的、精確的技術(shù)的過程。

　　這些相互關(guān)系、模式和趨勢描述按科學的方法支持獲得競爭優(yōu)勢的商業(yè)預測和聯(lián)合決策。同時它也可以解釋為一種從大量原始數(shù)據(jù)中提取有價值的知識的過程，而一般人無法從大量數(shù)據(jù)中發(fā)現(xiàn)這種知識。沒有專用工具的分析家們不會再明白為作出業(yè)務決策而需要處理的大量數(shù)據(jù)的含義。數(shù)據(jù)采集使得在原始數(shù)據(jù)中發(fā)現(xiàn)相互關(guān)系和模式的過程自動化并提供既可用于自動化決策支持系統(tǒng)（DSS）也可被分析家評估的結(jié)果。應向這個客戶推出何種商品？

- 某個客戶對一個計劃好的促銷作出反應的可能性有多大？
- 能否預測準備在下一個交易時段買進或賣出的最有利可圖的有價證券？
- 這個客戶是會拖欠貸款還是按時償還貸款？
- 對這個病人作出的醫(yī)療診斷結(jié)果是什么?
- 一個電話或能量網(wǎng)絡的最高載荷會有多大？
- 如何采集和跟蹤網(wǎng)絡行為數(shù)據(jù)？

　　如果能夠明確發(fā)現(xiàn)和利用隱藏在你的數(shù)據(jù)庫中的數(shù)兆字節(jié)的數(shù)據(jù)里的信息，那么以上這些問題會迎刃而解。為被研究的系統(tǒng)建模和在數(shù)據(jù)庫中發(fā)現(xiàn)連接變量的關(guān)系是數(shù)據(jù)采集的主題。

數(shù)據(jù)采集不只是分析處理

　　數(shù)據(jù)采集系統(tǒng)可以自動記錄以前的被研究的歷史，它明確地敘述和測試有關(guān)系統(tǒng)的假設(shè)。通過數(shù)據(jù)采集，用戶可以發(fā)現(xiàn)模式并自動建模，而無需確切知道用戶在尋找的內(nèi)容。所建立的模式可以是敘述性的，也可以是預期性的。這可以說明事件發(fā)生的原因（對格式化模式）以及下一次可能發(fā)生的事件（預期）。

　　當有關(guān)重要系統(tǒng)的簡明而有價值的知識被發(fā)現(xiàn)時， 這種知識能夠被合并或連接到聯(lián)合決策支持結(jié)構(gòu)中， 這有助于執(zhí)行經(jīng)理作出明智的決策。簡而言之，數(shù)據(jù)采集是企業(yè)決策支持系統(tǒng)結(jié)構(gòu)(DSS)中的一個新的組成部分。

　　它補充和結(jié)合其它象詢問、報告、在線分析處理、數(shù)據(jù)顯示和傳統(tǒng)統(tǒng)計處理等DSS性能。不象傳統(tǒng)數(shù)據(jù)庫那樣，它們分布在每一個獨立的部門中，很難將每一個數(shù)據(jù)庫其合并到一個庫中。

　　在線分析處理包括在線交易處理（象銀行業(yè)交易）和在線分析處理，它們都是非常普通的方法。但是數(shù)據(jù)采集旨在發(fā)掘更深層次的東西，并發(fā)現(xiàn)模式標準。

數(shù)據(jù)采集有何作用?

　　確定最佳前景，象對待客戶一樣留住它們。
僅僅根據(jù)最佳前景重點集中進行營銷，你會節(jié)省時間和金錢，從而提高營銷行動的有效性。

預測越區(qū)銷售的機會并作出推薦

　　無論你是采用傳統(tǒng)的還是基于網(wǎng)站的銷售方式，你都可以幫助客戶迅速定位他們感興趣的產(chǎn)品并同時提升與你的客戶溝通的價值。

獲得影響銷售和利潤趨勢的參數(shù)

　　你是否認為可以通過OLAP工具來做到這一點? 的確如此，OLAP能夠幫助你驗證假設(shè)- 但唯一的前提是你需要知道提問的問題。在大多數(shù)案例中，你沒有關(guān)于影響銷售的參數(shù)組合線索。在這類情形下，數(shù)據(jù)采集是你唯一的真實的選擇。

市場劃分和通信個人化

　　可能有一系列獨特的客戶、患者或自然現(xiàn)象需要通過不同的方式來對待。如果你有一個廣泛的客戶群，你需要選定包括不同產(chǎn)品和信息的不同的目標，以優(yōu)化市場營銷活動。

數(shù)據(jù)采集有助于減少人們憑猜測所做的工作

　　有時會出現(xiàn)以下兩種情況，當分析家們在尋找復雜的多個從屬因素時，他們所做的處理數(shù)據(jù)顯示出人腦的不足以及在從事這樣的分析時缺乏目的性。一個專家會一直成為以前研究其它系統(tǒng)的經(jīng)驗的代表。

數(shù)據(jù)采集具有機器改進的低成本

　　使用自動數(shù)據(jù)采集系統(tǒng)的另一個好處是這個過程有比雇用經(jīng)過嚴格培訓的專業(yè)統(tǒng)計員低得多的成本。雖然數(shù)據(jù)采集不能完全消除人類對任務的參與，但它極大地簡化了工作并允許一個非統(tǒng)計和編程專業(yè)的分析家管理從數(shù)據(jù)中采集信息的過程。

數(shù)據(jù)采集的任務

預測
　　從現(xiàn)有案例中獲取模型和利用開發(fā)的模型預測未來的目標變量的價值。

分類
　　發(fā)現(xiàn)將記錄歸并到幾個離散類中的功能。

關(guān)系檢測
　　為已選擇的目標變量搜尋最有影響的獨立變量。

外部建模
　　發(fā)現(xiàn)描述各種變量間相關(guān)性的明確的外部模式。

集群
　　識別一系列彼此相似但不同于數(shù)據(jù)的其余部分的記錄。通常，提供最佳集群的變量也可以被識別。

偏差檢測
　　確定在源于以前或期望的值的數(shù)據(jù)測量中所產(chǎn)生的最重要的變更。

市場目標分析
　　就象處理交易數(shù)據(jù)以便發(fā)現(xiàn)銷量很好的產(chǎn)品系列。人們也在尋求識別最佳產(chǎn)品的指南。

　　上述應用到具體對象中的數(shù)據(jù)采集的方法仍需參考以下標準：
- 獲得計算結(jié)果的關(guān)鍵控制
- 已開發(fā)的經(jīng)驗模型的解釋
- 搜索過程的自動控制的程度和輕松的使用

　　為建立從更加傳統(tǒng)的數(shù)據(jù)分析方法通往數(shù)據(jù)采集方法的橋梁， 我們要從面向?qū)ο蠓治鱿到y(tǒng) (OLTP)和統(tǒng)計軟件包轉(zhuǎn)向步進順序：

1. 定義需要從數(shù)據(jù)庫獲取的項目和數(shù)據(jù)，
2. 進行實驗設(shè)計，
3. 選擇合適的建模技術(shù)，
4. 進行實際的現(xiàn)場測試，
5. 更新和維護系統(tǒng)

　　原始數(shù)據(jù)采集分析按以下方式分類：
- 定向分析：包括分類、預算和預測等。
-非定向分析：包括集群、同類分組和關(guān)聯(lián)法則。

　　當你定義需要從數(shù)據(jù)庫獲取的項目和數(shù)據(jù)，以處理數(shù)據(jù)采集時，你需要在進行實際的現(xiàn)場測試前進行實驗設(shè)計。

　　通常，人們會問應如何有效地建模，當然，這要取決于公司目標、問題和數(shù)據(jù)類型的選擇。數(shù)據(jù)采集應用建模方法和軟件工具如下：
- 中性網(wǎng)絡
- 演進規(guī)劃
- 基于存儲器的論證
- 決策圖表
- 起源算法
- 非線性回歸方法
- 嵌入式工具 (OLAP-輔助工具，特別詢問)

　　數(shù)據(jù)采集的軟件算法和工具不限于結(jié)構(gòu)化數(shù)據(jù)，它還適用于非結(jié)構(gòu)化數(shù)據(jù)和網(wǎng)站文本。

　　現(xiàn)以決策樹為例進行說明，決策樹算法提供將數(shù)據(jù)記錄分類為多個分類等級的任務。通過產(chǎn)生一組競爭分類樹（每個樹對應相應的等級），從而獲得解決方案。這種DT算法開發(fā)出最佳的分類樹，這些樹的分支包括對在相應等級中的記錄進行分類的可能性。

　　該算法有著眾多的應用。例如，它可以用來建立標準，即：強大的醫(yī)療專家系統(tǒng)在醫(yī)師的幫助下通過對患者的自動化診斷完成復雜的任務。

　　DT算法也是將包含自然語言文本的記錄以預先確定的等級進行分類的無價之寶。

　　該算法也常常與文本分析算法結(jié)合使用。例如， 借助文本分析由分類樹產(chǎn)生的分類標準可用于自動化分類和發(fā)往普通e-mail地址的e-mail 訊息的指令發(fā)送。

Web數(shù)據(jù)采集

　　Web智能可用來開發(fā)電子商務。它能夠分析、設(shè)法交互聯(lián)系和訪問大量的原始網(wǎng)站數(shù)據(jù)，以迅速識別趨勢和模式。 很難從網(wǎng)站中捕獲真正的訪問者智能，因為很多人在網(wǎng)站中留下虛假信息。

　　訪問者智能可以精確判斷在線營銷活動程序、目錄編寫、研究和銷售規(guī)劃等。

　　對web敏感的公司正在開發(fā)一個web采集系統(tǒng)。OLAP 和特別詢問技術(shù)也適用于基于實時處理和以分鐘計時的報告的web 采集。

文本采集
　　除結(jié)構(gòu)數(shù)據(jù)外，經(jīng)常出現(xiàn)的現(xiàn)有數(shù)據(jù)包括自然記錄。但是機構(gòu)獲得的有些知識是以文本文件表述的。因此要考慮以下情形：

可擴展的調(diào)查詢問
　　分析在可擴展的客戶調(diào)查中捕獲的數(shù)據(jù)。

呼叫中心的記錄
　　處理以保險索賠為內(nèi)容的自然語言記錄或呼叫中心接線員所做的記錄。

對接收到的E-mail進行分類
　　自動對發(fā)往普通支持地址的電子郵件進行分類，并重新將每一個郵件分發(fā)至合適的專家信箱中進行有效的處理。

網(wǎng)站商業(yè)采集
　　舉例說明，它可以自動跟蹤諸如產(chǎn)品目錄、為最大限度地實現(xiàn)越區(qū)銷售或就地廣告而設(shè)計的購物推車以及衡量營銷方案有效性的促銷的網(wǎng)站商業(yè)活動。

圖形化工具
　　使用該工具可以瀏覽諸如網(wǎng)頁微型畫、橫幅廣告和地圖等基本內(nèi)容。也可以通過帶探測引擎的鏈接分析，它可以揭示和清楚表明個體的直觀特征間的關(guān)聯(lián)性的復雜圖案。

小結(jié)

　　當今的數(shù)據(jù)采集是通過數(shù)據(jù)庫和經(jīng)由互聯(lián)網(wǎng)提供可獲得的數(shù)據(jù)資源的數(shù)字采集解決方案。這是一種含低總成本和顯著投資回報的快速部署。該程序是精確的分析系統(tǒng)并以實時或在線形式運行。它也是行業(yè)領(lǐng)導人正在尋找的可預期的和切實可行的應用程序。這就是數(shù)據(jù)采集的魔力。

* 本文經(jīng)過GreaterChinaCRM許可轉(zhuǎn)載

GreaterChinaCRM (www.gccrm.com)