發布時間：2022-09-22 13:52:52
序言：寫作是分享個人見解和探索未知領域的橋梁，我們為您精選了8篇的數據挖掘技術分析論文樣本，期待這些樣本能夠為您提供豐富的參考和啟發，請盡情閱讀。
關鍵詞：Web數據挖掘，邊防情報，應用模式
隨著科學技術的突飛猛進，社會信息化的快速發展, 以信息技術為主要標志的高新技術革命已經引起了社會各個領域的深刻變革，網絡已經成為社會生活不可分割的一部分。每天有數以億計的網民在互聯網上瀏覽、信息，互聯網已經成為信息時代最為重要的信息集散地。對于邊防情報部門而言，研究如何通過互聯網和公安網快速高效地進行情報收集，使各項工作都圍繞收集、運用情報而展開，已經成為當務之急。Web數據挖掘技術的興起，為邊防情報部門開展工作提供了高效的工具與手段。
一、Web數據挖掘技術
Web數據挖掘技術是由傳統數據庫領域的數據挖掘技術演變而來。數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的原始數據中，提取隱含在其中的、事先未知的、但又潛在有用的信息的過程；它是從數據倉庫中提取出可信的、新穎的、有效的，并能被人理解的模式的高級處理過程。數據挖掘出現于20世紀80年代，它不僅面向特定數據庫的簡單檢索查詢調用，而且要對這些數據進行深入的統計、分析和推理，發掘數據間的相互關系，完成從業務數據到決策信息的轉換。數據挖掘技術把人們對數據的應用，從低層次的末端查詢提高到為決策者提供決策支持。隨著互聯網的蓬勃發展，數據挖掘技術被運用到網絡上，并根據網絡信息的特點發展出了新的理論與方法，演變成為Web數據挖掘技術。Web數據挖掘是指從與WWW有關的資源和行為中抽取人們感興趣的、有用的模式和隱含信息，所挖掘出的知識能夠用于信息管理、查詢處理、決策支持、過程控制等方面。Web數據挖掘已經成為對互聯網信息進行深度分析、開發與利用的重要手段。
二、Web數據挖掘的分類
（一）Web內容挖掘
Web內容挖掘是指從互聯網上檢索資源，從相關文件內容及描述信息中獲取有價值的潛在信息。根據處理對象的不同，Web內容挖掘分為文本挖掘和多媒體挖掘。網上信息形式多以文本信息的形式存在。文本可以被看作是一種順序數據，目前有許多適合于順序數據的挖掘方法。Web文本信息挖掘的主要任務一般限定在文本特征的表示、文本的總結，以及文本的分類和聚類等方面。互聯網現有大量多媒體信息。對該類信息進行分析挖掘，找出合適的描述模式，闡述并理解其中的意義，可提高該類信息的識別度及檢索效率，也是Web多媒體挖掘的目標。論文大全。目前此方面應用的技術手段主要是語音信息的理解及識別、圖形圖像信息的理解及識別，以及信息檢索等。
(二) Web結構挖掘
Web結構挖掘的目標是Web文檔的鏈接結構，目的在于揭示蘊涵于文檔結構中的信息，主要方法是通過對Web站點的結構進行分析、變形和歸納，將Web頁面進行分類，以利于信息的搜索。對Web頁的鏈接結構進行分類，可以識別判斷頁面與文檔間的各種屬性關系。由于Web頁的內外部存在具有各種屬性關系的結構信息，通過研究Web結構信息，可得到相關主題、相關分類的頁面集合，生成關于某個Web站點的結構和頁面結構的概括信息。因此，結構挖掘的重點在于鏈接信息。
(三) Web日志挖掘
Web日志挖掘是從服務器訪問日志、用戶策略、用戶對話和事物處理信息中得到用戶的訪問模式和感興趣的信息，并盡可能預測用戶的行為。通過對用戶所訪問頁面、文檔等的技術分析，Web日志挖掘可以找出相關主題間、相關內容間的聯系規律。訪問分析又稱使用分析，主要使用用戶基本信息如IP、ID、URL、日期、時間等進行處理。由于Web服務器的Log日志存在完整的結構，當用戶訪問Web站點時，相關的頁面、文檔、鏈接等信息在日志中都做了相應的記錄。Web日志挖掘不僅要找出用戶經常訪問的URL路徑，而且也要找出用戶有可能要訪問的相關站點的鏈接。利用這種方法，可以獲知互聯網使用者的行為偏好。
三、Web數據挖掘的主要方法
（一）統計分析方法
統計分析（statistical）方法是通過對總體中的樣本數據進行分析，從而描述和推斷能夠揭示總體中的內部規律的信息和知識的方法。為了適應復雜信息的挖掘需求，往往依賴有明確目標和任務的概率模型。數據挖掘的統計模型要適合于所要提取的對象。利用統計分析技術可以對我們感興趣的內容進行蘊含信息的挖掘。如對互聯網日志進行統計可以獲得有關站點使用的基本信息，包括頁面訪問次數、日平均訪問人數、最受用戶歡迎的頁面等。除此以外，還可以進行錯誤分析，如非法用戶登錄等。這些統計數據都是基于用戶瀏覽頁面的時間、用戶的瀏覽路徑和路徑長度等信息。這些統計數據對于提高系統的性能、安全性以及優化站點結構大有幫助。目前已有許多互聯網流量分析工具實現了這些基本的統計功能。
（二）關聯分析方法
關聯分析（associationanalysis）用于發現關聯規則，所謂關聯規則是指在大量的數據中所隱含的項集之間的關系以及項集的頻繁模式。用戶在瀏覽網頁時，經常會在同一次訪問中瀏覽一些無順序關系的頁面集合，挖掘發現的這些頁面之間內在的聯系，就是就表現為它們之間存在一定的關聯。如果關聯規則中的頁面之間沒有超鏈接，則應該引起我們的特別關注。通常使用可信度、支持度、期望可信度和作用度這四個參數來描述關聯規則。
（三）分類方法
分類（classification）是找出描述并區分數據類或概念的模型（或函數），以便能夠使用模型預測類標記未知的對象類。分類不同于聚類，聚類無須事先制定標準，而能從信息本身出發，利用算法自動分類；而分類的準則是事先定好的。在Web數據挖掘中，分類主要是將用戶配置文件歸屬到既定的用戶類別，網頁根據內容的屬性分類等。分類技術要求抽取關鍵屬性描述已知的信息，可以通過指導性歸納學習算法進行分類，主要包括決策樹分類法、貝葉斯分類法、最近鄰分類法等。
（四）聚類分析方法
聚類（clustering）就是將數據對象分組成為多個類或簇，在同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大。聚類分析能夠將一批數據按照它們在性質上的親密程度，在沒有先驗知識的情況下自動進行分類，每一類都是大量具有相似性個體的集合，不同類之間具有明顯的區別。聚類分析是一種探索性分析，在分類過程中，人們不必事先給出一個分類的標準，聚類分析能夠從信息本身出發，自動進行分類。例如在Web日志挖掘中，聚類分析主要集中于用戶聚類和頁面聚類。用戶聚類將具有相似瀏覽行為的用戶歸類；頁面聚類則是將內容相關的頁面歸類，搜索引擎可以利用這些信息為某個查詢提供用戶感興趣的相關超鏈接。
四、Web數據挖掘在邊防情報工作中的應用模式
（一）Web數據挖掘在建立公安網搜索引擎中的應用
目前，邊防情報部門所需的公開信息大部分來源于互聯網和公安網，情報人員通過使用搜索引擎來快速查詢需要的信息，然而公安網的搜索引擎存在較大局限性，搜索出來的結果存在大量冗余信息，不能滿足情報人員的需求。因此，在搜索引擎中通過借鑒Web數據挖掘技術可以有效地提高查準率和查全率，從而給情報人員提供較有準確的信息。具體應用方法如下:
1.根據公安網的頁面內容，自動形成摘要
目前，使用公安網搜索引擎進行檢索，檢索的結果文檔是以簡單摘要形式出現的，它表現為機械地提取網頁內容取前幾句為摘要，這種僅通過位置進行自動摘要是很難真正反映出網頁中的信息內容。論文大全。在文本挖掘中的文本抽取技術是指從文檔中抽取出關鍵信息，然后以簡潔的形式對文檔的信息進行摘要或描述，即文本抽取技術是根據Web文檔本身的內容，從Web頁中提煉出重要信息形成文檔摘要，而不是根據位置來進行文本內容的概括，因此它更能夠反映出Web文檔中的真正信息。論文大全。這樣，情報人員通過瀏覽關鍵詞就可以了解網頁的大致內容，從而決定是否使用該信息。
2.根據檢索結果，自動進行文檔聚類
文本聚類是文本分類的逆向過程，是指將文檔集中的文檔分為更小的簇，要求同一簇內文檔之間的相似性盡可能大，而簇與簇之間的關系盡可能小，這些簇相當于分類表中的類目。情報人員在使用搜索引擎時，會得到大量的返回信息組成的線性表，而其中很大一部分是與其查詢請求不相關的，于是通過對檢索結果的文檔集合進行聚類，可以使得與用戶檢索結果相關的文檔集中在一起，并遠離那些不相關的文檔。再將處理以后的信息以超鏈接結構組織的層次方式可視化地提供給情報人員，從而大大減短瀏覽時間。
（二）Web數據挖掘在建立公安網站中的應用
公安網網站是公安網信息的容納處，我們可以利用Web數據挖掘技術有效地組織網站信息，建立一個資源優化的網站，也就是說通過對網站內容的數據挖掘，主要是對文本內容的挖掘，如采用自動歸類技術實現網站信息的層次性組織；以及結合對用戶訪問日志記錄信息的挖掘，把握用戶的興趣，開展網站信息推送服務。
1.采用自動歸類技術，實現公安網網站信息層次化
一般而言，網站提供給訪問者的信息和服務應該是按優先次序進行排列，網站維護人員應該把重要的信息放在醒目的位置，因此在網站維護時，通過對網站內容挖掘和Web日志挖掘，可以有效地組織網站信息。例如:采用自動歸類技術實現網站信息層次化；分析訪問者的訪問行為，可為用戶提供智能化、個性化服務。還可根據訪問者的訪問興趣、訪問頻度、訪問時間，動態地調整頁面結構。
2.采用日志挖掘技術，實現公安網網站信息推送服務
網站可以根據訪問者的瀏覽情況，發現訪問者的興趣，定期為注冊用戶提供相關信息，并且調整網站中網頁的鏈接結構和內容，為訪問者提供個人定制服務。具體步驟為：首先將日志文件中的數據經過預處理，形成原始數據庫；然后獲取用戶的訪問模式，放入用戶訪問模式數據庫；再通過數據挖掘和模式分析形成知識數據庫，Web服務器自動更新知識數據庫，采用動態主頁設計方法，根據用戶的知識信息，提供相應的個性化主頁。在數據預處理過程中會話識別是重要的一步，它取決于用戶訪問模式的有效性和準確性。為提高準確性，可采用Cookie法進行會話識別。在呈現個性化主頁時，利用用戶的IP地址和Cookie值查詢知識數據庫，發現用戶頻繁訪問的路徑，并自動形成相應鏈接，根據相似用戶群和相關Web頁推薦給用戶。由于是經過挖掘和分析后所產生的動態主頁，相對于一般的主頁，其針對性更強，更受用戶的歡迎。
參考文獻：
[1]葉鷹.情報學基礎教程[M].科學出版社,2006
[2]栗湘等.Web挖掘應用研究[J]情報理論與實踐,2005,(6)
[3]曼麗春等.Web數據挖掘研究與探討[J].現在電子技術,2006,(8)
[4]徐險峰.基于Web的網絡數據挖掘技術[J].情報雜志,2005,(3)
文獻標識碼：A
計算機領域新技術應用使各行業生成、收集和存儲了大量數據。大量信息數據給社會帶來方便也帶來大堆問題：信息過量，難以消化；信息真假難以辨識；信息安全難以保證；信息形式不一致而難以統一處理。一般數據庫系統可高效實現數據錄入、查詢與統計等功能，卻無法發現數據存在的關系和規則。如何辨析信息和如何不被信息淹沒已經成為現實問題。一、數據挖掘直面數據豐富而知識匱乏的挑戰
面對信息社會帶來的“數據豐富而知識匱乏”的現實挑戰，數據挖掘（Data Mining，DM）和知識發現（Knowledge Discovery，KD）技術應運而生，伴隨計算機新技術和新理論的出現而發展，在電信與銀行，生物及大型超市等領域運用效果顯著。數據挖掘有時又稱作數據庫知識發現（KDD），此術語出現于1989年，從數據集識別有效與新穎的，潛在有用的，最終可理解的模式過程。KDD過程常指多階段處理，包括數據準備與模式搜索，知識評價及反復修改求精；該過程要有智能性和自動性。有效性指發現新數據仍保持可信度，新穎性要求模式應是新的，潛在有用性指發現的知識將來有效用，最終可理解性要求發現模式能被用戶所理解，幾項綜合在一起稱為數據的科學性豍。
數據挖掘的界定。數據挖掘是從存放在數據庫與數據倉庫或其它存儲信息庫中的海量數據挖掘有趣知識過程。一般的定義是：數據挖掘是從大量、不完全、有噪聲、模糊、隨機的數據中抽取隱含其中，事先不為人所知、潛在、有效、新穎、有用和最終可理解知識的過程。研究人工智能學術人員和計算機技術專家通常所說數據挖掘名稱各異但實質一樣。自然世界數據以多種多樣形式存放，除最常見數字與字符等類型，還有許多復雜數據。復雜類型數據挖掘包括：空間數據挖掘和多媒體數據挖掘，時序數據挖掘和文本數據挖掘，Web數據挖掘與流數據挖掘等。數據挖掘與傳統數學統計分析有區別，數據挖掘在沒有明確假設前提下自動建立方程，可采用不同類型如文本、聲音、圖片等的數據挖掘興趣模式；統計數據分析工具側重被動分析，需建立方程或模型來與假設吻合，最終面對數字化數據；數據挖掘是主動發現型與預測型數據分析工具，分析重點在于預測未來未知潛在情況并解釋原因。二、軟件工程的產生與數據實用性
軟件工程概念源自軟件危機，20世紀60年代末的“軟件危機”這個詞語頻繁出現計算機軟件領域，泛指計算機軟件開發和維護所遇到的系列嚴重問題。在軟件開發和維護過程中的軟件危機表現為軟件需求的增長得不到滿足，軟件開發成本和進度無法控制，軟件質量難保證，軟件維護程度非常低，軟件成本不斷提高，軟件開發生產率趕不上計算機硬件發展和各種應用需求增長等。軟件危機產生的宏觀原因是軟件日益深入社會生活，軟件需求增長速度超過軟件生產率提高，具體軟件工程任務的許多困難來源于軟件工程所面臨任務和其他工程之間各種差異以及軟件和其他工業產品的差異，即特殊性。軟件開發和維護過程存在的問題，與計算機軟件本身特點有關，軟件開發過程進度很難衡量，軟件質量難以評價，管理和控制軟件開發過程困難等。計算機軟件專家認真研究解決軟件危機方法，逐步形成軟件工程概念，開辟工程學新領域即軟件工程學。軟件工程用工程、科學和數學原理與方法研制與維護計算機軟件有關技術及管理的方法。
軟件工程針對數據的處理具有系統的規范的系列辦法。1993年IEEE（電氣和電子工程師學會）給軟件工程綜合定義為：將系統化、規范和可度量的方法應用于軟件開發、測試、運行和維護全過程，即將工程化應用于軟件數據等設計中。軟件工程包括方法、工具和過程三個要素，方法是完成軟件工程項目技術手段；工具支持軟件開發、管理與文檔生成；過程支持軟件開發各個環節控制與管理。軟件工程的發展伴隨計算機與數據等相關技術的發展而進步。三、軟件工程的知識庫應用數據挖掘技術
蘊含數據的特殊軟件的生命周期也是一個極其復雜演變過程，各個階段都會產生大量軟件數據。在設計文檔與程序源代碼，交流歷史與Bug報告，軟件運行日志等方面產生的大量數據，必然存在著對軟件開發和維護具有重要價值的信息。如能充分利用數據挖掘技術發現這些數據隱藏的知識，可提高開發效率并避免錯誤，增強軟件系統運行穩定性和可信性。利用數據挖掘技術處理軟件產生大量數據想法在上世紀70年代就出現，但直到最近軟件數據挖掘領域才受到越來越多學者關注豏。軟件工程國際會議出現關于軟件數據挖掘研究工作組，許多數據挖掘會議與期刊陸續出現多篇高質量與軟件工程相關學術論文，軟件數據挖掘已成為越來越關注熱點的研究領域。
[關鍵詞]數據挖掘 風險評估 集裝箱
一、引言
隨著我國對外貿易的快速發展，進境箱量顯著增長。“十一五”期間，檢出攜帶疫情及有毒有害物質箱數呈持續增長趨勢。僅2010年度，共受理進境集裝箱申報3699.06萬箱，同比增長14.04%，檢出攜帶疫情或有毒有害物質的43.66萬箱，比去年同期提高了28.20%。進境檢出疫情箱數占查驗箱數的比例（即查驗檢出率）為3.26%，同比提高0.43個百分點。這反映出進境集裝箱攜帶疫情及有毒有害物質情況十分普遍，進境集裝箱檢疫面臨形勢十分嚴峻。
目前，在進境集裝箱檢疫工作中主要采用以人工判斷為主的經驗式方法，效率比較低，工作量繁重，經驗知識傳承性差。但是在多年來的實踐過程中，我們已經積累了大量的經驗和數據。通過數據挖掘技術在已有的數據中發現未知的模式和知識可以為入境集裝箱風險進行評估，并為檢疫業務決策提供輔助支持。
二、數據挖掘技術
數據挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。簡而言之，數據挖掘其實是一類深層次的數據分析方法。數據挖掘已廣泛應用于生物醫學、金融、零售業、電信業、海關監管等領域，并產生了巨大的效益。數據挖掘技術同樣能夠將大量的檢疫數據提煉、轉化為可以理解和應用的模式和知識來指導檢疫業務。
數據分類（DataClassification）是數據挖掘技術的一個重要分支。從根本上說，數據分類就是通過對源數據的特點進行歸納和描述。要進行數據分類，必須使用特定的分類工具，方法主要包括：ID3算法、C4.5算法、SPRINT算法、SLIQ算法、EM算法、AQ算法、CN2算法等。數據分類是數據挖掘的基本功能、重要功能，目前在商業、工業、軍事、生活、海關監管上應用最多，具有非常高的使用價值。
三、數據概念模型
根據從進境集裝箱中檢出疫情及有毒有害物質情況的不同，將檢出問題分為7類，分別是：①人類傳染病和動物傳染病病原體；②植物危性病、蟲、雜草以及其它有害生物；③嚙齒動物、蚊、蠅、蟑螂等病媒生物；④土壤、動物尸體等禁止進境物；⑤動植物殘留物；⑥生活垃圾及其他有毒有害物質；⑦其他問題——7類問題，對應每一類問題需要建立一個可用于數據挖掘的數據概念模型，其主要包括：
（1）7大類問題集裝箱同諸如：①來源地；②箱主公司；③承運人；④貨運方式等特征數據存在哪些未知的、潛在有用的模式和知識，明確對每類問題集裝箱產生影響的特征數據，建立一套對應各類問題集裝箱的風險數據字典；
（2）CIQ數據庫中并不包含所有的特征數據，一些重要的特征數據需要通過與場站、貨運公司的比對才能獲得。同時，要對數據進行采集、清洗、轉換等步驟，建立可以用于數據挖掘的數據概念模型。
四、風險評估模型
對進境集裝箱進行風險評估主要用到數據挖掘中的重要分支——分類技術，建立和完善風險評估模型關系到風險評估系統研究的成敗，主要研究內容如下：
（1）分類技術有ID3算法、C4.5算法、SPRINT算法、SLIQ算法等，結合檢疫工作實際選擇合適的算法進行數據挖掘，并在實踐中對模型進行修正和完善；
（2）選擇和使用SAS公司提供的SAS/BASE、SAS/STAT、SAS/LAB等模塊化分析工具對7類問題集裝箱進行逐類數據挖掘、建模。
五、典型系統應用開發
基于上述的研究成果，設計實現一個基于數據挖掘技術的進境集裝箱風險評估管理系統，重點關注下面系統，如圖1所示：
（1）面向檢疫查驗人員設計并實現一個基于Web技術的軟件系統，通過此軟件，檢疫管理人員可以將已有風險評估模型軟件化，系統接收進境集裝箱特征數據，自動對風險進行預評估。同時，將用于風險評估的數據獨立于CIQ數據庫存在，為以后進一步完善風險評估模型提供數據庫支持。
（2）面向檢疫查驗人員設計并實現一個軟件終端，考慮到檢疫查驗一線人員工作環境分散、移動的特點，重點面向主流嵌入式系統（Apple、Angel、Symban、Windows-Mobile等）和移動終端（如手機、PDA、iPOD等）展開研發。
圖 基于數據挖掘技術的風險評估系統
六、結論
針對出入境檢驗檢疫部門在對進境集裝箱檢疫查驗中盲目性大、工作效率低等客觀實際，研究一個基于數據挖掘技術的進境集裝箱風險評估模型，并將其軟件化、實用化，通過軟件自動對進境集裝箱進行風險等級評估，指導日常檢疫查驗工作，降低檢驗查驗的盲目性，提升檢疫查驗人員的工作效率，提高把關成效。
參考文獻：
[1]舒軍生.數據挖掘技術在企業信用分類管理系統中的應用.安徽：安徽大學碩士論文.2010
[2]高燕. 基于數據挖掘技術的海關執法評估系統的研究與開發.武漢：武漢理工大學碩士論文.2002
論文關鍵詞：數據挖掘;電子商務;web數據挖掘
1 引言
當前，隨著網絡技術的發展和數據庫技術的迅猛發展，有效推動了商務活動由傳統活動向電子商務變革。電子商務就是利用計算機和網絡技術以及遠程通信技術，實現整個商務活動的電子化、數字化和網絡化。基于internet的電子商務快速發展，使現代企業積累了大量的數據，這些數據不僅能給企業帶來更多有用信息，同時還使其他現代企業管理者能夠及時準確的搜集到大量的數據。訪問客戶提供更多更優質的服務，成為電子商務成敗的關鍵因素，因而受到現代電子商務經營者的高度關注，這也對計算機web數據技術提出了新的要求，web 數據挖掘技術應運而生。它是一種能夠從網上獲取大量數據，并能有效地提取有用信息供企業決策者分析參考，以便科學合理制定和調整營銷策略，為客戶提供動態、個性化、高效率服務的全新技術。目前，它已成為電子商務活動中不可或缺的重要載體。
2 計算機web數據挖掘概述
2.1 計算機web數據挖掘的由來
計算機web數據挖掘是一個在web資源上將對自己有用的數據信息進行篩選的過程。web數據挖掘是把傳統的數據挖掘思想和方法移植到web應用中，即從現有的web文檔和活動中挑選自己感興趣且有用的模式或者隱藏的數據信息。計算機web數據挖掘可以在多領域中展示其作用，目前已被廣泛應用于數據庫技術、信息獲取技術、統計學、人工智能中的機器學習和神經網絡等多個方面，其中對商務活動的變革起到重大的推動作用方面最為明顯。
2.2 計算機web數據挖掘含義及特征
（1） web數據挖掘的含義。
web 數據挖掘是指數據挖掘技術在web 環境下的應用，是一項數據挖掘技術與www技術相結合產生的新技術，綜合運用到了計算機語言、internet、人工智能、統計學、信息學等多個領域的技術。具體說，就是通過充分利用網絡（internet），挖掘用戶訪問日志文件、商品信息、搜索信息、購銷信息以及網絡用戶登記信息等內容，從中找出隱性的、潛在有用的和有價值的信息，最后再用于企業管理和商業決策。
（2）web數據挖掘的特點。
計算機web數據挖掘技術具有以下特點：一是用戶不用提供主觀的評價信息；二是用戶“訪問模式動態獲取”不會過時；三是可以處理大規模的數據量，并且使用方便；四是與傳統數據庫和數據倉庫相比，web是一個巨大、分布廣泛、全球性的信息服務中心。
（3）計算機web數據挖掘技術的類別。
web數據挖掘技術共有三類：第一類是web使用記錄挖掘。就是通過網絡對web 日志記錄進行挖掘，查找用戶訪問web頁面的模式及潛在客戶等信息，以此提高其站點所有服務的競爭力。第二類是web內容挖掘。既是指從web文檔中抽取知識的過程。第三類是web結構挖掘。就是通過對web上大量文檔集合的內容進行小結、聚類、關聯分析的方式，從web文檔的組織結構和鏈接關系中預測相關信息和知識。
3 計算機web數據挖掘技術與電子商務的關系
借助計算機技術和網絡技術的日臻成熟，電子商務正以其快速、便捷的特點受到越來越多的企業和個人的關注。隨著電子商務企業業務規模的不斷擴大，電子商務企業的商品和客戶數量也隨之迅速增加，電子商務企業以此獲得了大量的數據，這些數據正成為了電子商務企業客戶管理和銷售管理的重要信息。為了更好地開發和利用這些數據資源，以便給企業和客戶帶來更多的便利和實惠，各種數據挖掘技術也逐漸被應用到電子商務網站中。目前，基于數據挖掘（特別是web數據挖掘）技術構建的電子商務推薦系統正成為電子商務推薦系統發展的一種趨勢。
4 計算機web數據挖掘在電子商務中的具體應用
（1）電子商務中的web數據挖掘的過程。
在電子商務中，web數據挖掘的過程主要有以下三個階段：既是數據準備階段、數據挖掘操作階段、結果表達和解釋階段。如果在結果表達階段中，分析結果不能讓電子商務企業的決策者滿意，就需要重復上述過程，直到滿意為止。
（2）web數據挖掘技術在電子商務中的應用。
目前，電子商務在企業中得到廣泛應用，極大地促進了電子商務網站的興起，經過分析一定時期內站點上的用戶的訪問信息，便可發現該商務站點上潛在的客戶群體、相關頁面、聚類客戶等數據信息，企業信息系統因此會獲得大量的數據，如此多的數據使web數據挖掘有了豐富的數據基礎，使它在各種商業領域有著更加重要的實用價值。因而，電子商務必將是未來web數據挖掘的主攻方向。web數據挖掘技術在電子商務中的應用主要包含以下幾方面：
一是尋找潛在客戶。電子商務活動中，企業的銷售商可以利用分類技術在internet上找到潛在客戶，通過挖掘web日志記錄等信息資源，對訪問者進行分類，尋找訪問客戶共同的特征和規律，然后從已經存在的分類中找到潛在的客戶。
二是留住訪問客戶。電子商務企業通過商務網站可以充分挖掘客戶瀏覽訪問時留下的信息，了解客戶的瀏覽行為，然后根據客戶不同的愛好和要求，及時做出讓訪問客戶滿意的頁面推薦和專屬性產品，以此來不斷提高網站訪問的滿意度，最大限度延長客戶駐留的時間，實現留住老客戶發掘新客戶的目的。
三是提供營銷策略參考。通過web數據挖掘，電子商務企業銷售商能夠通過挖掘商品訪問情況和銷售情況，同時結合市場的變化情況，通過聚類分析的方法，推導出客戶訪問的規律，不同的消費需求以及消費產品的生命周期等情況，為決策提供及時而準確的信息參考，以便決策者能夠適時做出商品銷售策略調整，優化商品營銷。
四是完善商務網站設計。電子商務網站站點設計者能夠利用關聯規則，來了解客戶的行為記錄和反饋情況，并以此作為改進網站的依據，不斷對網站的組織結構進行優化來方便客戶訪問，不斷提高網站的點擊率。
摘要在對復雜流程制造業生產過程的數據特點進行充分分析的基礎上，緊密結合流程制造業綜合自動化的應用需求，給出了流程制造業數據挖掘的體系框架，分析了流程制造業數據挖掘中的關鍵問題。
關鍵詞：數據挖掘；流程制造業；海量數據
近年來，數據挖掘技術已經在商業、金融、管理、工業等眾多領域廣泛應用并取得了重大進展，但大都僅限于企業的商業信息，在企業的生產過程中應用的還比較少。
目前，在復雜流程制造業生產過程中，由于各種先進工藝和工程技術的廣泛采用，產生和積累了大量的各種類型的歷史數據和當前生產的實時動態數據，這些海量生產數據又包含用于生產和管理的大量的有價值的信息和知識。一方面，為了避免產品的設計知識數據重用率低，無法有效地實現產品配置設計和變形設計，延長了產品的設計周期；另一方面，為了能夠為過程監測、診斷、能效分析、先進控制、優化和調度、管理等各層次提供決策支持，使得流程制造業綜合自動化系統性能達到最優。這就需要一種高效可靠的分析工具，把隱藏在海量數據中的有用的深層次的知識和信息挖掘出來，提取這些數據的整體特征、關聯及對其發展趨勢的預測等，以幫助決策者提出問題、發現問題、分析問題和解決問題。基于流程制造業的生產特點和數據性質以及所面臨的問題，數據挖掘技術是解決流程制造業產生的海量信息數據處理的關鍵技術之一，并且數據挖掘技術也是目前國內外研究的一個熱點。
本文從流程制造業的生產數據的特點及分析需求出發，建立了一般流程制造業數據挖掘的體系結構，并分析了流程制造業數據挖掘中的關鍵問題，總結了數據挖掘方法在流程制造業領域的數據應用技術方向。
一、數據挖掘概念
數據挖掘是近年來隨著人工智能和數據庫技術的發展而出現的一門新興技術。它的發展速度很快，加之它是多學科綜合的產物，目前還沒有一個標準的定義，簡單地說，數據挖掘就是從大量的已知數據中找出隱藏的、可信的、未知的、有用的信息，探索數據中隱藏的規律用來預測未來，其中數據可以放在數據庫、數據倉庫或其他信息庫中。數據挖掘工具能夠從企業數以百萬筆的歷史數據中提取有用的信息，為企業的生產與經營提供決策依據。
數據挖掘過程由以下步驟組成：
1.挖掘主題――明確挖掘的要求、內容及目標；
2.數據預處理――包括數據清理、數據歸約、數據集成與變換、離散化與概念提升等；
3.挖掘算法選擇――包括類的選擇、算法選擇及算法軟件選擇；
4.構造數據挖掘（軟件、硬件）平臺；
5.結果展示及評價。
以上步驟是一個反復迭代的過程，最終目的是在數據中獲得有用的知識。在實踐中，數據挖掘的兩個基本目標往往是預測和描述。預測涉及到使用數據集中的一些變量或域來預測其他我們所關心變量的求知或未來的值；另一方面，描述關注的則是找出描述可由人類解釋的數據模式。因此，數據挖掘活動可分成預測性數據挖掘和描述性數據挖掘。數據挖掘方法大致可分為關聯（Apriori算法）、分類（決策樹算法、粗糙集、人工神經網絡等）、聚類（層次、遺傳算法、劃分法等）三種。 簡而言之，數據挖掘其實是一類深層次的數據分析方法。數據挖掘可以描述為：按企業既定業務目標，對大量的企業數據進行探索和分析，揭示隱藏的、未知的或驗證已知的規律性，并進一步將其模型化的先進有效的方法。
二、流程制造業數據特點
制造業(Manufacturing Industry)是指經物理變化或化學變化后成為了新的產品,不論是動力機械制造,還是手工制作；也不論產品是批發銷售,還是零售,均視為制造。制造業按其產品制造工藝過程特點總體上可概括為離散型制造業和流程制造業兩種。典型的離散型制造行業包括電腦、汽車及工業用品制造等行業；典型的流程制造行業包括化工，食品飲料，制藥，化妝品等以配方為基礎的行業。
流程制造業是工程學科的一個重要研究領域，系統非常復雜，成品一旦生產出來，就不能再提取它，回到它的原始成分。流程制造業整個流程生產過程是一個動態的過程，產出量、物料特性、甚至物料加工路線受到原材料成分波動、操作、加工溫度壓力、設備等等波動的影響，并且不可預知。流程制造業制造過程是連續、在線的，所以說更加強調生產過程的跟蹤和調整，主要靠實時的跟蹤、控制糾偏。基于流程制造業的生產特點，流程制造業數據尤其是實際生產過程中的數據非常復雜，現在的流程制造業生產過程都采用了計算機控制系統定時采集系統的變量和設備狀態，以供顯示、控制之用，日積月累產生大量的冗余數據；同時又由于離散決策變量和連續決策變量同時存在，各種變量的值是在不斷變化的，數據類型也是多樣的，系統中既包括連續過程變量，也包括離散過程變量，使得這些它們之間有較強的耦合及非線性；許多變量的變化快慢各異，采集信號的頻率不同，導致時間上的不同步，在數據記錄上也可能丟失數據，造成數據的不完整；流程制造業系統環境復雜，電、磁、噪聲干擾較強，加之系統的不確定性，導致數據受污染。簡言之，流程制造業數據具有不確定性、動態性、不完整性、多時標性(部分不同變量采用不同的采樣周期)和數據類型多樣性、多模態性，非線性、強耦合性和交錯性等特點，致使全流程的模擬、診斷、決策與優化變得極為困難，而數據挖掘技術對這些問題提供了一定的解決方案。
三、流程制造業數據挖掘的體系結構
流程制造業數據挖掘體系結構的確定是流程制造業數據挖掘項目成功的基礎，依據流程制造業數據的特點以及數據挖掘技術的要求，構建流程制造業數據挖掘的總體框架。如圖1所示：
圖1 流程制造業數據挖掘體系結構
1.數據預處理
流程制造業生產過程中產生的海量數據一般是不完整的、含噪聲的和不一致的，數據預處理技術（數據采樣、數據清理、數據轉換等）可以檢測數據異常，改進數據質量，從而有助于提高其后的挖掘過程的精度和性能。
2.數據歸約
流程制造業生產過程中產生的海量數據經過預處理后，數據質量有了很大的提高，在此基礎上構造數據倉庫和OLAP，數據倉庫中的數據集非常大，對海量數據進行復雜的數據分析和挖掘將需要相當長的時間，通過數據歸約技術可以將數據集中不相關、弱相關或冗余的屬性或刪除，并能保持原數據的完整性，對歸約后的數據集進行挖掘將更有效，并產生相同（幾乎相同）的分析結果。
3.挖掘方法選擇器
方法選擇專家系統及知識庫根據不同的挖掘要求選擇最有效的挖掘算法或幾種算法的序列組合，并且不斷地更新知識庫，用選擇的方法去執行挖掘任務。目前系統常用的挖掘方法有統計分析方法、決策樹、人工神經網絡、基因算法、粗糙集等。
4.評估界面 執行數據挖掘任務得到的結果往往是一些抽象的模型或數據，因此，系統提供了一種解釋機制，以一種直覺的方式來表現數據挖掘的結果，比如用文字、圖表和報表等多種可視化手段，幫助分析決策人員具體地了解所挖掘的結果。
四、流程制造業數據挖掘的關鍵問題
1.數據的質量和數量
流程制造業數據挖掘的最根本問題在于數據的數量和質量。一方面，數據量越充足，越能保證獲取的數據的連續性，從而易發現系統的一般性規律；另一方面，數據的準確性和可靠性也是一切建模和分析是否有效的關鍵。因此，要盡可能完備地搜集與所研究問題相關的信息資料，包括公開和未公開的數據資料，然后從眾多的資料中把有用的部分挑選出來。挑選數據資料時應按照相關性、可靠性、最新性等原則進行。然后挑選出符合一定標準的資料，加以深入研究。然而收集數據資料并不容易，尤其是在我國當前的情況下，各層次的資料往往不夠完整，真實性也有存在很大的問題，再加上涉及到數據的保密性問題，所以無形中就增加了數據搜集的難度，從而數據的數量和質量也就難以保證。
2.數據倉庫的建立
從數據挖掘的定義可以看出，數據挖掘包含一系列旨在從數據庫中發現有用而未發現的模式的技術，如果將其與數據倉庫緊密聯系在一起，將獲得意外的成功。傳統的觀點認為，數據挖掘技術扎根于計算科學和數學，不需要也不得益于數據倉庫。這種觀點并不正確。成功的數據挖掘的關鍵之一就是通過訪問正確、完整和集成的數據，然后再進行深層次的分析，尋求有益的信息，而這些正是數據倉庫所能夠提供的。數據倉庫不僅是集成數據的一種方式，而且數據倉庫的聯機分析功能(OLAP)還為數據挖掘提供了一個極佳的操作平臺。如果數據倉庫與數據挖掘能夠實現有效的聯結．這將給數據挖掘帶來各種便利和功能。
數據倉庫為數掘挖掘提供了更廣闊的活動空間。數據倉庫完成數據的收集、集成、存儲、管理等工作、數據挖掘面對的是經初步加工的數據，使得數據挖掘能更專注于知識的發現。又由于數據倉庫所具有的新特點，對數據挖掘技術提出了更高的要求。另一方面，數據挖掘為數據倉庫提供了更好的決策支持，同時促進了數據倉庫技術的發展。因此，數據挖掘和數據倉庫技術要充分發揮潛力。就必須結合起來。
3.數據挖掘方法的選擇與應用
目前數據挖掘方法很多，面對各層次不同的海量數據，應如何選擇和應用其方法，是數據挖掘的另一關鍵問題。不同的人對同樣的數據進行挖掘，可能產生不同的結果，甚至差異很大。因此，合理選擇分析方法很重要。數據挖掘常用的算法包括：統計分析、關聯規則、聚類分析、決策樹、神經網絡、遺傳算法、模糊集等，每種方法都有所側重，應全面了解每種方法的基本原理與優劣之處，選擇與要解決問題類型相匹配的數據挖掘方法。比如，神經網絡、規則歸納方法、決策樹學習、遺傳算法等適用于分類問題；硬均值聚類、模糊均值聚類、神經網絡等適用于聚類；回歸分析、時間序列、神經網絡等適用于預測。實際應用時，還要確定數據挖掘方法是直接應用還是建模嵌入的開發應用。
數據挖掘模型是數據挖掘算法的實際應用，在流程制造業領域進行數據挖掘必須針對流程制造業生產過程中產生的數據特點及特定的挖掘目標，選擇各層次數據的合適數據挖掘算法。
4.結果的解釋及評價
數據挖掘的結果是不確定的。因此，需要和專業知識相結合才能對其做出解釋，并在此基礎上評價模型的合理性，以提供科學的決策支持信息。
評價模型的合理性，即看模型是否準確反映數據的真實意義，是否有實際意義和實用價值。評價的方法之一是直接使用原來建立模型的樣板數據來進行檢驗；另一種辦法是另外找一批數據，已知這些數據是反映客觀實際的規律性的；再有一種辦法就是在實際運行的環境中取出新鮮數據進行檢驗。
需要強調的是，要想真正做好數據挖掘，數據挖掘工具只是其中的一個方面。流程制造業數據挖掘的成功要求對流程制造業領域有深刻的了解，理解流程制造業要素數據的屬性，了解數據采集的過程，同時還需要對流程制造業生產過程有足夠的數據分析經驗。
五、結束語
數據挖掘在企業中的應用目前主要集中在市場推廣方面。如客戶特征、購物關聯分析及客戶關系管理，這方面技術相對來說已經比較成熟，很好地解決了企業的許多商業信息問題，但應用于工業制造生產流程還處于理論研究和初步實踐階段，起步較晚，并且實際成功應用的事例也較少，基于此，數據挖掘技術更能顯現出它巨大的發展潛力，根據流程制造業的數據特點，量身定制合適的數據挖掘工具，為流程制造業提供決策依據，解決流程制造業存在的不同程度的問題。
參考文獻：
[1] Jiawei Han,Micheline Kanmber. Data Mining： Concepts and Techniques[M]. Morgan Kaufmann Publishers，2001
[2] 朱群雄，麻德賢.過程工業中數據挖掘技術的應用.計算機與應用化學[J].2004
[3] 孟永勝.裝備制造業產品制造數據集成管理研究與應用 [博士學位論文].大連：大連理工大學，2006
[4] 余軍合.面向全生命周期虛擬產品模型的研究與應用 [博士學位論文].杭州：浙江大學，2002
[關鍵詞] 數據挖掘工具 個性化營銷 電子商務企業
一、引言
一個成功的電子商務運作過程，需要完美整合三個要素――網絡技術、商業模式和營銷（網絡營銷）。網絡營銷是企業營銷實踐與現代信息通訊技術、計算機網絡技術相結合的產物，是指企業以電子信息技術為基礎，以計算機網絡為媒介和手段而進行的各種營銷活動（包括網絡調研、網絡新產品開發、網絡促銷、網絡分銷、網絡服務等）的總稱。
具有交互性、跨時空、低成本、高效性等優點的網絡營銷這一概念在中國出現才剛剛開展10年的時間，雖然理論體系還不完善，上網的企業數量還比較少，但是，這種基于互聯網的新型營銷方式已經引起廣泛關注，并對企業的經營戰略產生越來越大的影響。當前各種形式的網絡廣告、網絡調研、網絡分銷等網絡營銷活動正活躍在企業的市場活動中。網絡營銷使得大公司、小公司“同臺競技”“規模經濟”與“小批量、多品種”生產并存。網絡營銷把企業帶入小型化、多樣化和復雜化競爭的時代。
隨著技術的發展，信息鋪天蓋地，不僅企業被淹沒在大量的信息中，就連顧客也不得不花大量的時間來尋找、瀏覽自己感興趣的信息。根據菲利普?科特勒的顧客讓渡價值理論，顧客讓渡價值=總顧客價值-總顧客成本。總顧客價值是顧客從某一特定產品或服務中獲得的一系列價值，包括產品價值、服務價值、人員價值和形象價值。總顧客成本是顧客在為購買該產品或服務所耗費的費用，不僅包括貨幣成本，還包括時間成本、精神成本、體力成本等非貨幣成本。可見為了購買特定產品，在電子商務這種特殊市場中，瀏覽信息所花費的時間成本、精神成本、體力成本等也直接影響著總顧客讓渡價值。
Web數據挖掘技術在電子商務上的應用，正是為了更加有效的掌握信息，服務于顧客，Web數據挖掘技術的路徑分析、關聯規則發現、序列模式發現、分類規則的發現、聚類分析等方法，可以應用于發現潛在顧客、改進站點鏈接結構設計、對顧客進行聚類分級從而分析組中顧客的共同特征，并為相應的顧客提供優質個性化服務,使顧客在瀏覽信息時有針對性，節省時間成本、精神成本、體力成本等，最終使總顧客成本得以降低。
二、個性化營銷
個性化營銷是把一個顧客看成一個顧客群，將鎖定銷售目標的活動發揮到極致的程度。充分體現了“顧客至上”，“顧客永遠是正確的”，“愛你的顧客而非產品”等現代市場營銷觀念。消費者選購商品時完全以“自我”為中心，現有商品不能滿足需求，則可向企業提出具體要求，企業也能滿足這一要求，這樣既能最大限度滿足消費者個性化需求，又能增強企業產品的市場競爭力。同時由于和消費者保持長期的互動關系，企業能及時了解市場需求的變化，有針對性的生產，不會造成產品積壓。縮短再生產周期，降低流通費用，從而提高企業經濟效益。
在電子商務環境下，實現個性化營銷可以利用的資源包括個性化網站、顧客數據庫，網絡營銷工具。即企業在互動式網站和數據庫為支撐工具的前提下，整合運用個性化的網站、個性化的E-mail、個性化的網頁、顧客的興趣追蹤等相關工具，既可以與顧客建立親密友好的聯系，又可以創建個性化的營銷信息，包括每個顧客的喜好、購買模式、針對他的最有效的溝通技巧等，以此來提供個性化的產品和顧客服務，開展個性化營銷活動。
下圖反映出一個具備個性化營銷服務功能的系統功能層次結構。
由圖看出，系統要得到上層所提供的個性化營銷服務，需要從底層數據庫獲取交易數據、顧客數據、財務數據、市場數據等，將底層數據析取到數據倉庫中，在數據倉庫中建立以顧客、銷售和財務等為主題的多維數據模型，并在保留原有數據的基礎上，不斷刷新數據倉庫的數據，接著進行指標分析、多維數據分析和數據挖掘。主要內容有顧客分析、忠誠度分析、銷售分析、顧客反饋分析、財務分析等。
通過對顧客屬性特征、交易行為和資金能力的分析，提取各種與顧客交易之靜態特征和動態特征相關的知識，對顧客進行必要細分，從而有針對性地對顧客施加1對1的個性化營銷服務，提高電子商務企業的認知能力和服務創新水平，擴大其獲利機會。
可見上層的個性化營銷功能的獲得是底層數據所不能直接提供的，需要經過中間析取到數據倉庫中，面向主題對數據進行組織與管理后，再利用數據挖掘技術才能實現的。
三、數據挖掘工具及選擇分析
數據挖掘技術讓人們有能力最終認識數據的真正價值，即蘊藏在數據中的信息和知識。它使得許多商業公司充分認識到深層次地分析本公司業務數據庫中的數據能夠帶來更多的商業機會。尤其對于電子商務企業，它很容易滿足數據挖掘所必需要因素：豐富的數據源、自動收集的可靠數據，并且可將挖掘的結果轉化為個性化網絡營銷這樣的商業行為，商業投資可以直接評價。
在不久以前大部分數據挖掘工具還只能為專門技術人員所操縱，但現在有更多的公司提供了更高級的數據挖掘系統，使得非專業人士也能使用。這些數據挖掘工具所基于的技術主要包括：規則歸納、神經網絡、遺傳算法、模糊邏輯、規則發現、模糊專家系統規則、決策樹、基于實例的推理、歸納邏輯等。
選擇一個滿足本公司實現個性化網絡營銷的數據挖掘工具可從以下方面進行考慮：
（1）產生的模式種類
數據挖掘模式一般有以下六種:
①分類模式:表現為一棵分類樹，根據數據的值從樹根開始搜索，沿著數據滿足的分支往上走，走到樹葉就能確定類別。
②回歸模式:與分類模式相似，其差別在于分類模式的預測值是離散的，回歸模式的預測值是連續的。
③時間序列模式:根據數據隨時間變化的趨勢預測將來的值。
④聚類模式:把數據劃分到不同的組中，組之間的差別盡可能大，組內的差別盡可能小，但它與分類模式不同之處在于，進行聚類前并不知道將要劃分成同個組和什么樣的組。
⑤關聯模式:描述事物之間同時出現的規律的知識模式。如購買A產品與B產品之間的關聯性。
⑥序列模式:與關聯模式相似，它把數據之間的關聯性與時間聯系起來。
對于個性化營銷，公司的需要反映在：跟蹤和學習顧客的興趣和行為;為當前用戶尋找k個最相似的鄰居來預測當前用戶的興趣；或找出在什么時間，什么樣顧客對什么樣的產品感興趣等方面。
以上的六種模式中分類模式可以對顧客進行分類；時間序列模式可在需求量方面給出預測結果；聚類模式可用于顧客聚類.由于它是根據相似顧客來推薦資源的,即根據最相似的鄰居來預測當前顧客的興趣，所以有可能為潛在顧客推薦出新的感興趣的內容；關聯模式找出A產品與B產品之間的關聯性；序列模式則可以反映出需求的季節性。
（2）易操作性
當前有的工具有圖形化界面，引導用戶半自動化地執行任務；有的使用腳本語言，有些工具提供數據挖掘的API，可以嵌入到C、Visual Basic、PowerBuilder等高級編程語言中。
（3）數據存取能力
好的數據挖掘工具可以使用SQL語句直接從DBMS中讀取數據。這樣可以簡化數據準備工作。
（4）與其他產品的接口
在需要其他產品輔助企業理解數據、理解結果時，數據挖掘工具與其他產品的接口就顯得很重要了。
總之，數據挖掘工具應具備多種模式、多種算法、良好的數據選擇和轉換能力、可視化、擴展性等，使之具備更強的解決復雜問題的能力。
當前比較著名數據挖掘工具有IBM Intelligent Miner、SAS Enterprise Miner、SPSS Clementine等，它們都能夠提供常規的挖掘過程和挖掘模式。
其中Intelligent Miner 通過其世界領先的獨有技術，例如典型數據集自動生成、關聯發現、序列規律發現、概念性分類和可視化呈現，可以自動實現數據選擇、數據轉換、數據發掘和結果呈現這一整套數據發掘操作。若有必要，對結果數據集還可以重復這一過程，直至得到滿意結果為止。根據IDC 的統計，Intelligent Miner 目前是數據發掘領域最先進的產品。
SAS Enterprise Miner 能支持包括關聯、聚類、決策樹、神經元網絡和統計回歸在內的廣闊范圍的模型數據挖掘工具。SAS Enterprise Miner設計為被初學者和有經驗的用戶使用。它的GUI界面是數據流驅動的，且它易于理解和使用。由于支持多種模型，所以SAS Enterprise Miner允許用戶比較不同模型并利用評估結點選擇最適合的。SAS Enterprise Miner被設計成能在所有SAS支持的平臺上運行。
SPSS Clementine是一個開放式數據挖掘工具，曾兩次獲得英國政府SMART 創新獎，它不但支持整個數據挖掘流程，從數據獲取、轉化、建模、評估到最終部署的全部過程，還支持數據挖掘的行業標準--CRISP-DM。Clementine的可視化數據挖掘使得"思路"分析成為可能，即將集中精力在要解決的問題本身，而不是局限于完成一些技術性工作（比如編寫代碼）。提供了多種圖形化技術，有助理解數據間的關鍵性聯系，指導用戶以最便捷的途徑找到問題的最終解決辦法。
其它常用的數據挖掘工具還有LEVEL5 Quest 、MineSet (SGI) 、Partek 、SE-Learn 、SPSS 的數據挖掘軟件Snob、Ashraf Azmy 的SuperQuery 、WINROSA 、XmdvTool 等。
四、總結
個性化營銷一直是網絡營銷所關注的領域之一，但總的來說個性化營銷的思想在網絡營銷實踐中的體現不夠明顯，效果也難以顯著，究其根本原因正是電子商務企業沒有很好地利用數據挖掘工具，從底層業務數據中找到知識和信息。論文通過討論數據挖掘工具及其實現模式，結合個性化營銷的實現目標的分析，以期使電子商務企業充分利用豐富的底層數據源，真正把數據挖掘融入到企業的經營決策中。
參考文獻:
[1]Claudia Imhoff, Nicholas Galimmo, Jonathan G.Geiger(著)，于戈，鮑玉斌，王大玲等譯.數據倉庫設計[M].北京：機械工業出版社，2004.12
[2]王緒林:Web使用挖掘的用戶個性化服務研究[J].信息系統，2003,1.
[3]Jiawei Han, Micheline Kamber（著）， 范明，孟小東等譯.數據挖掘概念與技術[M].北京：機械工業出版社.2004
論文關鍵詞：電子商務，數據挖掘，聚類分析，關聯規則挖掘
1引言
隨著Internet的普及，電子商務得到了前所未有的發展，經銷商和客戶之間通過互聯網進行交易，節省了大量的費用和時間。但是在電子商務中充斥著大量的數據，如何從這些大量的數據中挖掘出真正有價值的信息，幫助企業經銷商制定更好的營銷策略是電子商務急需解決的問題。數據挖掘，又稱數據庫中的知識發現(Knowledge Discovery in Database， KDD)，也就是從大量的數據中挖掘出有用信息的一種技術。利用數據挖掘技術可以使經銷商從大量的數據中挖掘出有用的信息幫助決策，從而在市場競爭中獲得優勢地位。
2電子商務概述
電子商務指交易當事人或參與人利用現代信息技術和計算機網絡（主要是因特網）所進行的各類商業活動，包括貨物貿易、服務貿易和知識產權貿易。“電子商務”中所包括的“現代信息技術”應涵蓋各種使用電子技術為基礎的通信方式；“商務”指不論是契約型還是非契約型的一切商務性質的關系所引起的種種事項。如果將“現代信息技術”看作一個子集，“商務”看作另一個子集，電子商務所涵蓋的范圍應當是這兩個子集所形成的交集，即“電子商務”標題之下可能廣泛涉及的因特網、內部網和電子數據交換在貿易方面的各種用途。
電子商務與傳統商務相比有以下優點：（1）電子商務將傳統的商務流程數字化、電子化，讓傳統的商務流程轉化為電子流、信息流，突破了時間空間的局限，大大提高了商業運作的效率。（2）電子商務簡化了企業與企業，企業與個人之間的流通環節，最大限度地降低了流通成本，能有效地提高企業在現代商業活動中的競爭力。（3）電子商務是基于互聯網的一種商務活動，互聯網本身具有開放性全球性特點，電子商務可為企業及個人提供豐富的信息資源，為企業創造更多商業機會。（4）電子商務對大型企業和中小企業都有利，因為大中型企業需要買賣交易活動多，實現電子商務能有效地進行管理和提高效率，對小企業同樣有利，因為電子商務可以使企業以相近的成本進行網上交易，這樣使中小企業可能擁有和大企業一樣的流通渠道和信息資源，極大提高了中小企業的競爭力。（5）電子商務將大部分商務活動搬到網上進行，企業可以實行無紙化辦公節省了開支。
3數據挖掘技術
數據挖掘（Data Mining，DM）技術是隨著計算機的廣泛應用和數據的大量積累而發展起來的。數據挖掘是從大量的數據中提取或“挖掘”知識，即發現其中隱含的，未知的，有意義的信息的過程，它又被稱為“數據庫中知識發現”(KDD)，也有人把數據挖掘視為數據庫中知識發現的一個基本步驟，知識發現過程由以下步驟組成：（1）數據清理（2）數據集成（3）數據選擇（4）數據變換（5）數據挖掘（6）模式評估（7）知識表示。
從商業的角度定義，數據挖掘是一種新的商業信息處理技術，其主要特點是對商業數據庫中的大量業務數據進行抽取、轉換、分析和其他模型化處理，從中提取輔助商業決策的關鍵性數據。利用功能強大的數據挖掘技術，可以使企業把數據轉化為有用的信息幫助決策，從而在市場競爭中獲得優勢地位。數據挖掘與傳統的數據分析的不同是在沒有明確假設的前提下去挖掘信息、發現知識。數據挖掘所得到的信息應具有先前未知、有效和實用3個特征。
4數據挖掘在電子商務中的作用
數據挖掘技術之所以可以服務于電子商務，是因為它能夠挖掘出活動過程中的潛在信息以指導電子商務活動。在電子商務中的作用有7個方面：（1）挖掘客戶活動顧慮，針對性的在電子商務平臺下提供“個性化”的服務。（2）可以在瀏覽電子商務網站的訪問者中挖掘出潛在的客戶。（3）通過電子商務訪問者的活動信息的挖掘，可以更加深入的了解客戶需求。（4）通過挖掘網上顧客的購買行為，可以幫助制定合理的產品策略和定價策略。（5）通過對商品訪問情況和銷售情況進行挖掘，可以幫助制定產品營銷策略，優化促銷活動。（6）優化電子商務網站的信息導航，方便客戶瀏覽。（7）通過客戶在網絡上瀏覽時的擁塞記錄發現網站的性能瓶頸，從而提高網站的穩定性，保證電子商務購物快速進行。
5電子商務中數據挖掘的技術與方法
電子商務中的數據挖掘過程一般包括3個主要的階段：數據準備、數據挖掘、結果解釋和評價。（1）數據準備又可分為數據選取和數據預處理兩個步驟。數據選取的目的是確定發現任務的操作對象。即目標數據，是根據用戶的需要從原始數據庫中抽取的一組數據。數據預處理一般包括消除噪聲、推導計算缺值數據、消除重復記錄、完成數據類型轉換以及對數據降維。（2）數據挖掘階段首先要確定數據挖掘的目標和挖掘的知識類型。確定挖掘任務后，根據挖掘的知識類型選擇合適的挖掘算法，最后實施數據挖掘操作，運用選定的挖掘算法從數據庫中抽取所需的知識。（3）結果的解釋和評價。數據挖掘階段發現的知識，經過評估，可能存在冗余或無關的知識，這時需要將其剔除，也有可能知識不滿足用戶的需求，需要重復上述挖掘過程重新進行挖掘。另外，由于數據挖掘最終要面臨用戶，因此，還需要對所挖掘的知識進行解釋，以一種用戶易于理解的方式供用戶所使用。
數據挖掘按照其挖掘任務主要包括分類和預測、聚類分析、關聯規則挖掘，回歸發現和序列模式發現等技術。在選擇某種數據挖掘技術之前，首先要將需要解決的問題轉化成正確的數據挖掘任務，然后根據挖掘的任務來選擇使用哪些數據挖掘技術。在電子商務活動中，主要使用下面的一些數據挖掘技術。
5.1分類
分類是找出數據庫中一組數據對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型或分類函數，將數據庫中的數據項映射到某個給定的類別。分類的主要方法有基于決策樹模型的數據分類，貝葉斯分類算法，ID3算法和基于BP神經網絡算法等。
假定現在我們有一個描述顧客屬性的數據庫，包括他們的姓名、年齡、收入、職業等，我們可以按照他們是否購買某種商品（例如，計算機）來進行分類。如果現在有新的顧客添加到數據庫中，我想將新計算機的銷售信息通知顧客，若將促銷材料分發給數據庫中的每個新顧客，如此可能會導致耗費較多的精力和物力。而若我們只給那些可能購買新計算機的顧客分發材料，可以在較大的程度上節省成本。為此，可以構造和使用分類模型。分類方法的特點是通過對示例數據庫中的數據進行分析，已經建立了一個分類模型，然后利用分類模型對數據庫中的其它記錄進行分類。
5.2聚類分析
聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。聚類分析的方法是數據挖掘領域最為常見的技術之一。常用的聚類分析方法有：分割聚類方法，層次聚類方法，基于密度的聚類方法和高維稀疏聚類算法等。聚類分析方法與分類方法的不同之處是聚類事先對數據集的分布沒有任何的了解。因此在聚集之后要有一個對業務很熟悉的人來解釋這樣聚集的意義。很多情況下一次聚集你得到的分類對你的業務來說可能并不好，這時你需要刪除或增加變量以影響分類的方式，經過幾次反復之后才能最終得到一個理想的結果。聚類分析方法在電子商務中的使用也極其廣泛。其中一個典型的應用是幫助市場分析人員從客戶基本庫中發現不同的客戶群，并且用購買模式來刻畫不同客戶群的特征。通過對聚類的客戶特征的提取，把客戶群分成更細的市場，提供針對性的服務。
5.3關聯規則挖掘
關聯規則是描述數據庫中數據項之間所存在關系的規則，即根據一個事物中的某些項的出現可導出另一些項在同一事物中也出現，即隱藏在數據間的關聯或相互關系，比如在一次購買活動中所買不同商品的相關性。在電子商務中，從大量商務事物記錄中發現有趣的關聯關系，可以幫助許多商務決策的制定。關聯規則挖掘最初也是最典型的形式是購物籃分析。它通過發現顧客放入其購物籃中不同商品之間聯系，分析顧客的購買習慣。例如，在同一次去超級市場，如果顧客購買牛奶，他也購買面包（包括購買什么類型的面包）的可能性有多大？這些信息可以幫助零售商有選擇地經銷和安排貨架，引導銷售。例如，將牛奶和面包盡可能放近一些，可以進一步刺激一次去商店同時購買這些商品。在電子商務中，由于Web服務器的日志文件記錄了用戶的訪問記錄，通過這些記錄利用關聯規則挖掘網上顧客購買產品的相關度，對某些品牌的喜好和忠誠，價格接受范圍，以及包裝要求等，挖掘的結果可以用來幫助管理者進行網站規劃、確定商品的種類、價格和新產品的投入。
5.4序列模式分析
序列模式分析和關聯規則挖掘相似，但側重點在分析數據間的前后序列關系。它能發現數據庫中形如在某一段時間內，顧客購買商品A，接著購買商品B，而后購買商品C，即序列A-B-C出現的頻度較高的信息。序列模式分析的一個例子是“九個月以前購買奔騰PC的客戶很可能在一個月內訂購新的CPU芯片”。
6結束語
電子商務過程中的各種信息和數據是電子商務活動能夠更好的進行的基礎，通過選擇合適的數據挖掘技術來挖掘電子商務中有價值的信息，從而使企業在激烈的市場競爭中做出正確的決策，保持有力的競爭優勢。隨著數據挖掘技術的不斷發展，我們相信它在電子商務中的應用將促使其得到更快更高效的發展。
參考文獻
[1]姚淼.《數據挖掘在電子商務中的應用》.高校圖書情報論壇.Mar.2009.Vol.8 No.1
[2]趙雁.張黎明.呂安.趙彥慧.《電子商務中的數據挖掘技術》.中國電子學會第十屆青年學術年會論文集.2004.9
[3]楊青杰.胡明霞.《數據挖掘技術在電子商務中的應用研究》.商場現代化.2008年第16期
摘 要 面對當前企事業單位普遍存在各類數據龐大，但快速提取有效信息卻十分困難的現狀，如何在海量數據中發現有用的數據，即所謂的數據挖掘技術便應運而生。針對財務決策中數據海洋的現狀，本文提出了如何采用數據挖掘技術，來提高財務決策的效率。
關鍵詞 數據挖掘 財務決策 應用
隨著計算機、網絡技術的發展，獲得有關資料非常簡單易行。但對于數量大、涉及面寬的數據，傳統統計方法無法完成這類數據的分析，特別是公司財務數據之類。因此，一種智能化的、綜合應用各種統計分析、數據庫、智能語言來分析龐大數據資料的“數據挖掘”技術應運而生。數據挖掘技術的產生和發展使得人們可以利用這些數據挖掘出有用的、隱藏的商業和科學信息。
一、數據挖掘含義
1．數據挖掘的定義
目前普遍認同的一個數據挖掘（DM-Data Mining）定義是：從數據庫中抽取隱含的、以前未知的、具有潛在應用價值的模型或規則等有用知識的復雜過程，是一種深層次的數據分析方法。
數據挖掘可以根據企事業單位的既定業務目標和存在的問題，對大量的業務數據進行探索，揭示隱藏其中的規律，并將其模型化，指導并應用于實際的企事業單位經營管理中。是一個利用各種分析工具在海量數據中發現模型和數據間關系的過程，這些模型和關系可以對財務信息做出預測。
2．數據挖掘的主要功能
數據挖掘的目標是從數據庫中發現隱含的、有意義的信息，它主要有以下功能：
（1）估計與預測：估計是根據已有積累的資料來推測某一屬性未知的值，預測是根據對象屬性的過去觀察來估計該屬性未來之值。數據挖掘技術能夠自動在大型數據庫中尋找預測性信息。
（2）關聯和序列發現：關聯是要找出在某一事件或是資料中會同時出現的東西；序列發現與關聯關系很密切，所不同的是序列發現中相關的對象是以時間來區分的。
（3）聚類：數據庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類技術的要點是在劃分對象時不僅考慮對象之間的距離，還要劃分出類具有某種內涵描述，從而避免了傳統技術的某些片面性。
（4）偏差檢測：數據庫中的數據常有一些異常記錄，從數據庫中檢測這些偏差很有意義。偏差包括很多潛在的信息，如分類中的反常實例、不滿足規則的特例、觀測結果與模型預測值的偏差、量值隨時間的變化等①。
二、數據挖掘在財務決策支持系統的應用
1．財務決策支持系統
財務決策支持系統是在傳統電算化會計信息系統的基礎上建立和發展起來的，傳統會計信息系統輸出的企事業單位財務數據及非財務數據都存在數據過剩而信息不足的情形，而財務決策的精確程度又取決于所用信息的正確程度。隨著競爭的增加，財務決策的時效性也變得越來越重要了，面對這些結構化或半結構化的海量數據，將數據挖掘技術應用到系統中充分有效的預測企事業單位未來的發展趨勢，有利于輸出財務決策信息供高層管理者使用，提高企事業單位的競爭②。
（1）會計信息系統結構
會計信息系統可分為三個層次：會計核算層、財務管理層和財務決策層，分別屬于事后核算、事中控制和事前預測與決策過程。財務決策支持系統是最高層，也是會計信息系統發展的最終目標。會計核算層和財務管理層輸出的企事業單位財務數據及非財務數據都存在數據過剩而信息不足的情況，這嚴重影響了財務決策層發揮有效作用。
（2）財務決策支持系統的概念
財務決策支持系統（FDSS―Financial Decision Support System）是以現代管理科學和信息技術為基礎，以電子計算機為工具，運用經濟學、模糊數學、控制論和模型技術，對財務管理中的結構化、半結構化以及非結構化問題進行決策分析的人機交互系統。
在財務決策支持系統中，為了支持管理決策，首先必須建立各種數據庫以備決策之需。其次要建立各種數學模型，組成模型庫對數據庫中的數據進行深加工以便探索其內部規律，對數據的運算結果進行比較、分析和評價。同時，為了充分利用管理者的經驗、知識和智慧，系統還設置人機交互接口和專家知識庫，采用人工智能技術判斷環境生成方案、評價決策。
（3）財務決策系統國內外發展現狀
在國內，會計核算系統和財務管理系統已發展良好，逐步地為用戶理解和接受，但財務決策支持系統的發展尚處初級階段。
在國外，財務決策支持系統已較為完善，以財務管理為核心構造財務決策支持系統，做到了賬務系統與管理系統的有機融合，做到了事前預測與決策、事中控制、事后分析為一體的網絡化、科學化的決策管理，數據挖掘在財務決策支持系統中的運用也較為成熟。
2．數據挖掘在財務決策支持系統的應用
數據挖掘技術在財務決策支持系統中的應用研究始于1995 年，研究內容包括將DSS 的結構體系引入過來，從二庫、三庫結構到四庫、五庫結構的研究，也就是從傳統的FDSS 研究到智能的或高級的FDSS 的研究。隨著信息技術的不斷完善，把數據倉庫（DW）、聯機分析處理（OLAP）、數據挖掘（DM）也引入到財務決策支持系統中，出現了基于數據倉庫和數據挖掘技術的財務決策支持系統結構，數據挖掘技術在財務決策支持系統中的應用主要包括：
（1）財務狀況分析
財務狀況分析是財務管理的重要組成部分，包括企事業單位償債能力分析、企事業單位營運能力分析、企事業單位獲利能力分析、企事業單位發展能力分析。它是利用已有的財務數據對企事業單位的財務狀況、經營成果進行分析與評價。財務分析系統可以運用數據挖掘分類、預測等技術，根據企事業單位過去和現在的財務數據做進一步的加工、整理、分析和評價，在預測未來的財務狀況的同時從中取得有用的信息供決策者使用。
（2）財務預測
財務預測系統是FDSS 的重要組成部分，其功能分為兩個方面：一是利用已有的財務數據對企事業單位未來的財務狀況和經營成果進行預測。二是利用專家經驗和專門知識對某項財務專題進行預測。財務預測的主要內容包括銷售預測、利潤預測、成本預測、資金預測、財務指標預測等。利用回歸，神經網絡等技術根據已有的財務數據預測企事業單位未來的財務狀況，進而判斷企事業單位未來發生財務危機的可能性。
（3）籌資決策
籌資是指企事業單位何時、采用何種方式、獲得何種規模資金的過程。企事業單位籌資決策主要包括籌資數量決策、籌資方式決策和債務償還決策。一般地說，企事業單位籌資首先應考慮自有資本，即所有者權益籌資；其次再考慮債務籌資，其目的是使財務風險最小化。利用數據挖掘中的分類、聚類等技術可根據單位經營管理的需要進行決策信息輸出，確定一個合理的籌資方案。
（4）投資決策
企事業單位的投資決策主要包括企事業單位內部長期投資決策、聯營投資決策和證券投資決策。投資決策問題是決策問題中較為復雜的問題，其決策問題一般分為半結構化或非結構化問題。我們可利用預測、關聯等技術對投資時機、投資規模、投資方式等方面來確定投資方案。通過在眾多可投資項目中選擇出最具價值的項目決策信息，實現投資資金效率最大化。
（5）成本決策
成本決策涉及企事業單位銷、生產經營和資本運作等各個領域，可以說凡是發生成本費用支出的各項經濟活動，都存在成本決策問題。企事業單位成本決策包括：存貨成本決策、生產成本決策、資金成本決策、銷售成本決策、服務成本決策等，其中銷售成本決策和服務成本決策，其非結構化因素較多，包括促銷費用、廣告費用、銷貨服務費等，從而使其決策方案的確定更加復雜化。這就需要利用數據挖掘技術中的時間序列分析，關聯分析等技術對歷史數據進行分析預測，以確定最優方案。
（6）股利分配決策
股利分配是指公司向股東分派股利。股利分配決策的合理與否，將會對公司的持續發展和股東利益產生重大影響。股利分配決策包括股利發放決策、股利支付比率決策和股利發放形式決策等。由于股利分配決策要受到法律、經濟、公司政策、股東利益、以及股票市場等諸多因素的影響，其決策問題大多為半結構化和非結構化問題，我們可利用數據挖掘技術中的分類技術來提供支持。
（7）存貨決策
存貨決策主要是指原材料和產成品的決策，即確定合理的經濟訂貨量以及何時訂貨才是最佳時機，力求使存貨上耗費的成本最低。銷售的不確定性使得存貨決策成為一種風險性決策，它需要根據以往的經驗儲存、歷史統計資料的分析以及輸入用戶的調研數據，運用數據挖掘技術中的決策樹方法幫助決策者確定需求變量的范圍及發生概率，并提供最優方案的參考數據。隨著數據庫技術和網絡技術的迅速發展，傳統會計核算層及財務管理層的不斷完善，人們獲取數據的能力越來越強，將海量的數據存儲在數據庫和數據倉庫中。將數據倉庫（DW）、數據挖掘（DM）和聯機分析（OLAP）等信息技術應用于財務決策支持系統，更能將數據倉庫里的海量數據從執行系統中篩選出來，減少冗余，完成一系列轉換處理，便于決策者從宏大的信息系統中分辨、析取、整理、挖掘出對財務決策有用的信息，極大提高企事業單位管理信息系統的工作效率③。
三、數據挖掘技術在財務決策支持系統中應用的難點與展望
數據挖掘技術在財務決策支持系統中的應用還是一門嶄新的技術或方法，接受數據挖掘的概念容易，但將其落在實處卻比較困難。其中最重要的就是成本問題。數據挖掘功能對企事業單位財務數據進行分析雖然存有優勢，但前提條件是具備完整、正確的數據，即在建立數據倉庫系統基礎后，與此功能結合運用以達到事半功倍的效果。但目前單位財務部門提供的數據本身就可能存在水分，因此需要數據信息使用者在經過會計信息質量分析等前提下調整或重新估計，然后再利用數據挖掘等技術應用到財務決策支持系統中。數據挖掘僅依靠計算機或者軟件是無法完成任務的，更多的是需要依靠專業人士的職業判斷。
雖然在單位財務決策支持系統中利用數據挖掘技術還不十分成熟，但是伴隨著科學技術的迅猛發展，以及數據挖掘技術在財務決策支持系統中的廣闊市場前景，相信基于數據挖掘的財務決策支持系統必將更加成熟！
但是，數據挖掘作為一門新興的科學和技術，它的發展還處于幼年期，要想基于數據挖掘的財務決策支持系統模型得到更為廣泛的應用，面臨的挑戰為：
1．建立基礎的數據挖掘理論體系；
2．提高數據挖掘算法的效率和處理能力；
3．良好的人機交互界面；
4．挖掘各種數據類型，包括半結構和無結構數據。
注釋：
①何京舟.淺議數據挖掘技術與財務分析.中國集體經濟.2009(6):155-156.
②湯九斌.基于數據挖掘技術的決策支持系統及其關鍵技術研究.中國優秀博士論文全文數據庫.南京理工大學.2009.
③周喜,王加陽.數據挖掘技術在財務決策支持系統中的應用研究.湖南商學院學報.2009(4):99-101.
參考文獻：
[1]何京舟.淺議數據挖掘技術與財務分析.中國集體經濟.2009(6).
[2]鄭日軍.數據挖掘綜述.科協論壇(下半月).2008(10).
[3]洪沙,向芳.數據挖掘與決策支持系統.科學咨詢(決策管理).2008(4).
