1.數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則的概念

　　

　　數(shù)據(jù)挖掘就是大量數(shù)據(jù)中提取或者挖掘知識，這種數(shù)據(jù)應(yīng)該是海量的。還有另一種說法是把數(shù)據(jù)挖掘看成是數(shù)據(jù)庫中知識的發(fā)現(xiàn)過程的一個基本步驟。

　　

　　1.1關(guān)聯(lián)規(guī)則的概念

　　

　　關(guān)聯(lián)規(guī)則可以說是在數(shù)據(jù)挖掘中相對來說比較常用的一種方法了，Agmwal等于1993年首先提出了挖掘顧客交易數(shù)據(jù)庫中項(xiàng)集間的關(guān)聯(lián)規(guī)則問題。在這以后有諸多的研宄員對數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則進(jìn)行了大量的研究。他們的工作有很多，其中就包括對原有的算法進(jìn)行了優(yōu)化處理。比如，引進(jìn)了隨機(jī)采樣、并行思想等。

　　

　　關(guān)聯(lián)規(guī)則挖掘的過程是這樣的一個流程，首先利用算法根據(jù)最小支持度找到頻繁項(xiàng)集，再依托找到的頻繁項(xiàng)集結(jié)合置信度生成形如X—Y的強(qiáng)關(guān)聯(lián)規(guī)則。在關(guān)聯(lián)關(guān)聯(lián)規(guī)則挖掘過程中用到兩個最重要的參數(shù)，支持度和置信度。

　　

　　設(shè)I={il’i是項(xiàng)集，其中ik(k=l，2，…,m)可以是購物籃中的物品，也可以是保險公司的顧客。設(shè)任務(wù)相關(guān)的數(shù)據(jù)D是事務(wù)集，其中每個事務(wù)T是項(xiàng)集，使得TSI。設(shè)A是一個項(xiàng)集，且A£T。關(guān)聯(lián)規(guī)則是如下形式的邏輯蘊(yùn)涵：A=>B,ASI，BGI,且AnB=A關(guān)聯(lián)規(guī)則具有如下兩個重要的屬性：

 

　　支持度：P(AUB)，即A和B這兩個項(xiàng)集在事務(wù)集D中同時出現(xiàn)的概率。

　　

　　置信度：P(BIA)，即在出現(xiàn)項(xiàng)集A的事務(wù)集D中，項(xiàng)集B也同時出現(xiàn)的概率。

　　

　　同時滿足最小支持度閾值和最小置信度閾值的規(guī)則稱為強(qiáng)規(guī)則。給定一個事務(wù)集D，挖掘關(guān)聯(lián)規(guī)則問題就是產(chǎn)生支持度和可信度分別大于用戶給定的最小支持度和最小可信度的關(guān)聯(lián)規(guī)則，也就是產(chǎn)生強(qiáng)規(guī)則的問題。

　　

　　1.2  Apriori算法

　　

　　Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。很多的的挖掘算法是在Apriori算法的基礎(chǔ)上進(jìn)行改進(jìn)的，比如基于散列（Hash)的方法，基于數(shù)據(jù)分割(Partition)的方法以及不產(chǎn)生候選項(xiàng)集的FP-GROWTH方法等。因此要了解關(guān)聯(lián)規(guī)則算法不得不先要了解Apriori算法。

　　

　　Apriori算法使用的是頻繁項(xiàng)集性質(zhì)的先驗(yàn)知識，是使用了一種稱為逐層搜索的迭代方法，其中k項(xiàng)集用于探索（k+1)項(xiàng)集。首先，通過對數(shù)據(jù)庫的掃描，累計(jì)每一項(xiàng)的計(jì)數(shù)，并收集滿足最小支持度的項(xiàng)，這樣就能找出頻繁項(xiàng)的集合。這樣得到的集合可以標(biāo)記L,。然后，使用3^找出頻繁項(xiàng)集L2,使用L2找出L3。這樣循環(huán)下去，直到找到頻繁項(xiàng)集k項(xiàng)集為止。這樣就對數(shù)據(jù)庫進(jìn)行了一次完整的掃描。

　　

　　2.關(guān)聯(lián)規(guī)則在電子商務(wù)圖書推薦系統(tǒng)中的具體應(yīng)用

 

　　2.1數(shù)據(jù)收集、預(yù)處理

　　

　　用戶可以通過登錄到公司的網(wǎng)站進(jìn)行個人信息的注冊，從而形成用戶個人信息注冊表。用戶可以進(jìn)行圖書信息瀏覽，或查看其他用戶對圖書產(chǎn)品的評價和感受。當(dāng)用戶對某件圖書產(chǎn)品進(jìn)行購買行為，形成訂單之后。數(shù)據(jù)就會被采集，并進(jìn)行清洗、集成和轉(zhuǎn)換。當(dāng)此用戶再次進(jìn)行圖書購買行為時，購買記錄同樣會被采集，并根據(jù)圖書類別進(jìn)行分析，逐漸形成關(guān)聯(lián)數(shù)據(jù)。并存儲到圖書交易數(shù)據(jù)庫中。

　　

　　2.2生成關(guān)聯(lián)規(guī)則

　　

　　假設(shè)某個項(xiàng)目集S={sl，s2...，sn}是頻繁項(xiàng)目集，假設(shè)D是一個數(shù)據(jù)集，其中T是一個非空的項(xiàng)集。再假設(shè)A是一個項(xiàng)集并且有T包含A。有這樣一個式子形如A=>B。其中A£I,B£i, B^0,并且AHB=0。

　　

　　這樣的規(guī)則人=>8在事物集D中是成立的，具有支持度s。概率是P(AUB)，還有就是置信度c，概率是P(BIA)。規(guī)則人=>8在事物集中的支持度為support,即

　　

　　support(AUB)=support(AUB,D)=So(3)規(guī)則A=>B的置信度可以容易的從A和AUB的支持度計(jì)數(shù)推出，即表示為P(Y|X)=c%。這樣給出式子：

　　

　　confidence(A^B)=P(B|A)=support(AUB^D)/siq)port(A*D)(4)

　　

　　其中，support(AUB,D)是包括項(xiàng)集AUB的支持度，support(A，D)是項(xiàng)集X的支持度。

　　

　　對于已經(jīng)給定的數(shù)據(jù)集D，求出同時滿足最小支持度minsup和最小置信度minconf的關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則須滿足這樣兩個條件：support(A=»B)>minsup；confidence(A=>B)>minconf。

　　

　　2.3關(guān)聯(lián)規(guī)則的改進(jìn)方法

　　

　　大部分關(guān)聯(lián)規(guī)則挖掘算法都使用支持度-置信度框架。但是由于算法本身的原因，可能即使?jié)M足了最小支持度和最小置信度對用戶不感興趣的信息的探查，仍然會產(chǎn)生一些讓用戶感到不用的信息。

　　

　　在獲得用戶購買的行為模式后，并不一定所有的強(qiáng)關(guān)聯(lián)規(guī)則都能成為用戶所感興趣的，這樣就使得這個規(guī)則的可用性并不理想。此時，就需要用到其他的方法來判斷用戶的興趣所在。

　　

　　假設(shè)我們分析涉及購買“Java入門經(jīng)典”和購買“Java實(shí)戰(zhàn)”兩本書的事務(wù)興趣。假設(shè)事務(wù)A表示包含“Java入門經(jīng)典”，事務(wù)B表示包含“Java實(shí)戰(zhàn)”。在接下來要進(jìn)行分析的10000個事務(wù)中，得到數(shù)據(jù)顯示為6000個顧客事務(wù)包含“Java入門經(jīng)典”，7500個事務(wù)包含“Java實(shí)戰(zhàn)”，而4000個事務(wù)同時包含“Java入門經(jīng)典”和“Java實(shí)戰(zhàn)”。現(xiàn)在假設(shè)有一個關(guān)聯(lián)規(guī)則要在這樣的數(shù)據(jù)上進(jìn)行分析，可以使用最小支持度為30%，最小置信度為60%。將發(fā)現(xiàn)下面規(guī)則：

　　

　　buys(X，’’A”）=>buys(X，”B”)[support=40%,confidence=66%]

　　

　　這樣可以很容易的看出來這個關(guān)系式是屬于強(qiáng)關(guān)聯(lián)的，因?yàn)樗�的支持度�?000/10000=40%。置信度為4000/6000=66%，同時滿足了最小支持度和最小置信度閾值。實(shí)際上，這是一種誤導(dǎo)，因?yàn)橘徺I“Java實(shí)戰(zhàn)”的概率是7500/10000=75%，比66%還高，這就容易出現(xiàn)不明智的商業(yè)營銷策略。

　　

　　正如上面出現(xiàn)的問題，支持度和置信度度量不足以過濾掉無趣的關(guān)聯(lián)規(guī)則。為了解決這個問題，可以使用其他關(guān)系式來進(jìn)行同時篩查強(qiáng)關(guān)聯(lián)規(guī)則，比如，使用相關(guān)性度量來進(jìn)行擴(kuò)充，可以使用這樣的相關(guān)規(guī)則（correlationrule)：

　　

　　A=>Bfsupport,confidence,correlation]

　　

　　通過這個關(guān)系式可以看出，相關(guān)規(guī)則不僅用支持度和置信度，而且還用項(xiàng)集A和B之間的相關(guān)度量。

　　

　　2.4 使用提升度相關(guān)分析

　　

　　提升度(lift)是一種簡單的相關(guān)性度量，相關(guān)度的定義是：項(xiàng)集A的出現(xiàn)獨(dú)立于項(xiàng)集B的出現(xiàn)，如果P(AUB)=P(A)P(B);否則，作為事件，項(xiàng)集A和B是依賴的和相關(guān)的.這樣就得到計(jì)算式： .

　　

　　lift(A,B)=P(AUB)/P(A)P(B)(4)

　　

　　如果這個值小于1，則A的出現(xiàn)與B的出現(xiàn)是負(fù)相關(guān)的，意味著一個出現(xiàn)可能導(dǎo)致另一個不出現(xiàn)。如果值大于1，則A和B是正相關(guān)的，如果值等于1，則A和B是獨(dú)立的。這個式子也稱關(guān)聯(lián)規(guī)則A=>B的提升度。

　　

　　這樣我們再去看前面的例子，容易得到購買“Java入門經(jīng)典”的概率P(“A”)=0.6，購買“Java實(shí)戰(zhàn)”的概率P(“B”）=0.75，而購買兩者的概率是P({“A”，”B”})=0.4。則提升度為：

　　

　　P({“A”，”B”})/(P(“A”)xp(“B”))=0.4/(0.6x0.75)=0.89

　　

　　該值小于1，從而得出購買這兩本書的事務(wù)是負(fù)相關(guān)的，因此這兩種圖書的購買行為不會進(jìn)行推薦，但這種負(fù)相關(guān)是不能被支持度-置信度框架識別的。

　　

　　2.5 電子商務(wù)圖書推薦過程

　　

　　首先根據(jù)每個顧客的圖書產(chǎn)品購買記錄或則是瀏覽記錄的數(shù)據(jù)進(jìn)行預(yù)處理，形成交易數(shù)據(jù)庫。在己經(jīng)得到的數(shù)據(jù)庫的基礎(chǔ)上使用選用好的關(guān)聯(lián)規(guī)則挖掘算法對數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)規(guī)則分析和挖掘，形成關(guān)聯(lián)規(guī)則數(shù)據(jù)集合R。之后在通過分析得到的數(shù)據(jù)集合R為每個顧客設(shè)置一個候選推薦集，并將初始值設(shè)置為空。對每個用戶搜索關(guān)聯(lián)規(guī)則數(shù)據(jù)集合R，找出該用戶支持的所有關(guān)聯(lián)規(guī)則集合。將符合與當(dāng)前用戶購買圖書產(chǎn)品相關(guān)聯(lián)的所有圖書產(chǎn)品加入到當(dāng)前用戶的候選推薦集中。將候選推薦集中用戶己經(jīng)購買的圖書產(chǎn)品刪除。然后可以根據(jù)置信度對候選推薦集中的候選項(xiàng)進(jìn)行排序，從候選推薦集中選擇置信度高的圖書項(xiàng)作為推薦結(jié)果。

　　

　　3.結(jié)束語

　　

　　現(xiàn)在越來越多的電子商務(wù)網(wǎng)站都在出售圖書類產(chǎn)品，這可以使用戶幾乎足不出戶就能購買到需要的圖書，但是不像在以前到書店購買圖書，沒有導(dǎo)購員向顧客介紹圖書產(chǎn)品信息，顧客也就不會知道那種或那類圖書銷售最好，最受歡迎。電子商務(wù)圖書推薦系統(tǒng)的出現(xiàn)，有效的解決了顧客對圖書類產(chǎn)品進(jìn)行“盲選”的尷尬狀態(tài)。這也成為各商家競爭的一大“主力”。關(guān)聯(lián)規(guī)則作為數(shù)據(jù)挖掘的主要方法之一，也逐漸的引起了人們越來越多的關(guān)注。在不久的未來，我相信像這一類推薦系統(tǒng)，一定可以使得將來的電子商務(wù)網(wǎng)站更加的人性化，個性化，更符合不同顧客的需求。

　　

　　文／趙偉毅  作者單位  北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院北京市100144