按照Elder博士的總結(jié)，這10大易犯錯(cuò)誤包括：

0. 缺乏數(shù)據(jù)(Lack Data)

1. 太關(guān)注訓(xùn)練(Focus on Training)

2. 只依賴一項(xiàng)技術(shù)(Rely on One Technique)

3. 提錯(cuò)了問(wèn)題(Ask the Wrong Question)

4. 只靠數(shù)據(jù)來(lái)說(shuō)話(Listen (only) to the Data)

5. 使用了未來(lái)的信息(Accept Leaks from the Future)

6. 拋棄了不該忽略的案例(Discount Pesky Cases)

7. 輕信預(yù)測(cè)(Extrapolate)

8. 試圖回答所有問(wèn)題(Answer Every Inquiry)

9. 隨便地進(jìn)行抽樣(Sample Casually)

10. 太相信最佳模型(Believe the Best Model)

0. 缺乏數(shù)據(jù)(Lack Data)

對(duì)于分類問(wèn)題或預(yù)估問(wèn)題來(lái)說(shuō)，常常缺乏準(zhǔn)確標(biāo)注的案例。

例如：

-欺詐偵測(cè)(Fraud Detection)：在上百萬(wàn)的交易中，可能只有屈指可數(shù)的欺詐交易，還有很多的欺詐交易沒(méi)有被正確標(biāo)注出來(lái)，這就需要在建模前花費(fèi)大量人力來(lái)修正。

-信用評(píng)分(Credit Scoring)：需要對(duì)潛在的高風(fēng)險(xiǎn)客戶進(jìn)行長(zhǎng)期跟蹤(比如兩年)，從而積累足夠的評(píng)分樣本。

1. 太關(guān)注訓(xùn)練(Focus on Training)

IDMer：就象體育訓(xùn)練中越來(lái)越注重實(shí)戰(zhàn)訓(xùn)練，因?yàn)閱渭兊姆忾]式訓(xùn)練常常會(huì)訓(xùn)練時(shí)狀態(tài)神勇，比賽時(shí)一塌糊涂。

實(shí)際上，只有樣本外數(shù)據(jù)上的模型評(píng)分結(jié)果才真正有用!(否則的話，直接用參照表好了!)

例如：

-癌癥檢測(cè)(Cancer detection)：MD Anderson的醫(yī)生和研究人員(1993)使用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行癌癥檢測(cè)，驚奇地發(fā)現(xiàn)，訓(xùn)練時(shí)間越長(zhǎng)(從幾天延長(zhǎng)至數(shù)周)，對(duì)訓(xùn)練集的性能改善非常輕微，但在測(cè)試集上的性能卻明顯下降。

-機(jī)器學(xué)習(xí)或計(jì)算機(jī)科學(xué)研究者常常試圖讓模型在已知數(shù)據(jù)上表現(xiàn)最優(yōu)，這樣做的結(jié)果通常會(huì)導(dǎo)致過(guò)度擬合(overfit)。

解決方法：

解決這個(gè)問(wèn)題的典型方法是重抽樣(Re-Sampling)。重抽樣技術(shù)包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

2. 只依賴一項(xiàng)技術(shù)(Rely on One Technique)

IDMer：這個(gè)錯(cuò)誤和第10種錯(cuò)誤有相通之處，請(qǐng)同時(shí)參照其解決方法。沒(méi)有對(duì)比也就沒(méi)有所謂的好壞，辯證法的思想在此體現(xiàn)無(wú)遺。

“當(dāng)小孩子手拿一把錘子時(shí)，整個(gè)世界看起來(lái)就是一枚釘子。”要想讓工作盡善盡美，就需要一套完整的工具箱。

不要簡(jiǎn)單地信賴你用單個(gè)方法分析的結(jié)果，至少要和傳統(tǒng)方法(比如線性回歸或線性判別分析)做個(gè)比較。

研究結(jié)果：按照《神經(jīng)網(wǎng)絡(luò)》期刊的統(tǒng)計(jì)，在過(guò)去3年來(lái)，只有1/6的文章中做到了上述兩點(diǎn)。也就是說(shuō)，在獨(dú)立于訓(xùn)練樣本之外的測(cè)試集上進(jìn)行了開(kāi)集測(cè)試，并與其它廣泛采用的方法進(jìn)行了對(duì)比。

解決方法：

使用一系列好的工具和方法。(每種工具或方法有可能帶來(lái)5%~10%的改進(jìn))。

3. 提錯(cuò)了問(wèn)題(Ask the Wrong Question)

IDMer：一般在分類算法中都會(huì)給出分類精度作為衡量模型好壞的標(biāo)準(zhǔn)，但在實(shí)際項(xiàng)目中我們卻幾乎不看這個(gè)指標(biāo)。為什么?因?yàn)槟遣皇俏覀冴P(guān)注的目標(biāo)。

項(xiàng)目的目標(biāo)：一定要鎖定正確的目標(biāo)

例如：

⑴欺詐偵測(cè)(關(guān)注的是正例!)(Shannon實(shí)驗(yàn)室在國(guó)際長(zhǎng)途電話上的分析)：不要試圖在一般的通話中把欺詐和非欺詐行為分類出來(lái)，重點(diǎn)應(yīng)放在如何描述正常通話的特征，然后據(jù)此發(fā)現(xiàn)異常通話行為。

⑵模型的目標(biāo)：讓計(jì)算機(jī)去做你希望它做的事

大多數(shù)研究人員會(huì)沉迷于模型的收斂性來(lái)盡量降低誤差，這樣讓他們可以獲得數(shù)學(xué)上的美感。但更應(yīng)該讓計(jì)算機(jī)做的事情是如何改善業(yè)務(wù)，而不是僅僅側(cè)重模型計(jì)算上的精度。

4. 只靠數(shù)據(jù)來(lái)說(shuō)話(Listen (only) to the Data)

IDMer：“讓數(shù)據(jù)說(shuō)話”沒(méi)有錯(cuò)，關(guān)鍵是還要記得另一句話：兼聽(tīng)則明，偏聽(tīng)則暗!如果數(shù)據(jù)+工具就可以解決問(wèn)題的話，還要人做什么呢?

⑴.投機(jī)取巧的數(shù)據(jù)：數(shù)據(jù)本身只能幫助分析人員找到結(jié)果是什么，但它并不能告訴你結(jié)果是對(duì)還是錯(cuò)。

⑵.經(jīng)過(guò)設(shè)計(jì)的實(shí)驗(yàn)：某些實(shí)驗(yàn)設(shè)計(jì)中摻雜了人為的成分，這樣的實(shí)驗(yàn)結(jié)果也常常不可信。

5. 使用了未來(lái)的信息(Accept Leaks from the Future)

IDMer：看似不可能，卻是實(shí)際中很容易犯的錯(cuò)誤，特別是你面對(duì)成千上萬(wàn)個(gè)變量的時(shí)候。認(rèn)真、仔細(xì)、有條理是數(shù)據(jù)挖掘人員的基本要求。

預(yù)報(bào)(Forecast)示例：預(yù)報(bào)芝加哥銀行在某天的利率，使用神經(jīng)網(wǎng)絡(luò)建模，模型的準(zhǔn)確率達(dá)到95%，但在模型中卻使用了該天的利率作為輸入變量。

金融業(yè)中的預(yù)報(bào)示例：使用3日的移動(dòng)平均來(lái)預(yù)報(bào)，但卻把移動(dòng)平均的中點(diǎn)設(shè)在今天。

解決方法：

要仔細(xì)查看那些讓結(jié)果表現(xiàn)得異常好的變量，這些變量有可能是不應(yīng)該使用，或者不應(yīng)該直接使用的。

給數(shù)據(jù)加上時(shí)間戳，避免被誤用。

6. 拋棄了不該忽略的案例(Discount Pesky Cases)

IDMer：到底是“寧為雞頭，不為鳳尾”，還是“大隱隱于市，小隱隱于野”?不同的人生態(tài)度可以有同樣精彩的人生，不同的數(shù)據(jù)也可能蘊(yùn)含同樣重要的價(jià)值。

異常值可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)果(比如價(jià)格中的小數(shù)點(diǎn)標(biāo)錯(cuò)了)，但也可能是問(wèn)題的答案(比如臭氧洞)。所以需要仔細(xì)檢查這些異常。

研究中最讓激動(dòng)的話語(yǔ)不是“啊哈!”，而是“這就有點(diǎn)奇怪了……”

數(shù)據(jù)中的不一致性有可能會(huì)是解決問(wèn)題的線索，深挖下去也許可以解決一個(gè)大的業(yè)務(wù)問(wèn)題。

例如：

在直郵營(yíng)銷中，在對(duì)家庭地址的合并和清洗過(guò)程中發(fā)現(xiàn)的數(shù)據(jù)不一致，反而可能是新的營(yíng)銷機(jī)會(huì)。

解決方法：

將數(shù)據(jù)可視化可以幫助你分析大量的假設(shè)是否成立。

7. 輕信預(yù)測(cè)(Extrapolate)

IDMer：依然是辯證法中的觀點(diǎn)，事物都是不斷發(fā)展變化的。

人們常常在經(jīng)驗(yàn)不多的時(shí)候輕易得出一些結(jié)論。

即便發(fā)現(xiàn)了一些反例，人們也不太愿意放棄原先的想法。

維度咒語(yǔ)：在低維度上的直覺(jué)，放在高維度空間中，常常是毫無(wú)意義的。

解決方法：

進(jìn)化論。沒(méi)有正確的結(jié)論，只有越來(lái)越準(zhǔn)確的結(jié)論。

8. 試圖回答所有問(wèn)題(Answer Every Inquiry)

IDMer：有點(diǎn)像我爬山時(shí)鼓勵(lì)自己的一句話“我不知道什么時(shí)候能登上山峰，但我知道爬一步就離終點(diǎn)近一步。”

“不知道”是一種有意義的模型結(jié)果。

模型也許無(wú)法100%準(zhǔn)確回答問(wèn)題，但至少可以幫我們估計(jì)出現(xiàn)某種結(jié)果的可能性。

9. 隨便地進(jìn)行抽樣(Sample Casually)

⑴. 降低抽樣水平。例如，MD直郵公司進(jìn)行響應(yīng)預(yù)測(cè)分析，但發(fā)現(xiàn)數(shù)據(jù)集中的不響應(yīng)客戶占比太高(總共一百萬(wàn)直郵客戶，其中超過(guò)99%的人未對(duì)營(yíng)銷做出響應(yīng))。于是建模人員做了如下抽樣：把所有響應(yīng)者放入樣本集，然后在所有不響應(yīng)者中進(jìn)行系統(tǒng)抽樣，即每隔10人抽一個(gè)放入樣本集，直到樣本集達(dá)到10萬(wàn)人。但模型居然得出如下規(guī)則：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都會(huì)響應(yīng)營(yíng)銷。這顯然是有問(wèn)題的結(jié)論。(問(wèn)題就出在這種抽樣方法上，因?yàn)樵紨?shù)據(jù)集已經(jīng)按照郵政編碼排序，上面這三個(gè)地區(qū)中不響應(yīng)者未能被抽取到樣本集中，故此得出了這種結(jié)論)。

解決方法：

“喝前搖一搖!”先打亂原始數(shù)據(jù)集中的順序，從而保證抽樣的隨機(jī)性。

⑵.提高抽樣水平。例如，在信用評(píng)分中，因?yàn)檫`約客戶的占比一般都非常低，所以在建模時(shí)常常會(huì)人為調(diào)高違約客戶的占比(比如把這些違約客戶的權(quán)重提高5倍)。建模中發(fā)現(xiàn)，隨著模型越來(lái)越復(fù)雜，判別違約客戶的準(zhǔn)確率也越來(lái)越高，但對(duì)正?？蛻舻恼`判率也隨之升高。(問(wèn)題出在數(shù)據(jù)集的劃分上。在把原始數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集時(shí)，原始數(shù)據(jù)集中違約客戶的權(quán)重已經(jīng)被提高過(guò)了)

解決方法：

先進(jìn)行數(shù)據(jù)集劃分，然后再提高訓(xùn)練集中違約客戶的權(quán)重。

10. 太相信最佳模型(Believe the Best Model)

IDMer：還是那句老話-“沒(méi)有最好，只有更好!”

可解釋性并不一定總是必要的。看起來(lái)并不完全正確或者可以解釋的模型，有時(shí)也會(huì)有用。

“最佳”模型中使用的一些變量，會(huì)分散人們太多的注意力。(不可解釋性有時(shí)也是一個(gè)優(yōu)點(diǎn))

一般來(lái)說(shuō)，很多變量看起來(lái)彼此都很相似，而最佳模型的結(jié)構(gòu)看上去也千差萬(wàn)別，無(wú)跡可循。但需注意的是，結(jié)構(gòu)上相似并不意味著功能上也相似。

解決方法：

把多個(gè)模型集裝起來(lái)可能會(huì)帶來(lái)更好更穩(wěn)定的結(jié)果。