在繁忙的數(shù)字生活中，網(wǎng)絡(luò)威脅變得更加復(fù)雜和頻繁。僅靠傳統(tǒng)的方法已經(jīng)無法確保網(wǎng)絡(luò)足夠安全。隨著網(wǎng)絡(luò)變得錯綜復(fù)雜，機器學(xué)習(xí)（ML）越來越不可或缺。機器學(xué)習(xí)可以幫助企業(yè)加強防御，積極應(yīng)對新的威脅。
作為人工智能的一個關(guān)鍵組成部分，機器學(xué)習(xí)為計算機提供了類似人類的能力，可以在沒有直接編程的情況下從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測或決策。在深度學(xué)習(xí)領(lǐng)域中，現(xiàn)在已逐漸將焦點對準(zhǔn)機器學(xué)習(xí)，因為其反映了人類大腦的工作方式。機器學(xué)習(xí)特別擅長處理復(fù)雜的任務(wù)，尤其是非結(jié)構(gòu)化數(shù)據(jù)，這也是成為現(xiàn)代網(wǎng)絡(luò)安全中識別和應(yīng)對威脅的關(guān)鍵工具的原因。
內(nèi)容概述：
- 機器學(xué)習(xí)技術(shù)
- 迭代ML過程
- 特征工程
- 決策樹
- 集成學(xué)習(xí)
- ML用例
- 用于數(shù)據(jù)處理的聚類
- ML作為決策支持工具
機器學(xué)習(xí)技術(shù)
通常，機器學(xué)習(xí)技術(shù)分為三大類，每一類都有自己獨特的應(yīng)用程序和方法：
- 監(jiān)督學(xué)習(xí)：在監(jiān)督學(xué)習(xí)中，算法提供了標(biāo)記的數(shù)據(jù)集，使其從示例中學(xué)習(xí)并預(yù)測正確的輸出。這種類型的學(xué)習(xí)進一步分為兩個子類：分類和回歸。在網(wǎng)絡(luò)安全中，監(jiān)督學(xué)習(xí)被廣泛用于惡意軟件/網(wǎng)絡(luò)釣魚檢測、垃圾郵件過濾、圖像分類和欺詐檢測等任務(wù)。
- 無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)算法不依賴于標(biāo)記數(shù)據(jù)，用于識別沒有預(yù)定義類別的數(shù)據(jù)中的模式。聚類是無監(jiān)督學(xué)習(xí)中的一種先進技術(shù)，用于客戶細分、異常檢測和傳入流分析。
- 強化學(xué)習(xí)：強化學(xué)習(xí)訓(xùn)練機器在環(huán)境中根據(jù)獎懲做出決策。這種類型的學(xué)習(xí)更先進，可應(yīng)用于機器人、推薦系統(tǒng)和自適應(yīng)惡意軟件檢測。
機器學(xué)習(xí)的類型及其應(yīng)用實例
迭代ML過程
機器學(xué)習(xí)過程是高度迭代的，涉及各種關(guān)鍵步驟：
- 問題定義：明確定義要解決的網(wǎng)絡(luò)安全問題。
- 數(shù)據(jù)收集：收集相關(guān)的高質(zhì)量數(shù)據(jù)，因為它對模型有效性有顯著的影響。
- 數(shù)據(jù)探索：了解數(shù)據(jù)的特征、結(jié)構(gòu)和局限性，從而發(fā)現(xiàn)潛在的網(wǎng)絡(luò)安全威脅。
- 數(shù)據(jù)預(yù)處理：清理、轉(zhuǎn)換和組織數(shù)據(jù)，使其適合ML算法。
- 模型創(chuàng)建：選擇合適的算法，設(shè)計模型架構(gòu)，并在準(zhǔn)備好的數(shù)據(jù)上進行訓(xùn)練。
- 模型評估：評估模型的性能，以確保其符合需求。
- 模型部署：將模型實施到網(wǎng)絡(luò)安全系統(tǒng)中，主動進行保護。
機器學(xué)習(xí)的過程
特征工程
在為機器學(xué)習(xí)算法準(zhǔn)備數(shù)據(jù)方面，特征工程發(fā)揮著至關(guān)重要的作用。這些方法主要處理數(shù)字，將原始信息轉(zhuǎn)換為數(shù)字形式，也稱為“特征”。該過程涉及制定相關(guān)特征，這些特征有效地指導(dǎo)算法推導(dǎo)特定查詢的解決方案。例如，在對文件進行分類時，大小、類型和相關(guān)描述等屬性可能很有價值。
舉個例子，假設(shè)我們的目標(biāo)是生成關(guān)于公司客戶的預(yù)測模型。由于不可能將真人輸入算法，所以必須為模型提供這些客戶的代表性特征。我們需要仔細選擇這些特征，最大限度地提高與研究問題的相關(guān)性。這些特征可以是靜態(tài)屬性，例如年齡、地理位置或經(jīng)常訪問的購物類別；也可以是基于客戶行為的動態(tài)屬性，例如最近的活動指標(biāo)：是否更改了密碼或使用了新位置？
特征舉例
對文件進行分類時也采用同樣的方法。特征可能包括文件大小、類型、功能和其他描述性信息。特征工程的藝術(shù)和科學(xué)是機器學(xué)習(xí)過程中的一大步，需要仔細考慮從而確保所選擇的特征能夠為算法提供有意義的輸入，最終建立更準(zhǔn)確、更穩(wěn)健的模型。
決策樹
作為機器學(xué)習(xí)算法的一個例子，讓我們來談?wù)剾Q策樹算法。決策樹是一種流行的機器學(xué)習(xí)算法，類似于樹狀圖，節(jié)點表示屬性，葉子表示輸出或類標(biāo)簽。通過提出一系列問題，算法在數(shù)據(jù)中導(dǎo)航從而做出決策。決策樹可以作為更先進技術(shù)的基礎(chǔ)，如隨機森林。
決策樹示例
集成學(xué)習(xí)
集成學(xué)習(xí)將多個機器學(xué)習(xí)模型組合在一起以提高準(zhǔn)確性。隨機森林就是這樣的技術(shù)，它可以根據(jù)數(shù)據(jù)樣本訓(xùn)練每棵樹，并根據(jù)票數(shù)多的做出決定。
另一種流行的集成學(xué)習(xí)是梯度提升。與獨立建造和訓(xùn)練樹木的隨機森林不同，梯度提升會按照順序建造樹木，每一棵新樹都是為了糾正前一棵樹所犯的錯誤而設(shè)計的，從而逐步提高模型的性能。當(dāng)我們需要較高的預(yù)測能力時，梯度提升非常有效。目前梯度提升已成功用于各種網(wǎng)絡(luò)安全應(yīng)用，例如識別釣魚頁面。
集成學(xué)習(xí)代表了機器學(xué)習(xí)應(yīng)用程序先進的水平，展示了多個“較弱”的模型如何結(jié)合在一起形成一個“較強”的模型。
漸變增強示例
機器學(xué)習(xí)用例
雖然我們考慮了許多先進的機器學(xué)習(xí)方法，但它們?nèi)绾卧诰W(wǎng)絡(luò)安全中應(yīng)用和使用？讓我們來看看一些案例。
惡意軟件檢測
機器學(xué)習(xí)是對抗惡意軟件，或者簡單地說，是對抗有害軟件的強大工具。病毒、木馬、勒索軟件和間諜軟件等破壞性軟件可能會威脅數(shù)據(jù)安全、系統(tǒng)可靠性和隱私。
基于機器學(xué)習(xí)，隨機森林和支持向量機（SVM）等算法構(gòu)成了惡意軟件檢測的主干。這些算法深入研究軟件二進制文件的微小細節(jié)，因為這些細節(jié)就像軟件程序的DNA。通過研究這些二進制信息，可以發(fā)現(xiàn)代碼中隱藏的威脅；還可以發(fā)現(xiàn)可能被人類分析師忽視的模式和異常之處，從而加快檢測速度。
網(wǎng)絡(luò)釣魚檢測
網(wǎng)絡(luò)釣魚攻擊是一種常見的網(wǎng)絡(luò)安全威脅，旨在誘騙人們泄露登錄信息、信用卡號或社會安全詳細信息等敏感數(shù)據(jù)。這種攻擊通常偽裝成合法的電子郵件或網(wǎng)站，欺騙用戶相信他們正在與一個值得信賴的網(wǎng)站交互。
機器學(xué)習(xí)模型由梯度提升和決策樹等算法提供支持，可以以驚人的速度分析大量電子郵件內(nèi)容和網(wǎng)站URL。這些算法有能力檢測網(wǎng)絡(luò)釣魚最微小的跡象，如可疑的電子郵件地址、細微的拼寫錯誤、URL異常或?qū)€人數(shù)據(jù)的異常請求。
通過在惡意軟件和網(wǎng)絡(luò)釣魚檢測中使用ML的預(yù)測能力，網(wǎng)絡(luò)安全措施變得更加積極主動。配備ML的系統(tǒng)可以預(yù)先識別和減輕威脅，而不是在發(fā)生后對違規(guī)行為做出反應(yīng)。
異常檢測
異常檢測是指發(fā)現(xiàn)行為異常的數(shù)據(jù)點，顯示意外模式。想象一個具有簡單一維值的數(shù)據(jù)集，其中大多數(shù)數(shù)據(jù)點都聚集在一個中心點的周圍。假如一個數(shù)據(jù)點偏離了這個組，那么很容易將其標(biāo)記為異常。在單個變量數(shù)據(jù)集中發(fā)現(xiàn)異常可能非常直接。
但是，隨著數(shù)據(jù)變得越來越復(fù)雜，這項任務(wù)更具挑戰(zhàn)性。例如，在有兩個變量的數(shù)據(jù)集中，分別考慮每個變量時，異常可能不會顯現(xiàn)；只有同時查看這兩個變量時才能發(fā)現(xiàn)異常。當(dāng)處理包含數(shù)百甚至數(shù)千個變量的數(shù)據(jù)集時，檢測異常會變成一項復(fù)雜的任務(wù)，需要仔細檢查變量組合，才能有效地發(fā)現(xiàn)潛在的異常情況。
異常檢測技術(shù)
異常檢測在網(wǎng)絡(luò)安全中有多種重要應(yīng)用：
- 網(wǎng)絡(luò)異常：網(wǎng)絡(luò)是網(wǎng)絡(luò)攻擊者的主要目標(biāo)，檢測異常網(wǎng)絡(luò)行為對于防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪問至關(guān)重要。異常檢測技術(shù)有助于識別異常網(wǎng)絡(luò)流量，指出潛在的網(wǎng)絡(luò)入侵或可疑活動。
- 信用卡欺詐：在金融部門，異常檢測在檢測欺詐性信用卡交易發(fā)揮著關(guān)鍵作用。它能夠分析交易模式并識別異常活動，例如在短時間內(nèi)從不同地點購買，或偏離持卡人消費習(xí)慣的大額購買。
- 可疑客戶行為：
在電子商務(wù)和在線服務(wù)中，異常檢測被用來發(fā)現(xiàn)可疑的客戶行為。它有助于識別偏離用戶典型交互的活動，例如異常登錄位置或多次登錄嘗試失敗，這可能表明有人在嘗試未經(jīng)授權(quán)的訪問或帳戶泄露。
異常檢測技術(shù)的選擇在很大程度上取決于數(shù)據(jù)類型和任務(wù)的具體要求。在存在已知模式的情況下，可以將靜態(tài)規(guī)則與ML模型相結(jié)合，以提高檢測精度。了解要檢測的異常類型也至關(guān)重要。數(shù)據(jù)是平衡的、具有自相關(guān)的還是多變量的，都會影響異常檢測策略的選擇。
用于數(shù)據(jù)處理的聚類
通過聚類算法進行數(shù)據(jù)處理也是機器學(xué)習(xí)在網(wǎng)絡(luò)安全中有價值的用例。在處理大量數(shù)據(jù)時，遇到大量獨立和未知文件的任務(wù)可能會令人望而生畏。聚類技術(shù)通過相似性進行分組來拯救數(shù)據(jù)，從而降低數(shù)據(jù)的復(fù)雜性并使其更易于管理。
聚類算法，如K-Means和層次聚類，都有助于將大量非結(jié)構(gòu)化數(shù)據(jù)點轉(zhuǎn)換為定義良好的對象組。通過相似性組織數(shù)據(jù)，分析師可以更清楚地了解整個數(shù)據(jù)集，使數(shù)據(jù)分析更加高效。
傳入流群集
集群在網(wǎng)絡(luò)安全中的一個顯著好處是自動注釋數(shù)據(jù)。當(dāng)對象組包含已注釋的對象時，可以自動處理已注釋的部分。此外，機器學(xué)習(xí)算法可用于將新樣本與先前分類的樣本進行比較，從而簡化流程并減少所需的人工注釋量。
傳入流集群-注釋過程
通過將數(shù)據(jù)組織成有意義的集群，網(wǎng)絡(luò)安全專家可以更全面地了解數(shù)據(jù)集。這種增強的知識能夠更好地做出決策，從而實現(xiàn)更準(zhǔn)確的威脅評估和對潛在安全風(fēng)險做出更快的反應(yīng)。
聚類算法在增強網(wǎng)絡(luò)安全方面發(fā)揮著至關(guān)重要的作用。隨著數(shù)據(jù)變得更加結(jié)構(gòu)化和基于相似性進行分組，手動數(shù)據(jù)分析的負擔(dān)顯著減輕。分析師可以專注于高優(yōu)先級任務(wù)，將重復(fù)和耗時的任務(wù)留給聚類算法。
機器學(xué)習(xí)作為決策支持工具
雖然機器學(xué)習(xí)很強大，但也必須認識到它的局限性。機器學(xué)習(xí)算法需要大量高質(zhì)量的數(shù)據(jù)，結(jié)果如何取決于所用數(shù)據(jù)的質(zhì)量。了解手頭的數(shù)據(jù)和問題對于成功實施至關(guān)重要。在某些情況下，現(xiàn)成的解決方案可能就足夠了，反而復(fù)雜的機器學(xué)習(xí)技術(shù)可能沒有必要。
ML作為決策支持工具
機器學(xué)習(xí)在網(wǎng)絡(luò)安全領(lǐng)域開辟了新的道路。從檢測惡意軟件和網(wǎng)絡(luò)釣魚攻擊到處理大量數(shù)據(jù)和識別異常，機器學(xué)習(xí)是一套多功能的工具來加強數(shù)字防御。隨著網(wǎng)絡(luò)環(huán)境的不斷發(fā)展，對于應(yīng)對新的威脅和確保網(wǎng)絡(luò)安全來說，支持機器學(xué)習(xí)至關(guān)重要。雖然機器學(xué)習(xí)不是一個神奇的解決方案，但如果經(jīng)過深思熟慮和戰(zhàn)略性的應(yīng)用，它將成為一個寶貴的決策支持工具，從而幫助網(wǎng)絡(luò)安全專業(yè)人員自信地駕馭復(fù)雜的數(shù)字安全世界。
原文標(biāo)題：How Machine Learning is Helping Businesses Combat Cyber Threats，作者：Nadezda Demidova
原文鏈接：https://hackernoon.com/how-machine-learning-is-helping-businesses-combat-cyber-threats
