[[194049]]

(一)前言

時間序列數據(TIME-SERIES DATA)、 大數據(BIG DATA)。無論您稱之什么，機器數據(machine data)都是任何組織中最容易低估的資產之一。 而且，不幸的是，數據通常保留一段很短的時間，然后就被丟棄，再也看不見。

但是，您可以從中獲得的一些最重要的見解，這通常隱藏在這些數據中：哪里出問題，如何優化客戶體驗，以及欺詐證據。所有這些見解都可以在組織的正常操作所生成的機器數據中找到。

機器數據是有價值的，因為它包含客戶、用戶、交易、應用程序、服務器、網絡和移動設備的所有活動和行為的確定性記錄。它包括配置，來自API的數據、消息隊列、事件，診斷命令的輸出，來電詳細記錄和工業系統等的傳感器數據。

利用機器數據的挑戰在于它令人眼花繚亂的不可預測的格式，傳統的監控和分析工具無法應對數據的種類、速度、容量或變化。但是，利用這些數據的組織有很大的優勢，包括快速診斷服務問題，檢測復雜的安全威脅，了解遠程設備的運行狀況和性能并證明合規性。

在實踐中使用機器數據

使用機器數據需要三個(看似簡單的)步驟：攝取、關聯和分析。

從機器數據獲得最大價值的組織能夠區分不同的數據類型，將它們鏈接在一起，并從結果中獲得價值。 但是最大的挑戰之一就是理解你應該攝取哪些數據。

根據需求，定義use cases – 無論是安全性、IT操作、業務分析還是物聯網 – 你可以開始識別數據源，并開始關聯。

本書提供了幾乎所有規模的組織中最常見的機器數據類型的概述。 雖然每個組織的需求和數據來源將隨著供應商、產品和基礎設施的不同而不同，但本書詳細介紹了應該查找機器數據的位置及價值。

本書中列出的許多數據源可以支持多種use cases – 這是驅動機器數據巨大價值的主要部分。 每個數據源支持的use cases可以用下面的圖標輕松識別。

(二)數據源

可用的數據源有：用戶數據、應用數據、中間件數據、網絡數據、操作系統數據、基礎設施數據、物聯網數據及其他數據源，本文列出了8大類，59小類數據。

其中每種數據前面的不同的顏色代表不同的價值，其中安全相關的是黃色的，共43小類，也可以看出安全能用的數據真不少。

以下抽樣幾種與安全相關的數據介紹，原文見：https://www.splunk.com/pdfs/ebooks/the-essential-guide-to-machine-data.pdf

(三)用戶數據介紹

用戶類兩種：認證數據和VPN數據，以認證數據為例：

use cases：安全與合規，IT運營，應用交付

示例：AD、LDAP、身份管理，單點登錄

IT操作和應用交付：驗證數據支持IT操作團隊，因為能對身份驗證相關的問題進行排錯。

安全合規性：為了安全起見，認證數據提供了大量關于用戶活動的信息，例如在給定時間窗口內多次登錄失敗或成功，在一定時間內來自不同位置的登錄，以及暴力破解活動。特別：

• Active Directory域控制器日志包含有關用戶帳戶的信息，例如特權帳戶活動，以及有關遠程訪問，新建帳戶創建和過期帳戶活動的詳細信息。
• LDAP日志包括用戶登錄系統的時間和地點以及訪問信息的記錄。
• 身份管理數據顯示用戶、組和職位的訪問權限(例如CEO，主管或普通用戶)。該數據可用于識別可能存在潛在的訪問異常 – 例如，CEO訪問低級網絡設備或通過CEO帳戶的進行網絡管理。

(四)應用數據介紹

應用類以漏洞掃描類數據為例：

Use Cases:安全合規

示例: ncircle IP360, Nessus

找到安全漏洞的有效方法是從攻擊者的角度來檢查基礎設施。漏洞掃描探測組織的網絡，以獲得為外部攻擊者提供入口點的已知軟件缺陷。這些掃描產生關于開放端口和IP地址的數據，攻擊者可以利用這些數據來獲取進入特定系統或整個網絡。

默認情況下，系統通常會保持網絡服務運行。這些運行的、不受監控的服務是外部攻擊的常見方式，因為它們可能沒有更新補丁。大規模漏洞掃描可以揭示的安全漏洞。

安全與合規性：漏洞掃描產生有關惡意代理程序可以使用的開放端口和IP地址的數據，以獲取進入特定系統或網絡。數據可用于識別：

• 系統配置錯誤導致安全漏洞
• 過時的補丁
• 不必要的網絡服務端口
• 配置不當的文件系統，用戶或應用程序
• 系統配置變更
• 各種用戶，應用或文件系統權限的變更

(五)中間件數據介紹

Middleware Data以web服務器數據為例：

Use Cases: IT Operations, Application Delivery, Security & Compliance,

Business Analytics

Examples: Java J2EE, Apache, Application Usage Logs, IIS logs, nginx

Web服務器是每個web網站后端應用，傳遞瀏覽器客戶端所看到的所有內容。 Web服務器訪問靜態HTML頁面，并以各種語言運行應用程序腳本，生成動態內容，并調用其他應用程序(如中間件)。

安全合規性：Web日志記錄錯誤條件，例如訪問沒有適當權限的文件的請求，并且還跟蹤標記為安全攻擊(例如未經授權進入或DDoS)的用戶活動。 它還可以幫助識別SQL注入，并支持關聯欺詐交易。

• 由于Java app經常訪問網絡服務和敏感數據庫，安全團隊可以使用日志數據來檢查J2EE應用程序的完整性，識別可疑應用程序行為和應用程序漏洞。
• Apache Web日志可告警安全攻擊，如嘗試未經授權的進入，XSS，緩沖區溢出或DDoS。
• 與Web日志一樣，Application Usage Logs可以告警未經授權的訪問，例如某人比平時消耗更多資源，或在奇怪的時間使用應用。

(六)網絡數據介紹

以DNS數據為例：

Use Cases: IT Operations, Security & Compliance

Examples: BIND, PowerDNS, Unbound, Dnsmasq, Erl-DNS

安全合規性：安全團隊可以使用DNS日志來調查客戶端地址請求，例如將查找表與活動相關聯，調查：請求是否針對不適當、其他可疑網站以及站點或域的相對受歡迎程度。 由于DNS服務器是DDoS攻擊的重點目標，日志可以顯示來自外部源的異常高數量的請求。 同樣，由于受攻擊的DNS服務器本身通常用于對其他站點發起DDoS攻擊，因此DNS日志可以顯示組織的服務器是否已被攻擊。 DNS數據還可以提供對未知域名，惡意域名和臨時域名的檢測。

(七)操作系統數據

Use Cases: IT Operations, Application Delivery, Security & Compliance

Examples: Unix, Windows, Mac OS

安全與合規：系統日志包括各種安全信息，如嘗試登錄、文件訪問和系統防火墻行為。 這些條目可以對網絡攻擊，安全漏洞或受到攻擊的軟件做出告警。 它們也是安全事件取證分析中寶貴的資料來源。 例如，數據可用于識別用戶或特權用戶執行的系統配置和命令的變更。

(八)虛擬化基礎設施數據

Use Cases:IT Operations, Security & Compliance

Examples:CloudTrail, CloudWatch, Config, S3

AWS是最多和最廣泛使用的公共云基礎設施，通過基于消費的定價提供按需計算，存儲，數據庫，大數據和應用服務。 AWS可用于替代傳統企業虛擬服務器基礎架構。 AWS包括一系列服務管理，自動化，安全，網絡和監控服務。

安全合規性：來自AWS服務的安全數據包括登錄登出事件和嘗試，來自網絡和Web應用程序防火墻的API調用和日志。 

(九)物聯網數據

Use Cases: IT Operations, Security, Business Analytics, Internet of Things

Examples:Binary and numeric values including switch state, temperature, pressure, frequency, flow, from MQTT, AMQP and CoAP brokers,

HTTP event collector

安全與合規性：傳感器數據可以幫助保護關鍵任務資產和工業系統免受網絡安全威脅，提供對系統性能的可視化或設置點，避免機器或人員處于危險之中。 數據也可用于滿足合規報告要求。