用于情報收集的15大開源情報工具
OSINT工具是信息收集過程的關鍵部分,尤其是在了解和減少網絡安全情報中的攻擊面方面。全球開源情報市場在2018年的價值為50.2億美元,預計到2026年將增長到291.9億美元,2020年至2026年的復合年增長率為 24.7%,反映出它們的重要性。
OSINT 工具在開源情報分析中有著非常重要的作用。
關鍵要點
- OSINT(開源情報)工具可以高效地收集和分析公開數據,政府機構和私人組織可以使用這些數據來分析市場趨勢、品牌定位等。這些工具已經從傳統媒體發展到融合了網絡抓取、社交媒體分析、地理空間情報和人工智能等技術,以提高數據處理的精度和速度。
- 高級搜索引擎和專業服務(例如Internet Archive)以及瀏覽器擴展程序(例如 Mitaka)以及 Google 高級搜索運算符(稱為Google dorks)對于出于OSINT目的探索網絡至關重要。它們可以高效地導航和分析標準搜索引擎實踐未索引的內容。
- OSINT 實踐必須遵守法律標準,以確保負責任的情報收集。這涉及關注道德考慮、了解法律框架以及利用 OSINT 工具(例如公共記錄搜索引擎、社交媒體監控和網絡掃描工具),同時保持透明度并避免未經授權的數據訪問。
開源情報簡介
開源情報(OSINT)是:
- 從公開來源收集信息的藝術和科學
- 將原始數據轉化為可操作的見解
- 隨著數字世界的擴張,需求量很大
- 政府機構和商業組織均使用它來進行偵察、加強網絡犯罪調查等
- 提供有關市場趨勢和品牌定位的寶貴見解。
OSINT在廣泛的OSINT數據源上運行,包括來自各種OSINT技術的公共數據,例如:
- 廣播電視
- 收音機
- 社交媒體
- 網站
OSINT是收集各種格式(如文本、視頻、圖像和音頻)數據的強大資源。結合機器學習和神經網絡等先進技術,可以識別趨勢和模式,并通過分析各種數據源識別個人或主題等關鍵要素。
OSINT 工具的演變
隨著時間的推移,OSINT工具發生了重大變化。OSINT工具最初專注于報紙和廣播等傳統媒體分析,現在已轉向利用互聯網上私營和公共部門的大量信息資源。現代OSINT工具已經超越了簡單的搜索引擎,現在包含復雜的分析和可視化功能。
這些平臺融合了網絡抓取、社交媒體分析和地理空間智能等最先進的技術,徹底改變了信息的提取和評估方式。
預計OSINT工具的未來將由人工智能和機器學習驅動,從而提高數據處理和分析的精度和速度。
頂級OSINT工具配備了增強情報收集過程的功能。這些功能之一是內置數據轉換,允許將檢索到的信息轉換為更有用或更易讀的格式。為了根據特定用戶需求定制數據收集和分析,多種OSINT工具支持自定義轉換。
15 種OSINT工具
個人和組織現在可以開始使用許多免費的 OSINT工具。這些工具功能廣泛,可用于各種情報收集目的。
1. OSINT 框架:OSINT框架是研究人員基于網絡的重要工具,可按來源、類型和上下文組織開源情報資源。它廣泛應用于政府、執法和企業安全等部門,以滿足各種數據收集需求。社區貢獻不斷增強該框架,同時其運行遵守 GDPR 等法律標準,以確保合乎道德的數據收集。
2. Google Dorks:自2002年開始使用以來, Google Dorks提供專門的查詢,利用 Google的龐大索引來協助安全調查。這些查詢可以定位特定文件類型、擴展名、頁面內的文本、標題和URL,這些工具對于探索個人和公司的詳細信息非常有用。盡管搜索引擎通常不會索引日志文件等敏感數據,但Google Dorks仍然可以挖掘此類信息,為IT安全提供關鍵資源。
3. theHarvester :包含在Kali Linux發行版中,是一款用于收集與任何公司或網站相關的子域、虛擬主機、開放端口和電子郵件地址信息的綜合工具。theHarvester利用PGP密鑰服務器、Google和Bing等搜索引擎以及 LinkedIn 等社交網絡等來源收集數據,支持被動偵察和主動滲透測試。此工具對于本地和第三方授權網絡的滲透測試的初始階段特別有用。
4. SecurityTrails API:SecurityTrails API允許您即時訪問當前DNS 服務器記錄和歷史記錄(稱為DNS 歷史記錄)、域詳細信息和關聯域、IP信息以及WHOIS數據,以便您可以將其集成到您自己的應用程序中,用于資產發現、威脅情報、風險評分等。最好的部分是您只需要一個 HTTP 請求即可檢索數據。
5. BGPView:使用BGPView輕松跟蹤 BGP 路由信息和 IP 地址數據,簡化網絡監控任務。分析網絡配置、識別安全威脅并無縫監控路由變化。這款直觀的網絡工具提供可直接從瀏覽器訪問的全面見解,從而做出明智的決策以優化網絡性能、識別威脅行為者的來源等等。
6. Recorded Future 漏洞數據庫:從這個免費的CVE DB訪問詳細的漏洞信息。此工具為安全團隊提供了寶貴的見解,使他們能夠領先于新興的 CVE。它包括有用的信息,例如 CVSS 分數、攻擊復雜度級別、可用性、每個 CVE 的摘要,以及受影響的產品和緩解資源。
7. Triage Malware Sandbox:使用最先進、最流行的惡意軟件分析沙箱之一免費探索惡意軟件樣本。該平臺提供了一個可定制的環境,您可以在其中提交大量惡意軟件樣本,從而能夠檢測和提取各種惡意軟件家族的配置。
8. Mitaka:這是一個 OSINT 瀏覽器擴展,可以幫助您提高日常運營效率,提供對各種情報收集功能的直觀訪問,以實現高效的偵察和調查任務。Mitaka 采用以用戶為中心的方法開發,無縫集成了多個OSINT模塊,實現了對目標實體的全面分析。
9. Recorded Future 的瀏覽器擴展:使用此威脅情報瀏覽器擴展,可以輕松訪問來自任何基于 Web 的資源的情報數據,從而簡化安全操作。此 OSINT 擴展將幫助您調查網絡釣魚電子郵件、檢測 IOC、優先修補漏洞并加快 SIEM 中的警報處理速度。
10. HaveIbeenPwned?HaveIbeenPwned 可以幫助您檢查您的帳戶過去是否被盜用。該網站由 Troy Hunt 開發,他是這個市場上最受尊敬的 IT 安全專家之一,多年來一直提供準確的報告。如果您懷疑您的帳戶已被盜用,或者想要驗證外部帳戶是否受到第三方入侵,這是一個完美的工具。它可以追蹤來自許多來源的網絡入侵,例如 Gmail、Hotmail、Yahoo 帳戶,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和許多其他熱門網站。
11. BuiltWith:作為全面的分析器,用于識別網站上部署的各種技術,從服務器框架到分析和內容管理系統。它提供對網絡設置的深入分析,這對于競爭情報和技術戰略制定至關重要。對于那些尋求深入了解數字平臺技術基礎設施的人來說,這個工具至關重要。
12. Shodan:由 John Matherly 于 2009 年構思,是一款網絡安全監控器,也是深層網絡和物聯網的專用搜索引擎。它使用戶能夠探索大量聯網設備,并按國家、操作系統和網絡類型組織結果,為 IT 安全研究人員提供寶貴的見解。
13. SpiderFoot:由 Steve Micallef 開發,是一款出色的偵察工具,可自動執行 OSINT,在偵察、威脅情報和周邊監控方面可快速獲得結果。它利用 100 多個公共數據源來收集各種目標的情報,包括通用名稱、域名、電子郵件地址和 IP 地址,并通過易于使用的模塊選擇和目標規范簡化流程。
14. Maltego:由Paterva開發,是Kali Linux發行版中的一款強大工具,專為對目標進行詳細數字偵察而設計。利用“轉換”來集成和分析來自外部應用程序的數據,有免費版和商業版。用戶可以通過Maltego平臺啟動調查以獲得綜合結果,例如 IP、域和 AS 編號。
15. Nmap:雖然一些網絡掃描儀在技術上可能不被視為 OSINT 工具,但它們被廣泛集成到許多此類平臺中。網絡掃描儀收集的信息通常可通過公共渠道訪問,符合開源情報 (OSINT) 的原則。其中一個最好的例子是強大的 Nmap。此網絡和端口掃描儀是用于情報收集的出色工具,它提供了數十個Nmap 命令,可從終端和 GUI 執行偵察過程。
擴展知識
什么是開源情報工具?
開源情報工具用于從社交媒體、網站和新聞文章收集公開信息,以識別漏洞并制定攻擊計劃。
社交媒體如何用于開源情報 (OSINT)?
可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具將社交媒體用于 OSINT,從不同的社交媒體平臺提取和分析數據,從而深入了解在線行為和關系。
如何確保開源情報調查實踐的合法合規性?
為了確保開源情報收集實踐的合法性,必須遵守法律法規、行動透明、確保數據收集合法合乎道德。這些步驟對于保持誠信和遵守法律標準至關重要。
全球范圍內,開源情報活動受到不同法律法規的約束,這可能會帶來風險,在我國以《網絡安全法》《個人信息保護法》等法律法規約束,歐洲則是《通用數據保護條例》等法律對數據使用規定了嚴格的要求。在德國,開展開源情報需要有法律顧問確認的合法權益。最佳實踐建議遵守服務條款、謹慎使用、避免非法數據訪問并確保運營透明度。