在網絡安全領域，快速準確地識別威脅對現代企業的成功至關重要。Linux 審計日志記錄系統活動，為發現可能意味著安全漏洞和內部威脅的異常活動提供了一座數據金礦。
NVIDIA Morpheus，一款人工智能驅動的網絡安全框架，專門用于增強日志中的異常檢測。以下文章將探討如何利用 NVIDIA Morpheus 識別 Linux 審核日志中的潛在威脅。
當前 SIEM 工具面臨的挑戰?
傳統的安全信息和事件管理（SIEM）工具專注于生成警報的預定義規則。他們面臨幾個問題：
- 識別新的威脅：由于僅限于已知的威脅模式，這些模型往往會錯過新穎或復雜的攻擊。
- 高假陽性率：過于嚴格的規定可能會導致大量虛假警報，從而給安全團隊帶來了不必要的調查負擔。
- 有限的上下文洞察力：評估事件時，如果缺乏充分的上下文信息，可能會導致威脅被忽視或誤解。
什么是 Linux 審核日志，它們包含哪些信息？
Linux 審核日志在監視 Linux 環境中的系統活動方面發揮著關鍵作用，提供了對各個方面的全面見解：
- 用戶活動：記錄登錄、命令執行和系統設置變更的詳細信息。
- 系統事件：記錄啟動/關閉、時間變化和內核操作等事件。
- 文件訪問：有關文件交互、修改或刪除操作的相關信息。
- 網絡活動：關于網絡連接、傳輸和安全事件的相關數據。
- 身份驗證和授權：記錄登錄嘗試和權限調整的日志。
這些數據對于系統監督、安全評估和故障排除至關重要。它幫助管理員和安全專家確保系統完整性，識別漏洞，并滿足法規遵從性要求。
以下是 Linux 審核日志中的條目可能是什么樣子的示例：
type=SYSCALL msg=audit(1614699353.204:12345): arch=c000003e syscall=59 success=yes exit=0 a0=555555554000 a1=5555555562a0 a2=5555555568e0 a3=7fffd9f71c20 items=2 ppid=2914 pid=2915 auid=1000 uid=1000 gid=1000 euid=1000 suid=1000 fsuid=1000 egid=1000 sgid=1000 fsgid=1000 tty=pts0 ses=1 comm="cat" exe="/usr/bin/cat" key=(null) |
了解 Linux 審核日志中的異常檢測?
異常情況或異常值，是指在特定上下文中偏離正常行為或模式的事件或數據點。
Linux 審核日志中的異常檢測是指識別系統日志中偏離規范的異常模式或活動的過程。這些異常可能表示潛在的安全威脅，如未經授權的訪問嘗試、惡意軟件感染或內部威脅。
通過分析審計日志中包含的大量數據，異常檢測算法可以找出可能被忽視的異常情況。
NVIDIA Morpheus 網絡安全 AI 框架?
NVIDIA AI Enterprise 的一部分是 NVIDIA Morpheus，這是一個旨在增強網絡安全能力的人工智能應用程序框架。它使您能夠創建人工智能驅動的解決方案，這些解決方案可以為網絡安全目的過濾、處理和分類大量數據。
利用 GPU 加速，Morpheus 提高了數據檢查和分析的速度，有助于實時檢測和應對安全威脅。
NVIDIA Morpheus 為分析 Linux 審核日志提供了一個引人注目的解決方案，在這個領域，數據的數量和動態特性可能會壓倒傳統的監控工具。
以下是 Morpheus 非常適合執行此任務的原因：
- 處理大容量數據
- 易于集成和使用
- 內置對異常檢測的支持：數字指紋
處理大容量數據?
Linux 審核日志生成大量數據，捕獲系統事件的詳細記錄，這對安全性至關重要。傳統工具可能難以處理此卷，導致延遲或錯過見解。
Morpheus 利用 GPU 加速，使系統處理數據的速度比傳統的非 GPU 加速服務器快 600 倍。這一功能確保即使是最密集的審計日志也可以有效地進行分析，從而無延遲地識別異常。
易于集成和使用?
Morpheus 支持常見的深度學習框架和模型格式，允許網絡安全開發人員輕松集成現有模型或部署預先訓練的模型。
它提供了一系列用于快速部署和自定義的階段和管道示例。這確保了團隊能夠集中精力應對安全威脅，而不是陷入工程任務。
內置對異常檢測的支持：數字指紋?
Morpheus 附帶的數字指紋 AI 工作流程為網絡安全中的異常檢測提供了一種復雜的方法。該工作流程采用無監督學習算法為網絡上的每個實體創建唯一的標識符或指紋。
通過分析這些指紋，Morpheus 可以檢測出與正常行為模式的偏差，從而發出潛在的安全威脅或異常信號。
數字指紋 AI 工作流程在 Morpheus 框架內運行，具有通過共享模型存儲進行通信的訓練和推理管道。這使得動態高效的異常檢測和擴展能夠管理數以萬計的指紋，而不必從頭開始開發自定義工作流程。
使用 Morpheus 框架為 Linux 審核日志創建異常檢測工作流?
我們基于現有的 Morpheus 數字指紋 AI 工作流 進行了一些修改。
預處理和特征工程?
在預處理階段，系統生成的日志被過濾掉，以減少數據集中的噪聲。
根據 Linux 日志，我們通過在 5 分鐘的滾動窗口內聚合數據來設計和開發一組功能。以下是模型中使用的功能：
- 用戶活動：修改或訪問某些敏感配置文件的布爾功能，例如
sshd_config文件或passwd文件。 - 流程活動：過程活動、程序包安裝或刪除過程中的高峰期。
- 文件訪問模式：統計已刪除、移動或復制的文件數量。
- 網絡活動：包括入站和出站活動。
- 身份驗證：記錄用戶登錄失敗的次數、
sudo命令的執行情況和 SSH 連接狀態。
模型培訓和評估?
在組裝訓練和驗證數據集時，我們確保它們準確地描述了給定服務器的基線行為，排除了任何異常數據點。
相反，對于測試數據集，我們納入了在安全操作中心（SOC）分析師的協助下創建的異常數據點。
我們分別在每臺服務器的 Linux 審核日志上為其訓練了自動編碼器模型。訓練后的模型與相應的元數據一起存儲在 MLflow 中。
培訓管道?
訓練管道包括從三角洲湖源階段檢索數據、預處理和特征提取等步驟。根據特征工程，在提供的日志上訓練模型，然后將訓練后的模型保存在 MLflow 中。
圖 2 顯示了我們使用 Morpheus 框架開發的訓練管道。
使用訓練管道，由于 GPU 計算速度加快，我們在單個服務器的日志數據上成功地訓練了一個模型，在短短 8 分鐘內就用 100M 的日志線完成了一個月的活動。使用傳統方法，這將需要數小時到數天的時間。
推理管道?
三角洲湖源和特征工程階段用于訓練和推理管道。模型權重是使用機器名稱從 MLflow 獲取的，Morpheus 提供了一個緩存模型的功能。
在對給定日志執行推理后，將根據預定義的閾值對警報進行過濾和后處理。后處理完成后，會將警報發送到 Splunk。
圖 4 顯示了我們使用 Morpheus 框架開發的推理管道。
推理流水線可以在大約 120 秒內處理 100K 條日志行。
監控和警報
異常檢測工作流程旨在將警報直接轉發到 SIEM 工具，如 Splunk。這使安全運營中心分析師能夠根據這些通知及時采取適當措施。
模型檢測到的異常：外部入侵和內部威脅?
異常檢測工作流程經過精細調整，可以檢測 Linux 審核日志中兩種主要類型的安全威脅：未經授權的訪問嘗試和異常的系統行為。
未經授權的訪問嘗試?
這些是未經授權的用戶試圖訪問系統或敏感數據，通常是外部入侵的信號。它們可能表現為重復登錄失敗，或者非特權用戶使用 sudo 命令。
通過聚合和分析登錄失敗計數和某個時間段內的 sudo 命令執行，該模型可以有效地檢測這種未經授權的訪問嘗試。與基線行為顯著偏離的模式，如失敗登錄嘗試的激增或來自異常用戶帳戶的 sudo 命令，會觸發警報，表明潛在的安全漏洞。
異常系統行為?
這一類別涉及網絡中廣泛的異常活動，表明可能存在惡意軟件感染或內部威脅。
例如，文件操作活動的突然增加，如刪除、移動或復制敏感文件，可能表明惡意軟件感染。
同樣，網絡活動的異常激增，尤其是出站傳輸，可能表明惡意內部人員試圖進行數據泄露。
該模型具有監視文件訪問模式、網絡活動和關鍵系統文件更改的功能，能夠檢測這些異常行為。由于該模型單獨監測每個主機，并僅在與已建立的模式有重大偏差時觸發警報，因此與傳統的基于規則的 SIEM 異常檢測器相比，它提供了更低的假陽性率和更強的可解釋性。
業務成果?
Linux 審計日志中的異常檢測是全面網絡安全策略的關鍵組成部分。這篇文章展示了如何使用 Morpheus 框架專門為 Linux 審計日志開發異常檢測管道，目的是發現 Linux 審計日志中的潛在威脅。
通過集成 Linux 審計異常檢測工作流程，SOC 分析師可以通過早期檢測威脅來獲得實質性的好處，例如提高安全性和風險管理。
為了提高人工智能的透明度，展示模型開發過程中的問責制，并促進 Morpheus 等框架的道德考慮，NVIDIA 已將其所有模型卡升級為 模型卡++。有關 Morpheus 框架的數字指紋和其他模型部分的更多信息，請訪問 GitHub 上的模型卡++發布。
申請在 NVIDIA LaunchPad 中體驗 Morpheus，獲得我們的數字指紋 AI 工作流程的實踐經驗，或者在 /nv-morpheus GitHub 存儲庫中或通過 90 天免費試用開始使用 Morpheus。
有關更多信息，請參閱以下資源：
- 使用生成式人工智能，NVIDIA Morpheus 幫助抵御矛式網絡釣魚攻擊
- 了解 NVIDIA Morpheus：網絡安全框架簡介
- 了解 NVIDIA Cybersecurity AI 工作流的技術簡介
?
