大數據時代的APT攻擊檢測

APT攻擊是一種有組織、有特定目標、隱蔽性強、破壞力大、持續時間長的新型攻擊和威脅。它的主要特點是手段多樣、目標明確和持續時間長。當前，APT攻擊已經成為互聯網安全領域關注的一個大熱點，并且持續升溫。

防不勝防的APT

APT是高級持續威脅，所謂的“高級”體現在其攻擊行為特征的難以提取、攻擊渠道的多元化和攻擊空間的不確定性上。首先，APT獲取權限是通過零日攻擊實現的，然而通過獲取和分析相應攻擊的指紋特征來識別攻擊具有明顯的滯后性，這導致通過實時監測發現APT攻擊不可行。APT注重對動態行為和靜態文件的隱蔽，比如隱蔽通道、加密通道等，幾乎所有的APT都具有這樣的特點;其次，APT攻擊渠道的多元化導致很難使用技術手段建立一張防護網來防止攻擊;最后是APT攻擊空間的不確定性，即任何一個階段、任何一個網絡都有可能成為攻擊的目標，包括邊緣性的、非核心的節點。

如果把網絡上的安全威脅看成是人體的一些疾病或者腫瘤，那么APT攻擊則相當于一種慢性的、分階段的侵蝕，是“慢性疾病”，而慢性疾病往往是最難治愈的。大數據的特點是數據規模大、數據分布無所不在，這使得數據的價值密度變得更小、更分散，從而導致很難聚焦于高價值的數據，這是大數據本身所帶來的攻擊檢測難點。據統計，攻擊從產生到被發現平均耗時5年，而我們是否能夠保證在5年的時間內一直關注某些數據?這在物理世界都很難堅持，更何況是在數據無所不在的網絡空間。然而，攻擊者則可能一直持續關注著這些敏感數據，這就造成APT攻擊防不勝防。

大數據與APT攻擊檢測

目前，APT攻擊檢測圍繞著3個方面：惡意代碼檢測、主機應用保護、網絡入侵檢測。

孤立地進行惡意代碼的檢測和主機應用保護，對防御APT攻擊來說是很難奏效的。簡單來說，解決思路主要有以下幾方面：首先，雖然APT的載體存在于大數據中，給APT檢測和對抗帶來了一系列困難，但是也可以利用大數據對APT進行一些檢測和應對。如果有各層面、各階段的全方位信息數據，即對任何交互行為都進行檢測，可以利用不同的數據找到不同的階段進行APT分析;其次是全流量分析，其核心是對全年的數據進行存儲，在此基礎上做宏觀的分析、微觀特定事件的檢測。由于很多流量行為存在統計意義上的普適性規律，因此，要在大數據的情況下進行小樣本的異常檢測;最后要解決大數據空間的不確定性問題。APT攻擊是以分布式方式進行的，利用大數據組織、整理相關信息，提高截獲攻擊者攻擊路徑的概率。另一種可能是攻擊目標是確定的，這種情況下將數據進行存儲，形成所謂的歷史模式數據，利用對歷史模式數據進行重放來發現攻擊線索。

大數據的4個難題

上述方法都是把相關的全部數據做完整的處理與分析。通常，大數據具有4個特征：體量大、速度快、數據格式和類型不同、數據真實精確(volume、velocity 、variety和veracity)。這給數據存儲帶來一系列難點。對于AP T而言，更多的是針對網絡空間，而網絡空間本身具有數據類型和數據格式不一樣，日志信息的行為、內容、結構化各異的特點。利用大數據進行有效地監測，不僅可以用來解決APT攻擊問題，也可以應用到其它相關領域。對于大數據來說存在著一些共性、普世性的東西，其中包括4個需要關注的難題：

1.數據的復雜性。大數據的規模已不再是導致復雜性的第一要素，比如連接網絡的關系更復雜。由于一些數據包含了某些非法的行為，使得對數據復雜性的定義已經不能使用所謂的規模來定義，而是需要使用一些新的規則。要把數據復雜性解決好，就需要找到數據的傳播路徑。如何獲得傳播路徑呢?一個辦法就是搜索，即把所有的可能路徑都找出來，然后判定哪些是異常的、有問題的和惡意的。這種判定方法把所有的可能性存下來，然后再去做判定，必然會導致規模巨大。如果從中找到穩定的結構特征，如擴散行為、攻擊行為等，就可以采取一系列步驟。利用大數據進行這樣的計算，就是尋找結構規則性和網絡重合模式，進而解決現有的難點。

2.計算的復雜性。當數據存在于整個空間的時候，它實際上是一個主體存在多個狀態。網上的攻擊行為出現后，將其存儲下來進行分析，分析之后再獲取網上的攻擊行為，然后再對其進行篩選，這是永不停機的工作過程。最原始的輸入可能是網絡空間里、全流量數據中與APT持續攻擊之外的某個信息，在非停機的情況下，傳統的制造方法、數據的計算以及思路都會與實際想要的結果存在偏差，甚至南轅北轍。因此，需要找到一種新的、簡約式的集中計算進行合適數量的數據分析，并不是全量數據。把所有的數據全部存儲進行分析是不可行的。

3.系統的復雜性。由于獲取到的數據是不同的，因此，需要進行存儲以便于做深入分析。當進行數據管理和查詢時，需要一系列的結構、非結構、半結構化處理。一般的關系查詢、網絡查詢和建制查詢等需要各種手段和技術，不存在一種技術或手段能解決所有的問題。利用大數據進行APT攻擊檢測，需要一個基于相關數據生命周期的靈活的系統架構。

4.大數據的學習。所謂學習是指根據已發現的事物或知識對未知的事物或知識進行判定。在APT空間里，學習是指預測和泛化，這是因為大數據環境下數據的碎片化與無邊界，使得傳統解決方法中的一些基本假設有了實現的可能。