Hadoop集群環境下網絡架構的設計與優化

　　大數據Hadoop環境網絡特性Hadoop 集群中的各節點通過網絡連接起來，而且MapReduce 中的以下過程會在網絡中傳輸數據。

　　(1)寫數據。當向HDFS 寫入初始數據或者大塊數據時，會發生數據寫入過程。寫入的數據塊需要備份到其他節點，需要在網絡中傳輸這些數據。

　　(2)作業執行。

　　① Map 階段。在算法的Map 階段，幾乎不需要在網絡中傳輸數據。在Map 開始階段，當HDFS 數據沒有本地性(數據塊不在本地存儲，需要從其他節點拷貝)時，才需在網絡中傳輸數據。

　　② Shuffle 階段。這是作業執行中在網絡中傳輸數據的階段，數據傳輸的程度依賴于作業。Mapper 階段的輸出內容，會在這個時候傳輸到Reducer 進行排序。

　　③ Reduce 階段。因為Reducer 需要的數據已經從Shuffle 階段傳來，所以此階段不需要網絡傳輸數據。

　　④ Output 復制。MapReduce 的輸出作為文件存儲在HDFS 上。當將輸出結果寫入HDFS 時，產生的備份會在網絡中傳輸。

　　(3)讀數據。當應用程序如網站、索引或者SQL數據庫從HDFS 讀取數據時，會發生數據讀取的過程。另外，網絡對Hadoop 的控制層非常重要，比如HDFS 的信令和運維操作，以及MapReduce 架構都受到網絡影響。

　　五種網絡特性

　　思科公司針對Hadoop 集群環境下的網絡環境進行了一個測試，測試結果顯示，一個有彈性的網絡對Hadoop 集群非常重要;對Hadoop 集群具有重要影響的網絡特性，以其影響程度從大到小依次排序為：網絡可用性和彈性、Burst 流量突發處理和隊列深度、網絡過載比、Datanode 網絡接入和網絡延遲。

　　(1)網絡可用性和彈性。要部署一個高冗余性和可擴展的網絡，支持Hadoop 集群的增長。在Datanode之間部署多條鏈路的技術要比那些有單點失效或兩點失效的技術要好。交換機和路由器已經在業界被證明能夠為服務器提供網絡可用性。

　　(2)Burst 流量突發處理和隊列深度。HDFS 的有些操作和MapReduce Job 會產生突發流量，如向HDFS加載文件或者把結果文件寫入HDFS 都需要通過網絡。網絡如果處理不了突發流量，就會丟棄數據包，所以適當的緩存可以緩解突發流量的影響。確保選擇使用緩存和隊列的交換機和路由器，來有效處理流量突發。

　　(3)網絡過載比。一個好的網絡設計需要考慮到網絡中關鍵節點的擁塞情況。一個ToR 交換機從服務器接收20Gbps 的數據，但是只有2 個1Gbps 的上聯口會造成數據包丟失(10：1 的過載比)，嚴重影響集群的性能。過度配置的網絡的價格又非常昂貴。一般情況下，服務器接入層可以接受的過載比在4：1 左右，接入層和匯聚層之間，或者核心層的過載比在2：1左右。

　　(4)Datanode 網絡接入。要基于集群工作負荷來推薦帶寬配置。一般集群中的節點有1 到2 根1GB 的上聯口。是否選擇10Gbps 的服務器要權衡價格和性能。

　　(5)網絡延遲。交換機和路由器延遲的變化對集群性能的影響有限。相比網絡延遲，應用層延遲對任務的影響比例更大。但是網絡的延遲會對應用系統造成潛在的影響，例如造成不必要的應用切換等。