mate 50評測的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

Load Balancing and Data Placement in MapReduce

為了解決mate 50評測的問題，作者柯恩 這樣論述：

在大數據的時代，每天無所不在且無時無刻的產生大量的結構化和非結構化數據。處理大數據最困難的工作是需要同時在許多的電腦中平行執行軟體。 MapReduce是一個新的程式架構，對於處理大數據時他可簡易的將程式分散在各電腦中執行。 MapReduce 是利用電腦的網路連接的性質，將工作在電腦之間做平行處理。雲端計算往往是與MapReduce交互使用的概念。雲端計算是一種計算資源在網上互聯的計算方法。對於處理大數據而言，雲端計算與MapReduce架構的結合是一個完美的組合，MapReduce架構提供了一個既靈活且有彈性的硬體平台和結構，而雲端計算提供了MapReduce所需的密集型數據計算的資源。

本文著眼於在群集或數據中心的資源利用率，並專注於負載平衡和數據在MapReduce放置。負載平衡是一種跨多台計算機或群集電腦的分散工作量的方法，並涉及到中央處理單元、硬碟和其他資源。負載平衡的目的是為了實現最佳的資源利用率，最大限度地提高處理能力，減少反應時間，並避免過載。在工作的期間，數據放置的位置與負載平衡是密切相關的。在這篇論文中，我們研究的負載平衡和MapReduce的數據佈局，以及它是如何在不同的情況下使用。然而，我們提出幾種演算法來提升MapReduce的負載均衡。首先，我們介紹一種能改善對全局排序(Total Order Partitioner)的抽樣方法。其次，我們提出一個使用

動態資料重新配置(dynamic data redistribution)的多表格連結的演算法(multiway join algorithm)。最後我們展現了如何讓數據可以更智能地在異構雲端環境中的分佈。在我們的第一個主題，我們提出對目前的XTrie，ETrie和ATrie演算法對資料去做改進的抽樣方法和配置方法。該XTrie演算法使用固定的記憶體使用量，這不像是傳統的全局排序(total order partitioner)法把每個樣本都儲存在記憶體中。除此之外，我們的XTrie具有更好的性能，且XTrie對200,000樣本能有快七倍的執行時間。使用XTrie也改善ETrie和ATrie

演算法對記憶體的需求，對ETrie而言用，XTrie可減少記憶體達到1/16。最後藉由使用在出生日期數據的自適應方法(adaptive method) 和一個2級的線索，可讓使用XTrie的ATrie減少記憶體到達1/16384。在我們的第二個主題中，我們提出了一個MapReduce的網絡感知多表格連結（SmartJoin）提高性能，並在重新分配工作負載於reducer時考慮網絡流量。我們發現這可以減少連結多個數據組所需的時間。在我們的評測中，證明SmartJoin的效能比未重新分配的方法(non-redistribution method)好39%，比隨機重新分配方法(random redi

stribution)好26.8%，比worst join重新分配方法好27.6%。最後，在我們的第三個主題中，我們對MapReduce佈署在異質雲環境提出了一個動態資料分配方法和虛擬機映射器。模擬和實驗結果證明，能提高MapReduce的性能，對數據局部性的部分改善了33％且提升最佳總完工時間41％。此外，藉由使用負載感知虛擬機映射器(virtual machine mapper)可在reduce階段額外減少13%的完成時間。