三個題目

第一題

問題描述

統計出當前這個一行一個IP的文件中，到底哪個IP出現的次數最多

解決思路

//必須要能讀取這個內容  

        BufferedReader br = new BuffedReader(new FileInputStream(new File("c:/big.txt")));
          // 每次讀取一行
        String line = null;
        while( (line=br.readLine()) != null){
            // 處理這讀取到的一行內容的代碼
        }

        
 
//最簡單的一種思路：  初始化一個hashmap

        //hashmap中存儲的鍵值對的  key ： IP      value : 次數

        int count = 0;  // 就是用來進行存儲當前出現次數最多的那個IP的次數
        String maxip = null;
        Set<String> ips = hashmap.keySet();
        for(String ip :  ips){
            int ipcount = hashmap.get(ip)
            if
 
(ipcount > count){
                count = ipcount
                maxip = ip;
            }
        }
        System.out.println(maxip + " : " +count);

問題難點

1、當讀取的文件的大小超過內存的大小時，以上的解決方案是不可行的。

2、假如說你的內存足夠大，能裝下這個文件中的所有ip，整個任務的執行效率會非常低，消耗的時間會非常的長。

　　1GB -- 5分

　　1TB --- 1024 * 5 分

3、最終整個任務就使用一臺機器，那麽最終整個任務執行完成所消耗的時間是和數據的大小成正比。提升服務器的執行性能來提高數據的處理速度。

　　　　當前這一臺機器的執行性能： 　　　　 5分鐘/GB

　　　　提升服務器的執行性能： CPU ：i3 ---> i7 1分鐘/GB

在最開始的服務器領域：提升服務器對外提供服務的效率手段就是縱向提升服務器性能。理想是豐滿的，現實是骨感的，但是服務器性能提升有瓶頸。

摩爾定律：每隔18-24個月，服務器的性能提升一倍。

如果說數據的增長是每隔18-24個月就增長一倍,工作量增加了一倍。工作效率也增加了一倍，那麽最終完成同一個任務所花費的時間是一樣的。

但是數據的增長速度是遠遠超過服務器性能的提升。在數據不斷增長的情況下，單位時間內，服務器所需要處理的數據量是越來越大。

假如：

服務器的性能提升 速率 和 數據的增長速率一樣： 在18-24個月
10GB --- 性能： 1分鐘/GB --- 10分鐘
20GB --- 性能： 1分鐘/2GB --- 10分鐘

假如：

服務器的性能提升 速率 和 數據的增長速率不一樣： 在18-24個月
10GB --- 性能： 1分鐘/GB --- 10分鐘
100GB --- 性能： 1分鐘/2GB --- 50分鐘

最終的結論： 靠 縱向提升服務器性能的手段 在理論上有 瓶頸的。

最終解決方案：縱向不可取，所以采取橫向擴展。

所謂的橫向擴展：就是增加服務器的數量。

一個龐大的復雜任務就應該 平均分配給所有的服務器做處理

10GB 一臺服務器 10分鐘

100GB 一臺服務器 100分鐘

100GB 10臺服務器 10分鐘

10000GB 1000臺 10分鐘

在理論上 有上限麽？？沒有

兩種情況下：
1、在數據量比較小的情況下，單臺服務器就可以再用戶可接受的時限範圍內完成任務。
2、當數據量變大時，如果用戶也想在可接受的時限範圍內完成任務，那麽可行的方案就是進行服務器的橫向擴展。

核心思想： 大事化小 分而治之
終極解決方案：
1、先把文件切碎成很多的小文件。
2、每一個服務器節點去處理一個小文件。
3、再把所有服務器的處理結果匯總到一起。
4、再把所有的數據合並到一起求出出現次數最多的那個ip。

只要是通過網絡傳輸數據，就一定存在丟失數據的可能。

第二題

問題描述

在兩個龐大文件中，文件也都是存儲的URL地址（每行一個），比如文件名叫做file1和file2, 找出這兩個文件中的交集（相同的URL）？

以上問題等同於SQL：select url from file1 a join file2 b on a.url = b.url

問題分析

概念：出現在在file1中的元素也出現在file2中。這些元素的集合就是交集

需求：求2個文件的交集

文件中的元素：URL

解決方案

1.當2個文件都比較小的時候

　　步驟：

　　　　1.　編寫一個程序可以去讀文件的內容，把文件中的所有元素都放置在一個set1中

　　　　　　　　編寫一個流處理取讀取文件內容，逐行讀取，每次讀取到的一行放入set1中

　　　　2.　運行相同的程序處理另外一個文件的內容，把文件中的所有元素都放置在一個set2中

　　　　3.　先遍歷一個集合，每次遍歷出來的元素都去另外一個集合中判斷存在不存在。如果存在，就是共同元素，這個共同元素就存儲在某個集合中resultSet；如果不存在，就不是共同元素。

　　　　4.　結果集：集合resultSet

2.當2個文件都比較大的時候

　　第一種思路：采取跟第一個題目一樣的大事化小的策略

　　第二種思路：改良第一種思路。避免第一種思路中的很多無效匹配　a1 * a2

　　　　　　　　必須做到合理的數據分區，數據分區的兩種最基本的思路：

　　　　　　　　　　1.先排序，然後分段==分區

　　　　　　　　　　2.hash散列　　--　　求hash值，然後利用hash值求和分區個數的余數，如果余數相同，就證明這些元素在同一個分區中

　　　　　　　　改良了實現思路之後，可以讓原來應該執行16個小任務的大任務。只需要執行4個小任務即可。

終極解決方案：

1.先指定一個分區策略：hash散列

2.預估預估一下數據要被切分成多少個塊，一定要保證兩個文件切分出來的小文件個數成倍數

3.根據hash散列的策略，對兩份文件分別進行操作

4.根據原來指定的策略，尋找對應的兩個大文件中的對應小文件進行求交集操作

5.所有的結果，根本就不用再進行去重了。直接進行拼接即可。

學到的東西：

　　整個大數據生態系統中的很多技術軟件的底層處理數據的分區時，默認的策略都是hash散列。

第三題

問題描述

現在有一個非常龐大的URL庫（10000E），然後現在還有一個URL，（迅速）判斷這個URL是否在這個URL庫中？

問題分析

需求：判斷一個元素在不在某個集合中

解決方案

1、計數排序

1、初始化一個數組 數組的長度 就是 集合中元素的區間長度

2、遍歷集合，把每個元素放入數組中 尋找對應的下標位置，找出值，然後重新設置成+1的值

3、按序遍歷即可

array[0] = 1, array[1] = 2, array[2] = 0, array[3] = 3,

0 1 1 3 3 3

2、改進需求：

求出某個元素在不在這個數組（數據結構改良之前的集合）中

array[5] = count if count > 0

3、既然是判斷存在不存在。

所以結果其實就是一個狀態 ： 要麽存在 要麽不存在

存在 ： 1
不存在： 0

把int數組進化成 為位數組

優勢：把數組所要消耗的內存降低到原來的 1/32

改良了之後這種數據結構： BitMap

真正的結構： 一個位數組 + 一個hash函數

4、BitMap再次進行進化

解決的問題： BitMap 中非常容易出現 hash碰撞的問題

咱們可以結合使用多個hash函數來搞定

缺點： 存在一定的誤判率

1、如果這種數據結構（BloomFilter） 告訴你說你要驗證的那個元素不在這個 BloomFilter 中
那就表示 這個元素一定不在這個 BloomFilter 中

2、如果它告訴你這個元素存在， 它告訴你的這個存在的結果 有可能是假的

真正的組成：

一個位數組 + 一組hash函數

如果要做工程實現：不管是什麽變種的BloomFilter， 都一定要實現兩個方法：

1、第一個方法是往BloomFilter中存入一個元素

2、第二個方法是驗證一個元素是否在這個BloomFilter 中

誤判率的估計：

1、位數組的長度 m

2、總元素的個數 n

3、hash函數的個數 k

hash函數的個數 並不是越多越好

在誤判率最低的情況下。 這三個參數應該滿足的一個公式： k = 0.7 * m / n

Hadoop學習之路（一）理論基礎和邏輯思維