一、測試模版

陣列去重是一個老生常談的問題，網上流傳著有各種各樣的解法

為了測試這些解法的效能，我寫了一個測試模版，用來計算陣列去重的耗時

// distinct.js
let arr1 = Array.from(new Array(100000), (x, index)=>{
  return index
})
let arr2 = Array.from(new Array(50000), (x, index)=>{
  return index+index
})
let start = new Date().getTime()
console.log('開始陣列去重')
function distinct(a, b) {
  // 陣列去重
}
console.log('去重後的長度', distinct(arr1, arr2).length)
let end = new Date().getTime()
console.log('耗時', end - start)
 

前端全棧學習交流圈：866109386,面向1-3經驗年前端開發人員,幫助突破技術瓶頸，提升思維能力,群內有大量PDF可供自取，更有乾貨實戰專案視訊進群免費領取。

這裡分別建立了兩個長度為 10W 和 5W 的陣列

然後通過 distinct() 方法合併兩個陣列，並去掉其中的重複項

資料量不大也不小，但已經能說明一些問題了

二、Array.filter() + indexOf

這個方法的思路是，將兩個陣列拼接為一個數組，然後使用 ES6 中的 Array.filter() 遍歷陣列，並結合 indexOf 來排除重複項

function distinct(a, b) {
  let arr = a.concat(b);
  return arr.filter((item, index)=> {
    return arr.indexOf(item) === index
  })
}
 

這個陣列去重方法，看起來非常簡潔，但實際效能。。。

是的，現實就是這麼殘酷，處理一個長度為 15W 的陣列都需要 8427ms

三、雙重 for 迴圈

最容易理解的方法，外層迴圈遍歷元素，內層迴圈檢查是否重複

當有重複值的時候，可以使用 push()，也可以使用 splice()

function distinct(a, b) {
  let arr = a.concat(b);
  for (let i=0, len=arr.length; i<len; i++) {
    for (let j=i+1; j<len; j++) {
      if (arr[i] == arr[j]) {
        arr.splice(j, 1);
        // splice 會改變陣列長度，所以要將陣列長度 len 和下標 j 減一
        len--;
        j--;
      }
    }
  }
  return arr
}
 

前端全棧學習交流圈：866109386,面向1-3經驗年前端開發人員,幫助突破技術瓶頸，提升思維能力,群內有大量PDF可供自取，更有乾貨實戰專案視訊進群免費領取。

但這種方法佔用的記憶體較高，效率也是最低的

四、for…of + includes()

雙重for迴圈的升級版，外層用 for…of 語句替換 for 迴圈，把內層迴圈改為 includes()

先建立一個空陣列，當 includes() 返回 false 的時候，就將該元素 push 到空陣列中

類似的，還可以用 indexOf() 來替代 includes()

function distinct(a, b) {
  let arr = a.concat(b)
  let result = []
  for (let i of arr) {
    !result.includes(i) && result.push(i)
  }
  return result
}

這種方法和 filter + indexOf 挺類似

只是把 filter() 的內部邏輯用 for 迴圈實現出來，再把 indexOf 換為 includes

所以時長上也比較接近

五、Array.sort()

首先使用 sort() 將陣列進行排序

然後比較相鄰元素是否相等，從而排除重複項

function distinct(a, b) {
  let arr = a.concat(b)
  arr = arr.sort()
  let result = [arr[0]]
  for (let i=1, len=arr.length; i<len; i++) {
    arr[i] !== arr[i-1] && result.push(arr[i])
  }
  return result
}

這種方法只做了一次排序和一次迴圈，所以效率會比上面的方法都要高

六、new Set()

ES6 新增了 Set 這一資料結構，類似於陣列，但 Set 的成員具有唯一性

基於這一特性，就非常適合用來做陣列去重了

function distinct(a, b) {
  return Array.from(new Set([...a, ...b]))
}

那使用 Set 又需要多久時間來處理 15W 的資料呢？

喵喵喵？？？ 57ms ？？我沒眼花吧？？

然後我在兩個陣列長度後面分別加了一個0，在 150W 的資料量之下…

居然有如此高效能且簡潔的陣列去重辦法？！

七、for…of + Object

這個方法我只在一些文章裡見過，實際工作中倒沒怎麼用

首先建立一個空物件，然後用 for 迴圈遍歷

利用物件的屬性不會重複這一特性，校驗陣列元素是否重複

function distinct(a, b) {
  let arr = a.concat(b)
  let result = []
  let obj = {}
  for (let i of arr) {
    if (!obj[i]) {
      result.push(i)
      obj[i] = 1
    }
  }
  return result
}

當我看到這個方法的處理時長，我又傻眼了

15W 的資料居然只要 16ms ？？？ 比 Set() 還快？？？

然後我又試了試 150W 的資料量…