JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • A+
所属分类:Web前端
摘要

其实网上已经有很多js数组的去重方法,但是我看了很多篇并自己通过代码验证,发现都有一些缺陷,于是在研究多篇代码之后,自己总结了9种方法,如果有哪里不对请及时纠正我哈~
转载请表明出处


其实网上已经有很多js数组的去重方法,但是我看了很多篇并自己通过代码验证,发现都有一些缺陷,于是在研究多篇代码之后,自己总结了9种方法,如果有哪里不对请及时纠正我哈~
转载请表明出处

测试代码

let arr1 = [3, 1, [1], 1, [1], true, true, {}, '1', NaN, undefined, NaN, undefined, {}, null, null];	 let arr2 = []; for (let i = 0; i < 100000; i++) {     arr2.push(0 + Math.floor((100000 - 0 + 1) * Math.random())); }  // 封装在Array的原型对象会更好,this就是指向调用该方法的数组 Array.prototype.unique = function () {     //... }  console.log(arr1.unique());	// 测试去重效果 console.time('test'); console.log(arr2.unique());	// 测试去重时间 console.timeEnd('test'); 

备注:

  • arr1
    • 包含了两个相同的数组[1]、并且数组[1]和1的顺序打乱(这是为了突出sort的弊端
    • 有两个NaN、两个undefined、两个null等等,把平时会用到的数据类型都写上来了
    • 有两个相同的空对象{}
  • arr2
    • 放入10万个随机纯数字,大的数据量才能看出时间的差别
    • 对于纯number的数组,以下所有方法(包括网上的各种方法)都是可行的
  • 正确去重的arr1[3, 1, [1], true, {}, '1', NaN, undefined, null],length = 9。

一、不能正确去重NaN和Object的方法

1. 两种for循环 + splice(耗时最长)

Array.prototype.unique = function () {     for (let i = 0; i < this.length; i++) {         for (let j = i + 1; j < this.length; j++) {             if (this[i] === this[j]) {                 this.splice(j, 1);                 j--;             }         }     }     return this; } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • test: 21208.31396484375 ms(花了21s....)

不能去重NaN和复杂数组类型(比如 Object 和 Array )

2. forEach + indexOf

Array.prototype.unique = function () {     let newArr = [];     this.forEach((item) => {         if (newArr.indexOf(item) === -1) {             newArr.push(item);         }     })     return newArr; } 

结果同上,建议大家自己运行一下(就是懒得截图

  • test: 4104.52294921875 ms

不能去除重复的NaN和复杂数据类型

  • 原因:indexOf 认为 NaN 不等于 NaN

3. filter + indexOf

Array.prototype.unique = function () {     return this.filter((item, index) => {         // 利用indexOf检测元素在数组中第一次出现的位置是否和元素现在的位置相等,如果不等则说明该元素是重复元素         return this.indexOf(item) === index;     }) } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • test: 5682.358154296875 ms

不能去掉重复的复杂数据类型,同时还会去掉所有的NaN

  • 原因:indexOf 认为 NaN 不等于 NaN ,所以也就不认为他们是重复元素。

4. for + sort(sort有问题)

Array.prototype.unique = function () {     let newArr = [];     this.sort();     for (let i = 0; i < this.length; i++) {         if (this[i] !== this[i + 1]) {             newArr.push(this[i]);         }     }     return newArr; } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • test: 61.96484375 ms

带 sort 方法的只对纯number或者纯string类型有效,它无法区分1和'1',因为它是在将元素转换为字符串,然后比较它们的UTF-16代码单元值序列时构建的。

这时候如果有一段这样的排序[1, '1', 1],再用前后比较的方法去重就会出现问题

在这里他还会把undefined也全都去掉,原因是sort()方法排序后,undefined排在最后,而最后一个undefined要和this[length]进行比较,而这个值并不存在,而也是undefined,就会认为他们是同一个值。

同样它不能去重NaN和复杂数据类型,但是耗时是在方法里面是最少之一了(都之一了用别的不香吗)

5. sort + reduce(sort有问题)

Array.prototype.unique = function () {     return this.sort().reduce((init, cur) => {         if (init.length === 0 || init[init.length - 1] !== cur) {             init.push(cur);         }         return init;     }, []); } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • test: 66.679931640625 ms

同样他也是用sort排序再前后比较,也是傻逼玩意

比上面那个方法好一点点,还能正确去重undefined(我觉得前后比较这种方法着实不靠谱)

同样也不能去重NaN和复杂数组类型,耗时也是在方法里面是最少之一

二、能正确去重NaN,不能去重复杂数据类型

1. forEach + includes

Array.prototype.unique = function () {     let newArr = [];     this.forEach((item) => {         if (!newArr.includes(item)) {             newArr.push(item);         }     })     return newArr; } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • 4181.393798828125 ms

可以去掉重复的NaN,但是不能去掉重复的复杂数据类型

  • includes 认为 NaN === NaN 为 true

2. forEach + map

Array.prototype.unique = function () {     let map = new Map();     let newArr = new Array();     this.forEach((item) => {         if (!map.has(item)) {             map.set(item, 1);             newArr.push(item);         }     });     return newArr; } 

同上,不截图了,自行运行一哈~

  • test: 27.030029296875 ms

可以去NaN,不能去重复杂数组类型,运行速度快,耗时最少的方法之一

3. Set

Array.prototype.unique = function () {     return [...new Set(this)]; } 

同上,不截图了

  • test: 31.197021484375 ms

可以去掉重复的NaN,但是不能去掉重复的复杂数据类型,运行速度快,耗时最少的方法之一代码最短!

三、可以去掉NaN和复杂数据类型的!

1. filter + hasOwnProperty + JSON.stringify

Array.prototype.unique = function () {     let obj = {};     return this.filter(function (item, index, arr) {         return obj.hasOwnProperty(typeof item + JSON.stringify(item)) ? false : (obj[typeof item + JSON.stringify(item)] = true);     }); } 

JS数组去重的9种方法(包括去重NaN和复杂数组类型)

  • test: 126.3359375 ms

可以去掉重复的NaN和重复的复杂数据类型

在object中,key如果是number类型,它会自动转换成string类型,所以{1:1}和{"1":1}是相等的,这不是这个方法的缺陷,这是Oject的缺陷

而{1: 1}和{1: "1"}这种value值不同的可以正确区分开。

  • 该方法的核心:以typeof item元素类型+item的字符串作为key
  • 有些文章写的方法是直接使用item,让obj自行隐式转换成字符串
  • 考虑到obj的字符串都为'[object Object]',这里使用JSON.stringify(item),就可以保存不同的obj字符串

后记

其实上面的方法不外乎三种:

  1. 利用for、forEach、filter遍历,再利用indexOf、includes等方法判断是否重复;
  2. 利用Set数据结构的特性;
  3. 利用obj或者map的key不能重复的特性。

实际开发应该更多的是纯数字的去重(吧?),而且也用不上这么多方法。能记住两三种根据实际情况的需求来选择就行了(吧?)

但作为一个正在找工作的应届生,不得不总结多几种方法,这样面试官问起来的时候才不至于口哑无言嘿嘿嘿
(完)