精华内容
下载资源
问答
  • java List去除重复数据的五种方式

    万次阅读 多人点赞 2019-05-31 12:38:30
    以下介绍五种-不同的方法去除Java中ArrayList中的重复数据 1.使用LinkedHashSet删除arraylist中的重复数据 LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事: 删除重复...

     

    以下介绍五种-不同的方法去除 Java 中ArrayList中的重复数据

    1.使用LinkedHashSet删除arraylist中的重复数据

    LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事:

    • 删除重复数据
    • 保持添加到其中的数据的顺序

    Java示例使用LinkedHashSet删除arraylist中的重复项。在给定的示例中,numbersList是包含整数的arraylist,其中一些是重复的数字,例如1,3和5.我们将列表添加到LinkedHashSet,然后将内容返回到列表中。结果arraylist没有重复的整数。

    
        public static void main(String[] args) {
            int List[] =[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
            LinkedHashSet<Integer> hashSet = new LinkedHashSet<>(List);
            ArrayList<Integer> listWithoutDuplicates = new ArrayList<>(hashSet);
            System.out.println(listWithoutDuplicates);
    
        }
    
    

    输出结果

    [1, 2, 3, 4, 5, 6, 7, 8]

    2.使用java8新特性stream进行List去重 

    要从arraylist中删除重复项,我们也可以使用java 8 stream api。使用steam的distinct()方法返回一个由不同数据组成的流,通过对象的equals()方法进行比较。

    收集所有区域数据List使用Collectors.toList()

    Java程序,用于在不使用Set的情况下从java中的arraylist中删除重复项

    public static void main(String[] args){
            int List[] =[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
            List<Integer> listWithoutDuplicates = List.stream().distinct().collect(Collectors.toList());
            System.out.println(listWithoutDuplicates);
        }
    
    

    输出结果

    [1, 2, 3, 4, 5, 6, 7, 8]

     

    3.利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序,所以只能作为判断条件保证顺序:

    private static void removeDuplicate(List<String> list) {
        HashSet<String> set = new HashSet<String>(list.size());
        List<String> result = new ArrayList<String>(list.size());
        for (String str : list) {
            if (set.add(str)) {
                result.add(str);
            }
        }
        list.clear();
        list.addAll(result);
    }



    4.利用List的contains方法循环遍历,重新排序,只添加一次数据,避免重复:

    private static void removeDuplicate(List<String> list) {
        List<String> result = new ArrayList<String>(list.size());
        for (String str : list) {
            if (!result.contains(str)) {
                result.add(str);
            }
        }
        list.clear();
        list.addAll(result);
    }

    5.双重for循环去重 

    
    public static void main(String[] args) {
    	int List[] = [1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
    	for (int i = 0; i < List.size(); i++) {
    		for (int j = i + 1; j < List.size(); j++) {
    			if (List.get(i) == List.get(j)) {
    				List.remove(j);
    				j--;
    			}
    		}
    	}
    }


     

    展开全文
  • 使用ORACLE去除重复数据,这在日常数据处理中非常有用。
  • 主要介绍了Java实现数组去除重复数据方法,结合实例形式详细分析了java数组去除重复的几种常用方法、实现原理与相关注意事项,需要的朋友可以参考下
  • mysql去除重复数据

    千次阅读 2019-08-19 17:54:21
    mysql去除重复数据 在crm中,电话号码就往往就代表了一个客户,所以往往电话号码不能出现重复数据,下面就根据客户表client的phone字段去除重复数据: 查询重复数据: select phone,count(phone) as c from client ...

    mysql去除重复数据


    在crm中,电话号码就往往就代表了一个客户,所以往往电话号码不能出现重复数据,下面就根据客户表client的phone字段去除重复数据:

    • 查询重复数据:
    select phone,count(phone) as c from client group by phone having c>1;
    
    • 去除重复数据,只保留一个:
    delete from client where id not in (select * from (select id from client group by phone) b )
    
    展开全文
  • 主要介绍了Angularjs的ng-repeat中去除重复数据方法,涉及AngularJS针对重复数据的遍历与过滤技巧,需要的朋友可以参考下
  • MYSQL里五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式,用这个方式,五...
    摘自:
    http://ourmysql.com/archives/1265
    [quote]MYSQL里有五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复的数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式,用这个方式,五百万数据,十来分钟就全部去除重复了,请各位参考。

    第一步:从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表

    create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;

    第二步:创建新表RES

    CREATE TABLE `res` (

    `id` int(11),
    `sfz` char(20)
    ) ENGINE=MyISAM;
    第三步:把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
    INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
    至此,就在MYSQL里实现了,给数据表data_content_152完全删除重复数据,把去重复后的数据导入到RES表。[/quote]
    展开全文
  • List去除重复数据的五种方式 a)使用LinkedHashSet删除arraylist中的重复数据 ​ LinkedHashSet是一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事: ​ 删除重复数据 ​ 保持添加到其中...

    List去除重复数据的五种方式

    a)使用LinkedHashSet删除arraylist中的重复数据

    ​ LinkedHashSet是一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事:
    ​ 删除重复数据
    ​ 保持添加到其中的数据的顺序

    	import java.util.ArrayList;
    	import java.util.Arrays;
    	import java.util.LinkedHashSet;
     	public class ArrayListExample{
        public static void main(String[] args){
    		ArrayList<Integer> numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));
             System.out.println(numbersList);
            LinkedHashSet<Integer> hashSet = new LinkedHashSet<>(numbersList);
            ArrayList<Integer> listWithoutDuplicates = new ArrayList<>(hashSet);
            System.out.println(listWithoutDuplicates);
        	}
     }
     输出数据
     	[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
    	[1, 2, 3, 4, 5, 6, 7, 8]
    
    b)使用java8新特性stream进行List去重

    ​ 要从arrayList中删除重复项,可以使用java8 stream api,使用steam的distinct()方法返回一个由不同数据组成的流,通过对象的equals()方法进行比较,收集所有区域数据List使用Collectors.toList().

    	import java.util.ArrayList;
    	import java.util.Arrays;
    	import java.util.List;
    	import java.util.stream.Collectors; 
    	public class ArrayListExample{
       		 public static void main(String[] args){
            ArrayList<Integer> numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));
            System.out.println(numbersList);
            List<Integer> listWithoutDuplicates = 	numbersList.stream().distinct().collect(Collectors.toList());
            System.out.println(listWithoutDuplicates);
       	 }
     }
     输出结果
     	[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
     	[1, 2, 3, 4, 5, 6, 7, 8]
    
    
    
    c)利用HashSet不能添加重复数据的特性,由于HashSet不能保证添加顺序,所以只能作为判断条件保证顺序
    	private static void removeDuplicate(List<String> list) {
       		 HashSet<String> set = new HashSet<String>(list.size());
       		 List<String> result = new ArrayList<String>(list.size());
        	 for (String str : list) {
            		if (set.add(str)) {
                		result.add(str);
            		}
        		}
        	 list.clear();
        	 list.addAll(result);
    	}
    
    d)利用List的contains方法遍历循环,重新排序,只添加一次数据以免避免重复
    	private static void removeDuplicate(List<String> list) {
       		 List<String> result = new ArrayList<String>(list.size());
        			for (String str : list) {
            				if (!result.contains(str)) {
               				 result.add(str);
            			}
       			 }
        		list.clear();
        		list.addAll(result);
    		}
    
    e)双重for循环去重
    	for (int i = 0; i < list.size(); i++) { 
    		for (int j = 0; j < list.size(); j++) { 
    				if(i!=j&&list.get(i)==list.get(j)) { 
    						list.remove(list.get(j)); 
    					} 
    				} 
    		}
    
    展开全文
  • Postgresql去除重复数据方法

    万次阅读 2016-07-28 09:48:32
    PostgreSQL删除重复数据 去重的方法一般是找到重复数据中的一条,以某一唯一条件去掉其他重复值。 Oracle 去重的方法很多,常用的是根据 rowid 进行去重。 PostgreSQL 库如何去除单表重复数据呢?可以通过 ctid ...
  • oracle数据库各种删除重复数据方法
  • 文章目录stata清洗数据——去除重复数据方法stata中的_N和_n(是去重操作的基础)去重操作对单一列:id对两列(及以上):date 和 证券代码 stata清洗数据——去除重复数据方法 stata中的_N和_n(是去重操作的基础)...
  • 重复数据删除 dedup

    2011-09-01 23:00:43
    重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除 重复数据删除
  • Java中List集合去除重复数据方法1. 循环list中的所有元素然后删除重复public static List removeDuplicate(List list) { for ( int i = 0 ; i &lt; list.size() - 1 ; i ++ ) { for ( int j = li...
  • List去除重复数据的几种方法

    千次阅读 2020-11-18 10:13:43
    List去除重复数据的几种方法 1.使用LinkedHashSet删除arraylist中的重复数据 LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事: 删除重复数据 保持添加到其中的数据的顺序 ...
  • Oracle查询重复数据删除重复记录方法,Oracle查询重复数据删除重复记录方法
  • MongoDB去除重复数据

    千次阅读 2017-03-24 20:06:53
    通过查阅资料,这里两种方法可以去除重复数据。 1.如果你用的是mongodb 2.x版本,那去重可以可以用如下方法:  db.ensureIndex({‘index_name':1},{'unique':1,'dropDups':1}) 2.如果你用的是mongodb 3.x
  • db2 删除重复数据

    2019-06-08 19:17:13
    DB2删除重复数据使我们经常使用的操作,下面就教您DB2删除重复数据方法,希望可以对您学习DB2删除重复数据方面有所帮助。 使用ROW_NUMBER 删除重复数据 假设表TAB中a,b,c三列,可以使用下列语句删除a,b,c都相同...
  • 数据库删除重复数据

    2016-01-15 14:23:38
    删除重复数据
  • List去除重复数据

    2020-11-17 13:41:46
    1.使用LinkedHashSet删除arraylist中的重复数据 ,LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。 LinkedHashSet在内部完成两件事: (1) 删除重复数据 (2) 保持添加到其中的数据的顺序 ArrayList<...
  • //查询方法 public List<HomeUser> find(){ //去除重复数据 Cursor user = db.query(true,"user", null, null, null, "name", null, null,null); List<HomeUser> list=new ArrayList(); while (u
  • MYSQL里五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式,用这个方式,五...
  • Mysql去除重复数据

    千次阅读 2018-09-17 17:12:10
    最近工作业务上遇到需要去除重复数据,所以了解了一下如何去除某属性相同的数据! 1:查询出重复数据 以用户表user为例,我们需要去除login_name重复的数据,那么我们首先需要查询一下哪些数据是重复的。 sql如下...
  • oracle 删除重复数据方式

    千次阅读 2019-03-01 16:01:20
    Oracle 删除重复数据的几种方法 去重 第一种:distinct create table tmp_t3 as select distinct * from t3; drop table t3; alter table tmp_t2 rename to t3; -- 第二种,用rowid delete from t2 where rowid &...
  • oracle去除重复数据常用的方法

    万次阅读 多人点赞 2018-08-24 17:23:50
    创建测试数据 create table nayi224_180824(col_1 varchar2(10), col_2 varchar2(10), col_3 varchar2(10)); insert into nayi224_180824 select 1, 2, 3 from dual union all select 1, 2, 3 from dual union all...
  • office 2007 去除重复数据方法 选择你要排序的列头,然后执行以下操作: 第一步:指定列扩展排序 开始 -> 排序和筛选 -> 升序 -> 扩展选定区域(必须选这个,否则只会排序当前列,造成数据混乱) -&...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 837,430
精华内容 334,972
关键字:

删除重复数据的方法有