精华内容
下载资源
问答
  • 2020-08-12 22:35:57

    转载自品略图书馆 http://www.pinlue.com/article/2018/11/2809/297698745652.html

     

    1.背景描述

    应用框架:Spring + SpringMVC + Hibernate

    数据库:Oracle11g

    一家文学网站向我系统推多线程低并发推送数据,我这边观察日志和数据库,发现有一个作者被存储了2次到数据库中。按照程序的编写逻辑,重复的数据是会被判断出来不被存储的。

    2.原因分析

    由于网络原因,客户可能连续推送了两条重复的数据,两条数据时间间隔非常小,因此导致了我们的

    if(用户不存在){ xxxxx 存储用户到数据库}else{ 重复推送,不采取任何措施}这个操作还没有执行完毕,第二条拥有相同数据的线程已经进入并通过了if的检验,导致数据库存储了两条相同的数据。后来我自己写了个100并发的多线程测试程序,发现100条相同数据中有40条被插入到了数据库里!天啦噜!!!因此确定了是多线程的并发导致了程序的判断逻辑失效。

    3.解决思路:

    1) 在Author主表中对 身份证号 添加了唯一索引,现在Author主表不会出现重复数据了,如果连续推送客户会收到一条推送失败的提示信息。 2) 但是AuthorOrg表(Author与AuthorOrg是一对多关系)依然会出现重复数据,想过添加siteId + userUniqueId的 联合唯一索引来解决,但是想到work表也会出现同样的问题,添加过多索引会导致DB占用空间无限增大,因此不采用。 3) 考虑使用synchronized对方法添加同步锁,但是这样会导致其他正常数据的推送线程也被阻塞,影响效率。因此不采用。 4) 使用对数据库添加行锁,实验发现还是会出现2条重复数据 分析: 理论上的结果应该是1条成功,149条失败。 对数据库的select语句添加行锁必须作用于某条记录,但是第一次报送时,数据库中并没有这条数据,因此行锁根本没有加上,导致第二条数据成功异步使用select语句。 第一次报送成功以后,数据库中有了这条数据,select语句成功的对这条记录添加了行锁,所以后边不会出现重复数据。因此此法不可用。 5) 即想提高效率不对方法添加synchronized,又想保证数据准确性,最后使用synchronized(siteId + uid) 在Controller层加锁(保证了只有重复数据被加锁,在Controller使用的原因是因为事务会在Service调用完毕才被提交,我实验过在Service同步,150并发会出现2条重复数据,因为事务还没来得及提交) 测试结果:测试了3次150并发 不到一秒的时间全部返回,结果1条登记成功,149条返回该作者已登记。下一步: 针对所有可能出现高并发问的接口进行调整。

    4.提示

    这种加同步锁的方法在负载均衡下的多台应用服务器会失效!因为就算Spring保证了对象是单例的,但是多台服务器肯定是多个对象!因此synchronized将无效。解决方法是在数据库层对该对接公司的唯一记录加select锁,这样就能保证数据的不重复性,但是会降低该公司推送数据的效率(相当于逐条推送),但是公司与公司之间还是并行推送的。还有一个方法就是将业务逻辑写入存储过程,然后对存储过程加锁,这种方法太麻烦了,需求有变动就必须去修改存储过程,但是效率要比前者高得多。

    更多相关内容
  • 问题描述 首先,看一下我的表结构。 CREATE TABLE `coolq_qq_group_message_receiver` ( `id` int(11) NOT NULL AUTO_INCREMENT, `qq_group_number` varchar(12) NOT NULL COMMENT 'QQ群号码', ...
  • 主要介绍了java解决并发数据重复问题 ,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • JAVA多线程并发

    千次阅读 2022-02-17 14:41:51
    JAVA线程实现/创建方式 1.继承Thread类 Thread类本质上时实现了Runnable接口的一个实例,代表一个现成的实例。启动线程的唯一方法就是通过Thread类的start()实例方法。start()方法是一个native方法,它将启动一个...

    JAVA并发知识库

    JAVA线程实现/创建方式

    1.继承Thread类

    Thread类本质上时实现了Runnable接口的一个实例,代表一个现成的实例。启动线程的唯一方法就是通过Thread类的start()实例方法。start()方法是一个native方法,它将启动一个新线程,并执行run()方法

    public class MyThread extends Thread{
        public void run(){
            System.out.println("MyThread.run()");
        }
    }
    MyThread myThread1 = new MyThread();
    myThread1.start();

    2.实现Runnable接口

    如果自己的类已经extends另一个类,就无法直接extends Tread,此时 可以实现一个Runnable接口。

    public class MyTread extends OtherClass implements Runnable{
        @Override
        public void run(){
            System.out.println("MyThread,run()");
        }
    }
    //启动MyThread,需要首先实例化一个Thread,并传入自己的MyThread实例;
    MyThread myThread = new MyThread();
    Thread thread = new Thread(myThread);
    thread.start();
    //事实上,当传入一个Runnable target参数给Thread后,Thread的run()方法就会调用target.run()
    public void run(){
        if(target != null){
            target.run();
        }
    }

    3.ExecutorService、Callable<Class>、Future有返回值线程

    有返回值的任务必须实现Callable接口,类似的,无返回值的任务必须Runnable接口。执行Callable任务后,可以获取一个Future的对象,在该对象上调用get就可以获取到Callable任务返回的Object了,再结合线程池接口ExecutorService就可以实现传说中有返回结果的多线程了。

    //创建一个线程池
    ExecutorService pool = Executors.newFixedThreadPool(taskSize);
    //创建多个有返回值的任务
    List<Future> list = new ArrayList<Future>
        for(int i = 0;i<taskSize;i++){
            Callable c = new MyCallable(i+" ");
            //执行任务并获取Future对象
            Future f = pool.submit(c);
            list.add(f);
        }
    //关闭线程池
    pool.shutdown();
    //获取所有并发任务的运行结果
    for(Future f:list){
        //从Future对象上获取任务的返回值,并输出到控制台
        System.out.println("res:"+f.get().toString());
    }

    4,基于线程池的方式

    线程和数据库连接这些资源都是非常宝贵的资源。每次需要的时候创建,不需要的时候销毁,这样是非常浪费资源的。那么我们就可以使用缓存的策略,也就是使用线程池。

    //创建线程池
    ExecutorService threadPool = Executors.newFixedThreadPool(10);
    while(true){
        threadPool.execute(new Runnable(){//提交多个线程任务,并执行
            @Override
            public void run(){
                System.out.print(Thread.currentThread().getName()+"is running……");
                try{
                    Thread.sleep(3000);
                }catch(InterruptedException e){
                    e.printStackTrace();
                }
            }
        });
       }
    }

    4种线程池

    Java里面线程池的顶级接口是Executor,但是严格意义上讲Executor并不是一个线程池,而只是一个执行线程的工具。真正的线程池接口时ExectorService。

    1.newCachedThreadPool

    创建一个可根据需要创建新线程的线程池,但是在以前构造的线程可用时将重用它们。对于执行很多短期异步任务的程序而言,这些线程池通常可提高程序性能。调用execute将重用以前构造的线程(如果线程可用)。如果现有线程没有可用的,则创建一个新线程并添加到池中。终止并从缓存中移除那些已有60秒钟未被使用的线程。因此,长时间保持空闲的线程池不会使用任何资源。

    2.newFixedThreadPool

    创建一个可重用固定线程数的线程池,以共享的无界队列方式来运行这些线程。在任意点,在大多数nThreads线程会处于处理任务的活动状态。如果在所有线程处于活动状态时提交附加任务,则在有可用线程之前,附加任务将在队列中等待。如果在关闭前的执行期间由于失败而导致任何线程终止,那么一个新线程将代替它执行后续的任务(如果需要)。在某个线程被显示地关闭之前,池中的线程将一直存在。

    3.newScheduledThreadPool

    创建一个线程池,它可安排在给定延迟后运行命令或者定期地执行。

    ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(3);
    scheduledThreadPool.schedule(newRunnable(){
        @Override
        public void run(){
            System.out.println("延迟三秒");
        }
    },3,TimeUnit.SECONDS);
    scheduledThreadPool.scheduleAtFixedRate(newRunnable(){
        @Override
        public void run(){
            System.out.println("延迟1秒后每三秒执行一次");
        }
    },1,3,TimeUnit.SECONDS);

    4.newSingleThreadExecutor

    Executors.newSingleThreadExecutor()返回一个线程池(这个线程池只有一个线程),这个线程池可以在线程死后(或发生异常)重新启动一个线程来替代原来的线程继续执行下去。

    线程生命周期(状态)

    当线程被创建并启动以后,它既不是一启动就进入了执行状态,也不是一直处于执行状态。在线程地生命周期中,它要经过创建(new)就绪(Runnable)运行(Running)阻塞(Blocked)死亡(Dead)5种状态。尤其是当线程启动以后,它不可能一直”霸占“着CPU独自运行,所以CPU需要在多条线程之间切换,于是线程状态也会多次在运行、阻塞之间切换。

    1.新建状态(New)

    当程序使用new关键字创建了一个线程之后,该线程就处于新建状态,此时仅由JVM为其分配内存,并初始化其成员变量的值

    2.就绪状态(Runnable)

    当线程对象调用了start()方法之后,该线程处于就绪状态。Java虚拟机会为其创建方法调用栈和程序计数器,等待调度运行。

    3.运行状态(Running)

    如果处于就绪状态的线程获得了CPU,开始执行run()方法的线程执行体,则该线程处于运行状态。

    4.阻塞状态(Blocked)

    阻塞状态是指线程因为某种原因放弃了CPU使用权,也即让出了CPU timeslice,暂时停止运行。直到线程进入可运行(runnable)状态,才有机会再次获得CPU timeslice转到运行(running)状态。阻塞的情况分三种:

    等待阻塞

    (o.wait->等待队列)

    运行(running)的线程执行o.wait()方法,JVM会把该线程放入等待队列(waitting queue)中

    同步阻塞

    (lock->锁池)

    运行(running)的线程获取对象的同步锁时,若该同步锁被别的线程占用,则JVM会把该线程放入锁池(lock pool)中
    其他阻塞(sleep、join)运行(running)的线程执行Thread.sleep(long ms)或t.join()方法,或者发出了I/O请求时,JVM会把该线程置为阻塞状态。当sleep()状态超时、join()等待线程终止或者超时、或者I/O处理完毕时,线程重新转入可运行(runnable)状态。

    5.线程死亡(Dead)

    线程会以下面的三种方式结束,结束后就是死亡状态。

    正常结束run()或call()方法执行完成,线程正常结束
    异常结束线程抛出一个未捕获的Exception或Error
    调用stop直接调用该线程的stop()方法来结束线程(该方法通常容易导致死锁,不推荐使用)

    终止线程4种方式

    1.正常运行结束

    程序运行结束,线程自动结束

    2.使用退出标志退出线程

    一般run()方法执行完,线程就会正常结束,然而 常常有些线程是伺服线程(即只有获得某种信号才会停止的线程)。它们需要长时间的运行,只有在外部某些条件满足的情况下,才能关闭这些线程。使用一个变量来控制循环,最直接的方法就是设一个Boolean类型的标志,并通过设置这个标志为true或false来控制while循环是否退出,代码示例:

    public class ThreadSafe extends Thread{
        public volatile boolean exit = false;
        public void run(){
            while(!exit){
                //do something
            }
        }
    }

    定义了一个退出标志exit,当exit为true时,while循环退出,exit的默认值为false在定义exit时,使用了一个Java关键字volatile,这个关键字的目的是使exit同步,也就是说在同一时刻只能由一个线程来修改exit的值。

    1.Interrupt方法结束线程

    使用interrupt()方法来中断线程有两种情况

    1. 线程处于阻塞状态:如使用了sleep同步锁的wait,socket中的receiver,accept等方法时,会使线程处于阻塞状态。当调用线程的interrupt()方法时,会抛出InterruptException异常。阻塞中的那个方法抛出这个异常,通过代码捕获该异常,然后break跳出循环状态,从而让我们有机会结束这个线程的执行。通常很多人认为只要调用interrrupt方法线程就会结束,实际上是错的,一定要先捕获InterruptedException异常之后通过break来跳出循环。才能正常结束run方法。
    2. 线程未处于阻塞状态:使用isInterrupted()判断线程的中断标志来退出循环。当使用interrupt()方法时,中断标志就会为true,和使用自定义的标志来控制循环是一样的道理。
    public class ThreadSafe extends Thread{
        public void run(){
            while(!isInterrupted()){//非阻塞过程中通过判断中断标志来退出
                try{
                    Thread.sleep(5*1000);//阻塞过程捕获中断异常来退出
                }catch(InterruptedExcption e){
                    e.printStackTrace();
                    break;//捕获到异常之后,执行break跳出循环
                }
            }
        }
    }

    2.stop方法终止线程(线程不安全)

    程序中可以直接使用thread.stop()来强行终止线程,但是stop方法是很危险的,就像突然关闭计算机电源,而不是按正常程序关机一样,可能会产生不可预料的结果,不安全主要是:thread.stop()调用之后,创建子线程的线程就会抛出ThreadDeatherror的错误,并且会释放子线程所持有的所有锁。一般任何进行加锁的代码块,都是为了保护数据的一致性,如果在调用thread.stop()后导致了该线程所持有的所有所有锁的突然释放(不可控制),那么被保护数据就有可能呈现不一致性,其他线程在使用这些被破坏的数据时,有可能导致一些很奇怪的应用程序错误。因此 并不推荐使用stop方法来终止线程

    sleep与wait区别

    1. 对于sleep()方法,我们首先要知道该方法是属于Thread类中的。而wait()方法则是属于Object类中的。

    2. sleep()方法导致了程序暂停执行指定的时间,让出CPU给其他线程,但是它的监控状态依旧保持着,当指定的时间到了又会自动恢复运行状态。

    3. 在调用sleep()方法的过程中,线程不会释放对象锁

    4. 而当调用wait()方法的时候,线程会放弃对象锁,进入等待此对象的等待锁定池,只有针对此对象调用ontify()方法后本线程才进入对象锁定池准备获取对象锁进入运行状态。

    start与run区别

    1. start()方法来启动线程,真正实现了多线程运行。这时无需等待run方法体代码执行完毕,可以直接继续执行下面的代码。

    2. 通过调用Thread类的start()方法来启动一个线程,这时此线程时处于就绪状态,并没有运行

    3. 方法run()称为线程体,它包含了要执行的这个线程的内容,线程就进入了运行状态,开始运行run函数当中的代码。run方法运行结束,此线程终止。然后CPU再调度其他线程。

    JAVA后台线程

    1. 定义:守护线程,也称”服务线程“,它是后台线程,它有一个特性,即 为用户线程提供公共服务,在没有用户线程可服务时会自动离开。

    2. 优先级:守护线程的优先级比较低,用于为系统中的其他对象和线程提供服务。

    3. 设置:通过setDarmon(true)来设置线程为”守护线程“;将一个用户线程设置为守护线程的方式是在线程对象创建之前用线程对象的setDaemon方法。

    4. 在Daemon线程中产生的新线程也是Daemon的

    5. 线程则是JVM级别的,以Tomcat为例,如果你在WEB应用中启动一个线程,这个线程的生命周期并不会和WEB应用程序保持同步。也就是说,即使你停止了WEB应用,这个线程依旧是活跃的。

    6. example:垃圾回收线程就是一个经典的守护线程,当我们的程序中不再有任何运动的Thread,程序就不会再产生垃圾,垃圾回收器也就无事可做,所以当垃圾回收线程是JVM上仅剩的线程时,垃圾回收线程会自动离开。它始终在低级别的状态中运行,用于实时监控和管理系统中的可回收资源。

    7. 生命周期:守护进程(Daemon)是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生地时间。也就是说守护线程不依赖于终端,但是依赖于系统,与系统”同生共死“。当JVM中所有的线程都是守护线程地时候,JVM就可以退出了;如果还有一个或以上的非守护线程 则JVM不会退出。

    JAVA锁

    1.乐观锁

    乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新地时候会判断一下在此期间别人有没有去更新这个数据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次地版本号,如果一样则更新),如果失败则要重复读-比较-写的操作。

    Java中的乐观锁基本都是通过CAS操作实现的,CAS是一种更新的原子操作,比较当前值跟传入值是否一样,一样则更新,否则失败。

    2.悲观锁

    悲观锁就是悲观思想,即认为写多,遇到并发写的可能性高,每次去拿数据的时候都认为别人会修改,所以每次在读写数据的时候都会上锁,这样别人想读写这个数据就会block直到拿到锁。Java中的悲观锁就是Synchronized,AQS框架下的锁则是先尝试cas乐观锁去获取锁,获取不到才会转换为悲观锁,如RetreenLock。

    3.自旋锁

    自旋锁原理非常简单,如果持有锁的线程能在很短时间内释放锁资源,那么那些等待竞争锁的线程就不需要做内核态和用户态之间的切换进入阻塞挂起状态,它们只需要等一等(自旋),等持有锁的线程释放后即可立即获取锁,这样就避免用户线程和内核的切换的消耗

    线程自旋是需要消耗CUP的,说白了就是让CPU在做无用功,如果一直获取不到锁,那线程也不能一直占用CPU自旋做无用功,所以需要设定一个自旋等待的最大时间。

    如果持有锁的线程执行的时间超过自旋等待的最大时间仍没有释放锁,就会导致其他争用锁的线程在最大等待时间内还是获取不到锁,这时争用线程会停止自旋进入阻塞状态。

    自旋锁的优缺点

    自旋锁可以减少CPU上下文的切换,对于占用锁的时间非常短或锁竞争不激烈的代码块来说性能大幅度提升,因为自旋的CPU 耗时明显少于线程阻塞、挂起、再唤醒时两次CPU上下文切换所用的时间

    在持有锁的线程占用锁时间过长或锁的竞争过于激烈时,线程在自旋过程中会长时间获取不到锁资源,将引起CPU的浪费。所以在系统中有复杂锁依赖的情况下不适合采用自旋锁

    自旋锁时间阈值(1.6引入了适应性自旋锁)

    自旋锁的目的是为了占用CPU的资源不释放,等获取到锁立即进行处理。但是如何去选择自旋的执行时间呢?如果自旋执行时间太长,会有大量的线程处于自旋状态占用CPU资源,进而会影响整体系统的性能。因此自旋的周期选择额外重要

    JVM对于自旋周期的选择,jdk1.5这个限度时一定的写死的,在1.6引入了适应自旋锁,适应性自旋锁意味着自旋的时间不再是固定的了,而是由前一次在同一个锁上的自旋时间以及锁的拥有者的状态来决定,基本认为一个线程上下文切换的事件时最佳的一个时间,同时JVM还针对当前CPU的负荷情况做了较多的优化,如果平均负载小于CPUs则一直自旋,如果有超过(CPUs/2)个线程正在自旋,则后来线程直接阻塞,如果正在自旋的线程发现Owner发生了变化则延迟自旋时间(自旋计数)或进入阻塞,如果CPU处于节电模式则停止自旋,自旋时间的最坏情况时CPU的存储延迟(CPU A存储了一个数据,到CPU B得知这个数据直接的时间差),自旋时会适当放弃线程优先级之间的差异。

    自旋锁的开启

    JDK1.6中-XX:+UseSpinning 开启;

    -XX:PreBlockSpin=10 为自旋次数;

    JDK1.7后,去掉此参数,由JVM控制;

    Synchroized同步锁

    synchroized它可以把任意一个非NULL的对象当作锁。他属于独占式的悲观锁,同时属于可重入锁。

    Synchronized作用范围

    1. 作用于方法时,锁住的时对象的实例(this);

    2. 当作为静态方法时,所著的是Class的相关数据存储在永久带PermGen(jdk1.8则是metaspace),永久带时全局共享的,因此静态方法锁相当于类的一个全局锁,会锁所有调用该方法的线程;

    3. synchronized作用于一个对象实例时,锁住的时所有该对象为锁的代码块。它有多个队列,当多个线程一起访问某个对象监控器的时候,对象监视器会将这些线程存储在不同的容器中。

    Synchronized核心组件

    1. Wait Set:哪些调用wait方法被阻塞的线程被放置在这里;

    2. Contention List:竞争队列,所有请求锁的线程首先被放在这个竞争队列中;

    3. Entry List:Contention List中那些有资格成为候选资源的线程被移动到Entry List中;

    4. OnDeck:任意时刻,最多只有一个线程正在竞争锁资源,该线程被称为OnDeck;

    5. Owner:当前已经获取到锁资源的线程被称为Owner;

    6. !Owner:当前释放锁的线程。

    Synchronized实现

    1. JVM每次从队列的尾部取出一个数据用于锁竞争候选者(OnDeck),但是并发情况下,ContentionList会被大量的并发线程进行CAS访问,为了降低对尾部元素的竞争,JVM会将一部分线程移动到EntryList中作为候选竞争线程。

    2. Owner线程会在unlock时,将ContentionList中的部分线程迁移到EntryList中,并指定EntryList中的某个线程为OnDeck线程(一般是最先进去的那个线程)。

    3. Owner线程并不直接把锁传递给OnDeck线程,而是把锁竞争的权利交给OnDeck,OnDeck需要重新竞争锁。这样虽然牺牲了一些公平性,但是能极大的提升系统的吞吐量,在JVM中,也把这种选择行为称之为”竞争切换“。

    4. OnDeck线程获取到锁资源后会变为0wner线程,而没有得到锁资源的仍然停留在EntryList中。如果Owner线程被wait方法阻塞,则转移到WaitSet队列中,知道某个时刻通过notify或者notifyAll唤醒,会重新进去EntryList中。

    5. 处于ContentionList、EntryList。WaitSet中的线程处于阻塞状态,该阻塞是由操作系统来完成的(Linux内核下采用pthread_mutex_lock内核函数实现的)。

    6. Synchronized是非公平锁。Synchreonized在线程进入ContentionList时,等待的线程会先尝试自旋获取锁,如果获取不到就进入ContentionList,这明显对于已经进入队列的线程时不公平的,还有一个不公平的事情就是自旋获取锁的线程还可能直接抢占OnDeck线程的锁资源。

      参考:java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁_zqz_zqz的博客-CSDN博客_偏向锁 轻量级锁 重量级锁https://blog.csdn.net/zqz_zqz/article/details/70233767

    7. 每个对象都有一个monitor对象,加锁就是在竞争monitor对象,代码块加锁是在前后分别加上monitorenter和monitorexit指令来实现的,方法加锁是通过一个标记位来判断的

    8. synchronized是一个重量级操作,需要调用操作系统相关接口,性能时低效的,有可能给线程加锁消耗的时间比有用操作消耗的时间更多。

    9. java1.6,synchronized进行了很多的优化,有适应自旋、锁消除、锁粗化、轻量级锁及偏向锁等,效率有了本质上的提高。在之后推出的Java1.7与1.8中,均对该关键字的实现机理做了优化。引入了偏向锁和轻量级锁。都是在对象头中有标记位,不需要经过操作系统加锁。

    10. 锁可以从偏向锁升级到轻量级锁,再升级到重量级锁。这种升级过程叫做锁膨胀;

    11. JDK1.6中默认是开启偏向锁的轻量级锁,可以通过-XX:-UseBiasedLocking来禁用偏向锁。

    ReentrantLock

    ReentantLock继承接口Lock并实现了接口中定义的方法,他是一种可重入锁,除了能完成的所有工作外,还提供了诸位可响应中断锁、可轮询锁请求、定时锁等避免多线程死锁的方法。

    Lock接口的主要方法

    1. void lock():执行此方法时,如果锁处于空闲状态,当前线程将获取到锁。相反,如果锁已经被其他线程持有,将禁用当前线程,直到当前线程获取到锁。

    2. boolean tryLock():如果锁可用,则获取锁,并立即返回true,否则返回false。该方法和lock()的区别在于,tryLock()只是”试图“获取锁,如果锁不可用,不会导致当前线程被禁用,当前线程仍然继续往下执行代码。而lock()方法则是一定要获取到锁,如果锁不可用,就一直等待,在未获得锁之前,当前线程并不继续向下执行。

    3. void unlock():执行此方法时,当前线程将释放持有的锁。锁只能由持有者释放,如果线程并不持有锁,却执行该方法,可能导致异常的发生。

    4. Condition newCondition():条件对象,获取等待通知组件。该组件和当前的锁绑定,当前线程只有获取了锁,才能调用该组件的await()方法,而调用后,当前线程将缩放锁。

    5. getHoldCount():查询当前线程保持此锁的次数,也就是调用lock方法的次数。

    6. getQueueLength():返回正等待获取此锁的线程估计数,比如启动10个线程,1个线程获得锁,此时返回的是9

    7. getWaitQueueLength:(Condition condition)返回等待与此锁有关的给定条件的线程估计数。比如10个线程,用同一个condition对象,并且此时这10个线程都执行了condition对象的await方法,那么此时执行此方法返回10

    8. hasWaiters(Condition condition):查询是否有线程等待与此锁有关的给定条件(condition),对于指定condition对象,有多少线程执行了condition.await方法

    9. hasQueuedThread(Thread thread):查询给定线程是否等待获取此锁。

    10. hasQueuedThreads():是否有线程等待此锁

    11. isFair():该锁是否公平锁

    12. isHeldByCurrentThread():当前线程是否保持锁 锁定,线程的执行lock方法的前后分别是false和ture

    13. isLock():此锁是否有任意线程占用

    14. lockInterruptibly():如果当前线程未被中断,获取锁

    15. tryLock():尝试获得锁,仅在调用时锁未被线程占用,获得锁

    16. tryLock(long timeout TimeUnit unit):如果锁在给定等待时间内没有被另一个线程保持,则获取该锁。

    非公平锁

    JVM按随机、就近原则分配锁的机制则被称为不公平锁,ReentrantLock在构造函数中提供了是否公平锁的初始化方式,默认为非公平锁。非公平锁实际执行的效率要远远超出公平锁,除非程序有特殊徐需要,否则最常用非公平锁的分配机制。

    公平锁

    公平锁指的是锁的分配机制是公平的,通常先对锁提出获取请求的线程会被分配到锁,ReentrantLock在构造函数中提供了是否公平锁的初始化方式来定义公平锁。

    ReentrantLock与synchronized

    1. ReentrantLock通过方法lock()与unlock()来进行加锁与解锁操作,与synchronized会被JVM自动解锁机制不同,ReentrantLock加锁后需要手动进行解锁。为了避免程序出现异常而无法正常解锁的情况,使用ReentrantLock必须在finally控制块中进行解锁操作。

    2. ReentrantLock相比synchronized的优势是可中断、公平锁、多个锁。这种情况下需要使用ReentrantLock。

    ReentrantLock实现

    public class MyService{
        private Lock lock = new ReentrantLock();
        //Lock lock = new ReentrantLock(true);  //公平锁
        //Lock lock = new ReentrantLock(false); //非公平锁
        prvate Condition condition = lock.newCondition();//创建Condition
        public void testMethod(){
            try{
                lock.lock();    //lock加锁
                //1.wait方法等待
                //System.out.println("开始wait");
                condition.await();
                //通过创建Condition对象来使线程wait 必须先执行lock.lock()方法获得锁
                //2.signal方法唤醒
                condition.signal();//condition对象的signal方法可以唤醒wait线程
                for(int i = 0;i < 5;i++){
                    System.out.println("ThreadName="+Thread.currentThread().getName()+(" "+(i+1)));
                }
            }catch (InterruptedException e){
                e.printStackTrace();
            }
            finally{
                lock.unlock();
            }
        }
    }

    Condition类和Object类锁方法区 区别

    1. Condition类的awiat方法和Object类的wait方法等效

    2. Condition类的signal方法和Object类的notify方法等效

    3. Condition类的signalAII方法和Object类的notifyAII方法等效

    4. ReentrantLock类可以唤醒指定条件的线程,而object的唤醒是随机的。

    tryLock和lock和lockInterruptibly的区别

    1. tryLock能获得锁就返回true,不能就立刻返回false,tryLock(long timeout,TimeUnitunit),可以增加时间限制,如果超过该时间段还没获得锁,返回false。

    2. lock能获得锁就返回true,不能的话一直等待获得锁

    3. lock和lockInterruptibly,如果两个线程分别执行这两个方法,但此时中断这两个线程,lock不会抛出异常,而lockInterruptibly会抛出异常。

    Semaphore信号量

    Semaphore是一种基于计数的信号量。它可以设定一个阈值,基于此,多个线程竞争获取许可信号,做完自己的申请后归还,超过阈值后,线程申请许可信号将会被阻塞。Semaphore可以用来构建一些对象池,资源池之类的,比如数据库连接池

    现实互斥锁(计数器为1)

    我们也可以创建计数为1的Semaphore,将其作为一种类似互斥锁的机制,这也叫二元信号量,表示两种互斥状态,

    代码实现

    它的用法如下:

    //创建一个计数阈值为5的信号量对象
    //只能5个线程同时访问
    Semaphore semp = new Semaphore(5);
    try{
        //申请许可
        semp.acquire();
        try{
            //业务逻辑
        }catch(Exception e){
        }finally{
            //释放许可
            semp.release();
        }
    }catch(InterruptedException e){
    }

    Semaphore与ReentrantLock

    Semaphore基本能完成ReentrantLock的所有工作,使用方法也与之类似,通过acquire()与release()方法来获得和释放临界资源。经实测,Semaphone.acquire()方法默认为可响应中断锁,与ReentrantLock.lockInterruptibly()作用效果一致,也就是说在等待临界资源的过程中可以被Thread.interrupt()方法中断。

    此外,Semaphore也实现了可轮询的锁请求与定时锁的功能,除了方法名tryAcquire与tryLock不同,其使用方法与ReentrantLock几乎一致。Semaphore也提供了公平与非公平锁的机制,也可在构造函数中进行设定。

    Semaphore的锁释放操作也有手动进行,因此与ReentrantLock一样,为避免线程因抛出异常而无法正常释放锁的情况发生,释放锁的操作也必须在finally代码块完成。

    AtomicInteger

    首先说明,此处AtomicInteger,一个提供原子操作的Integer的类,常见的还有AtomicBoolean、AtomicInteger、AtomicReference等,它们的实现原理相同,区别在于运算对象类型的不同。还可以通过AtomicReference<V>将一个对象的所有操作转化成原子操作。

    我们知道,在多线程程序中,诸如++i或i++等运算不具有原子性,是不安全的线程操作之一。通常我们会使用synchronized将操作变成一个原子操作,但JVM为此类操作特意提供了一些同步类,让使用更方便,且使程序运行效率变得更高。通过相关资料显示,通常AtomicInteger的性能是ReentantLock的好几倍。

    可重入锁(递归锁)

    本文里面讲的是广义上的可重入锁,而不是单指JAVA下的RenntrantLock。可重入锁,也叫做递归锁,指的是同一线程 外层函数获得锁之后,内层递归函数仍然有获取该锁的代码,但不受影响。在JAVA环境下ReentrantLock和synchronized都是可重入锁。

    公平锁与非公平锁

    公平锁(Fair)

    加锁前检查是否有排队等待的线程,优先排队等待的线程,先来先得

    非公平锁(Nonfair)

    加锁时不考虑排队等待问题,直接尝试获取锁,获取不到自动到队尾等待

    1. 非公平锁性能比公平锁高5~10倍,因为公平锁需要在多核情况下维护一个队列

    2. Java中的synchronized是非公平锁,ReentrantLock默认的lock()方法采用的是非公平锁。

    ReadWriteLock读写锁

    为了提高性能,Java提供了读写锁,在读的地方使用读锁,在写的地方使用写锁,灵活控制,如果没有写锁的情况下,读是无阻塞的,在一定程度上提高了程序的执行效率。读写锁分为读锁和写锁,多个读锁不互斥,读锁与写锁互斥,这是由JVM自己控制的,你只要上好相应的锁即可。

    读锁

    如果你的代码只读数据,可以很多人同时读,但不能同时写,那就上读锁

    写锁

    如果你的代码修改数据,只能有一个人在写,且不能同时读取,那就上写锁。总之,读的时候上读锁,写的时候上写锁!

    Java中读写锁有个接口java.util.concurrent.locks.ReadWritrLock,也有具体的实现ReentrantReadWriteLock.

    共享锁和独占锁

    Java并发包提供的加锁模式分为独占锁和共享锁。

    独占锁

    独占锁模式下,每次只能有一个线程能持有锁,ReentrantLock就是以独占方式实现的互斥锁。独占锁是一种悲观保守的加锁策略,它避免了读/读冲突,如果某个只读线程获取锁,则其他读线程都只能等待,这种情况下就限制了不必要的并发性,因为读操作并不会影响数据的一致性。

    共享锁

    共享锁则允许多个线程同时获取锁,并发访问共享资源,如:ReadWriteLock。共享锁则是一种乐观锁,它放宽了加锁策略,允许多个执行读操作的线程同时访问共享资源。

    1. AQS的内部类Node定义了两个常量SHARED和EXCLUSIVE,它们分别标识AQS队列中 等待线程的锁获取模式

    2. Java的并发包中提供了ReadWriteLock,读-写锁。它允许一个资源可以被多个读操作访问,或者被一个写操作访问,但两者不能同时进行。

    重量级锁(Mute Lock)

    Synchronized是通过对象内部的一个叫做监视器锁(monitor)来实现的。但是监视器锁本质又是依赖于底层操作系统的Mutex Lock来实现的。而操作系统实现线程之间的切换这就需要从用户态转换到核心态,这个成本非常高,状态之间的转换需要相对比较长的时间,这就是为什么Synchronized效率低的原因。因此,这种依赖与操作系统Mutex Lock所实现的锁我们称之为”重量级锁“。JDK中对Synchronized做的种种优化,其核心就是为了减少这种重量级锁的使用。JDK1.6以后,为了减少获得锁和释放锁所带来的性能消耗,提高性能,引入了”轻量级锁“和”偏向锁“

    轻量级锁

    锁的状态总共有四种:无锁状态、偏向锁、轻量级锁和重量级锁。

    锁升级

    随着锁的竞争,锁可以从偏向锁升级到轻量级锁,再升级到重量级锁(但是锁的升级是单向的,也就是说只能从低到高升级,不会出现锁的降级)。

    “轻量级”是相对于使用操作系统互斥量来实现的传统锁而言的。但是,首先需要强调一点的是,轻量级锁并不是用来代替重量级锁的,它的本意是在没有多线程竞争的前提下,减少传统的重量级锁使用产生的性能消耗。在解释轻量级锁的执行过程之前,先明白一点,轻量级锁所适应的场景是线程交替执行同步块的情况,如果存在同一时间访问同一锁的情况,就会导致轻量级锁膨胀为重量级锁

    偏向锁

    Hotspot的作者经过以往的研究发现大多数情况下锁不仅不存在多线程竞争,而且总是由同一线程多次获得。偏向锁的目的是在某个线程获得锁之后,消除这个线程锁重入(CAS)的开销,看起来让这个线程得到了偏护。引入偏向锁是为了在无多线程竞争的情况下尽量减少不必要的轻量级锁执行路径,因为轻量级所的获取及释放依赖多次CAS原子指令,而偏向锁只需要在置换ThreadID的时候依赖一次CAS原子指令(由于一旦出现多线程竞争的情况就必须撤销偏向锁,所以偏向锁的撤销操作的性能损耗必须小于节省下来的CAS原子指令的性能消耗)。上面说过,轻量级锁是为了线程交替执行同步块时提高性能,而偏向锁则是在只有一个线程执行同步块时进一步提高性能。

    分段锁

    分段锁也并非一种实际的锁,而是一种思想ConcurrentHashMap是学习分段锁的最好实践

    锁优化

    减少锁持有时间

    只有在线程安全要求的程序上加锁

    减小锁粒度

    将大对象(这个对象可能会被很多线程访问),拆分成小对象,大大增加并行度,降低锁竞争。降低了锁的竞争,偏向锁、轻量级锁成功率才会提高。最典型的减小锁粒度的案例就是ConcurrentHashMap。

    锁分离

    最常见的锁分离就是读写锁ReadWriteLock,根据功能进行 分离成读锁和写锁,这样读读不互斥,读写互斥,写写互斥,即保证了线程安全,又提高了性能。读写分离思想可以延伸,只要操作互不影响,锁就可以分离。比如LinkedBlockingQueue从头部取出,从尾部放数据

    锁粗化

    通常情况下为了保证多线程间的有效并发,会要求每个线程持有锁的时间尽量短,即在使用完公共资源后,应该立即释放锁。但是凡事都有个度,如果对同一个锁不停的进行请求、同步和释放,其本身也会消耗系统宝贵的资源,反而不利于性能的优化

    锁消除

    锁消除是在编译器级别的事情。在即时编译器时,如果发现不可能被共享的对象,则可以消除这些对象的锁操作,多数是因为程序员编码不规范引起的。

    线程基本方法

    线程相关的基本方法有wait、notify、notifyAII、sleep、join、yield等

    线程等待(wait)

    调用该方法的线程进入WAITING状态,只有等待另外线程的通知或被中断才会返回,需要注意的时调用wait()方法后,会释放对象的锁。因此,wait方法一般用在同步方法或同步代码块中。

    线程睡眠(sleep)

    sleep导致当前线程休眠,与wait方法不同的是sleep不会释放当前占有的锁,sleep(long)会导致线程进入TIMED-WATING状态,而wait()方法会导致当前线程进入WATING状态

    线程让步(yield)

    yield会使线程让出CPU执行时间片,与其他线程一起重新竞争CPU时间片。一般情况下,优先级高的线程有更大的可能性成功竞争得到CPU时间片,但这又不是绝对的,有的操作系统对线程优先级并不敏感

    线程中断(interrupt)

    中断一个线程,其本意是给这个线程一个通知信号,会影响这个线程内部的一个中断标识位。这个线程本身并不会因此而改变状态(如阻塞、终止等)。

    1. 调用 interrupt()方法并不会中断一个正在运行的线程。也就是说处于 Running 状态的线 

    程并不会因为被中断而被终止,仅仅改变了内部维护的中断标识位而已。 

    2. 若调用 sleep()而使线程处于 TIMED-WATING 状态,这时调用 interrupt()方法,会抛出 

    InterruptedException,从而使线程提前结束 TIMED-WATING 状态。

    3. 许多声明抛出 InterruptedException 的方法(如 Thread.sleep(long mills 方法)),抛出异 

    常前,都会清除中断标识位,所以抛出异常后,调用 isInterrupted()方法将会返回 false。 

    4. 中断状态是线程固有的一个标识位,可以通过此标识位安全的终止线程。比如,你想终止 

    一个线程 thread 的时候,可以调用 thread.interrupt()方法,在线程的 run 方法内部可以 

    根据 thread.isInterrupted()的值来优雅的终止线程

    Join 等待其他线程终止

    join() 方法,等待其他线程终止,在当前线程中调用一个线程的 join() 方法,则当前线程转为阻塞

    状态,回到另一个线程结束,当前线程再由阻塞状态变为就绪状态,等待 cpu 的宠幸。

    为什么要用join()方法?

    很多情况下,主线程生成并启动了子线程,需要用到子线程返回的结果,也就是需要主线程需要

    在子线程结束后再结束,这时候就要用到 join() 方法。

    System.out.println(Thread.currentThread().getName() + "线程运行开始!");
     Thread6 thread1 = new Thread6();
     thread1.setName("线程 B");
     thread1.join();
    System.out.println("这时 thread1 执行完毕之后才能执行主线程");

    线程唤醒(notify)

    Object 类中的 notify() 方法,唤醒在此对象监视器上等待的单个线程,如果所有线程都在此对象

    上等待,则会选择唤醒其中一个线程,选择是任意的,并在对实现做出决定时发生,线程通过调

    用其中一个 wait() 方法,在对象的监视器上等待,直到当前的线程放弃此对象上的锁定,才能继

    续执行被唤醒的线程,被唤醒的线程将以常规方式与在该对象上主动同步的其他所有线程进行竞

    争。类似的方法还有 notifyAll() ,唤醒再次监视器上等待的所有线程。

    其他方法:

    1. sleep():强迫一个线程睡眠N毫秒。
    2. isAlive(): 判断一个线程是否存活。
    3. join(): 等待线程终止。
    4. activeCount(): 程序中活跃的线程数。
    5. enumerate(): 枚举程序中的线程。
    6. currentThread(): 得到当前线程。
    7. isDaemon(): 一个线程是否为守护线程。
    8. setDaemon(): 设置一个线程为守护线程。(用户线程和守护线程的区别在于,是否等待主线程依赖于主线程结束而结束)
    9. setName(): 为线程设置一个名称。
    10. wait(): 强迫一个线程等待。
    11. notify(): 通知一个线程继续运行。
    12.  setPriority(): 设置一个线程的优先级。
    13.  getPriority()::获得一个线程的优先级。
    展开全文
  • 我开多线程跑,现在出现了,这个表里有两条数据的概念(不应该是两条,因为读文件有就把钱相加,没有就新增),我感觉是,多个线程拿到了两条一样的学号同时去库里查,都没有查到,把这两条同时新增到了表里

    每日一更,最近的问题真是一个接一个,真的让人头大,昨天遇到一个多线程的问题问题描述一下:

    有一个线程的问题,就是假如 我有一个文件,然后这个文件有很多条数据,假如有两个字段,一个学号一个钱,(我的需求是,读取文件,把数据插入到表里,先拿文件的学号去查表有这个数据,就把钱进行相加,没有就新增一条数据)现在遇到问题是:我开多线程跑,现在出现了,这个表里有两条数据的概念(不应该是两条,因为读文件有就把钱相加,没有就新增),我感觉是,多个线程拿到了两条一样的学号同时去库里查,都没有查到,把这两条同时新增到了表里

    没看懂?简说下

    if(用户不存在)
    {
        xxxxx
        存储用户到数据库
    }
    else
    {
       更新数据,将钱数进行相加
         }
    

    意思是在一条线成操作还没有执行完毕,第二条拥有相同数据的线程已经进入并通过了if的检验,导致数据库存储了两条相同的数据。所以就会导致数据不对,钱并没有加上且数据库出现了多条数据

    然后我就百度了一下感觉有一个大佬做出了这个比喻,我觉得很恰当祥和里分享下:
    插入Java多线程不安全的场景比喻: 苹果饮食竞赛,比如三个人同时吃10个苹果,就会有一个数字,问题:当同时执行多个线程的时候,可能会出现线程不安全的问题,当三个人同时获得一个苹果时,他们同时执行了这个操作,就会产生多条数据操作。

    **

    解决方案:

    **
    然后我就查了许多资料,然后也听朋友说了许多

    1. 解决的办法,当然加锁是我万不得已的选择才会去选择,因为以我现在的水平,我觉得我对线程的了解仅仅是九牛一毛,根本操控不了
    2. 还有一个办法就是说首先把所有的文件数据全部导入一张临时表,然后对临时表进行分组 统一进行金钱相加,(说实话这个方法可行,但是时间问题,200多万的数据确实会很慢,所以我也只是考虑并没有使用)
    3. 最后我想到一个方法就是对查询的学号做约束(也就是做唯一索引,让程序进行插入的时候进行报错,也就是说在sql中如果学号重复,再次进入插入的时候就会报索引唯一 key 什么玩意),然后我在写的代码中进行捕获,一开始怎么捕获还是会抛出错误,后来发现,那个sql主键重复并不是异常,而是error,然后我就记得error也能进行捕获,后来我又找到error的捕获:
    error和exception都是可以捕获的,他们两个都是Throwable的子类(这里是重点)
    

    最后我将代码改为:

    if(用户不存在)
    {
      try{
        xxxxx
        存储用户到数据库
    }catch(Throwable e){
      更新数据,将钱数进行相加
    	}
    }
    else
    {
       更新数据,将钱数进行相加
         }
    

    问题解决
    菜鸡一枚,希望有更好方案的大佬给我留言,希望能帮助大家,一点点进步

    加油打工人!

    展开全文
  • C++多线程并发(一)--- 线程创建与管理

    万次阅读 多人点赞 2020-03-16 22:21:32
    简单来说,并发指的是两个或个独立的活动在同一时段内交替发生。与并发相近的另一个概念是并行,并行则强调的是个独立的活动在同一时刻点同时发生。 二、为什么使用并发 在应用程序中使用并发的原因主要有两个:...

    前言

    我们都听说过摩尔定律:预计18个月会将芯片的性能提高一倍。早期的计算机时钟频率较低,比如1985年intel 80386 工作频率只有20 MHZ,提升CPU 核心的时钟频率带来的性能收益更大,到2006年Intel Core 2 处理器已经能够达到3.5 GHZ 的工作频率了。从2007年开始,CPU 时钟频率的提升就变得缓慢了,主要因为CPU 的功耗随时钟频率呈幂律增长,需要根据散热技术和制程工艺在性能与功耗间寻求平衡,既然CPU 时钟频率提升有限了,怎么继续按照摩尔定律提升性能呢?

    CPU 是用来处理计算任务的,想要在单位时间内处理更多的计算任务,除了提升单核心的时钟频率让其计算的更快之外,还可以增加CPU 核心数,让多个CPU 核心协同计算,CPU 开始往多核心方向发展,到2019年AMD EPYC 2 代已经达到64核心128线程了。为了充分发挥多核心CPU 的性能,操作系统和编程语言对并发执行的支持越来越好,各种编程语言也陆续提供了并发编程的函数库,比如C++11 就新增了并发编程的线程支持库。我们想要让多核CPU 更好的发挥性能,更高效的为我们的程序服务,掌握并发编程思想还是很有必要的。

    一、何为并发

    刚开始接触计算机编程语言时,我们编写一个程序,在main入口函数中调用其它的函数,计算机按我们设定的调用逻辑来执行指令获得结果。如果我们想在程序中完成多个任务,可以将每个任务实现为一个函数然后根据业务逻辑逐个调用。但如果我们想让多个任务几乎同时执行(时间间隔很小,我们感觉是同时执行的一样),比如一边放歌一边显示歌词,恐怕实现起来就会有明显的顿挫感(比如先播放一句歌声,然后显示一行歌词),影响交互体验。

    随着我们对计算性能的要求越来越高,多核心处理器很快普及流行。如果我们想让自己开发的程序更高效的运行,自然要充分发挥多核心处理器的优势。在多核心处理器上同时运行多个任务,比在单核心处理器上顺序执行多个任务高效的多。像单片机这种单核心处理器,在任务较多或者多个任务需要几乎同时执行时,也需要应用多任务并发编程提高对包括处理器在内的各硬件资源的利用效率。

    1.1 并发与并行

    说了这么多,那什么是并发呢?简单来说,并发指的是两个或多个独立的活动在同一时段内发生。并发在生活中随处可见:比如在跑步的时候同时听音乐,在看电脑显示器的同时敲击键盘等。

    与并发相近的另一个概念是并行。它们两者存在很大的差别,图示如下:

    • 并发:同一时间段内可以交替处理多个操作,强调同一时段内交替发生。
      并发
    • 并行:同一时刻内同时处理多个操作,强调同一时刻点同时发生。
      并行

    1.2 硬件并发与任务切换

    既然并发是在同一时间段内交替发生即可,不要求同时发生,像单片机上的单核处理器也是可以支持并发多任务处理的,所以有单片机上跑的RTOS(Real-time operating system)诞生。单核心处理器上的多任务并发是靠任务切换实现的,跟多核处理器上的并行多任务处理还是有较大区别的,但对处理器的使用和多任务调度工作主要由操作系统完成了,所以我们在两者之间编写应用程序区别倒是不大。下面再贴个直观的图示:

    • 双核处理器并行执行(硬件并发)对比单核处理器并发执行(任务上下文切换

    并行与并发

    • 双核处理器均并发执行(一般任务数远大于处理器核心数,多核并发更常见)

    双核并发

    1.3 多线程并发与多进程并发

    前面一直在聊多任务并发,但计算机术语中用得更多的是线程与进程,三者的主要区别如下:

    • 任务:从我们认知角度抽象出来的一个概念,放到计算机上主要指由软件完成的一个活动。一个任务既可以是一个进程,也可以是一个线程。简而言之,它指的是一系列共同达到某一目的的操作。例如,读取数据并将数据放入内存中。这个任务可以作为一个进程来实现,也可以作为一个线程(或作为一个中断任务)来实现。
    • 进程:资源分配的基本单位,也可能作为调度运行的单位。可以把一个进程看成是一个独立的程序,在内存中有其完备的数据空间和代码空间。一个进程所拥有的数据和变量只属于它自己。例如,用户运行自己的程序,系统就创建一个进程,并为它分配资源,包括各种表格、内存空间、磁盘空间、I/O设备等。然后,把该进程放人进程的就绪队列。进程调度程序选中它,为它分配CPU以及其它有关资源,该进程才真正运行。所以,进程是系统中的并发执行的单位。
    • 线程:执行处理器调度的基本单位。一个进程由一个或多个线程构成,各线程共享相同的代码和全局数据,但各有其自己的堆栈。由于堆栈是每个线程一个,所以局部变量对每一线程来说是私有的。由于所有线程共享同样的代码和全局数据,它们比进程更紧密,比单独的进程间更趋向于相互作用,线程间的相互作用更容易些,因为它们本身就有某些供通信用的共享内存:进程的全局数据。

    由上面的定义可以看出,一个进程和一个线程最显著的区别是:线程有自己的全局数据。线程存在于进程中,因此一个进程的全局变量由所有的线程共享。由于线程共享同样的系统区域,操作系统分配给一个进程的资源对该进程的所有线程都是可用的,正如全局数据可供所有线程使用一样。

    在Mac、Windows NT等采用微内核结构的操作系统中,进程的功能发生了变化:它只是资源分配的单位,而不再是调度运行的单位。在微内核系统中,真正调度运行的基本单位是线程。因此,实现并发功能的单位是线程。在Linux系统中,线程的实现和进程并不特别区分,线程只不过是一种特殊的进程。多进程并发编程与多线程并发编程的区别主要在有没有共享数据,多进程间的通信较复杂且代价较大,主要的进程间通信渠道有管道、信号、文件、套接字等。由于C++没有提供进程间通信的原生支持,后续主要介绍多线程并发编程,和多线程间的同步与通信。
    并发进程与并发线程间通信
    多任务与多线程

    二、如何使用并发

    2.1 为什么使用并发

    在应用程序中使用并发的原因主要有两个:关注点分离和性能。事实上,我甚至可以说它们差不多是使用并发的唯一原因;当你观察的足够仔细时,一切其他因素都可以归结到这两者之一(或者可能是二者兼有)。

    • 关注点分离:通过将相关的代码放在一起并将无关的代码分开,可以使你的程序更容易理解和测试,从而减少出错的可能性。你可以使用并发来分隔不同的功能区域,即使在这些不同功能区域的操作需要在同一时刻发生的情况下;若不显式地使用并发,你要么被迫编写任务切换框架,要么在操作中主动地调用不相关的一段代码。
    • 更高效的性能:为了充分发挥多核心处理器的优势,使用并发将单个任务分成几部分且各自并行运行,从而降低总运行时间。根据任务分割方式的不同,又可以将其分为两大类:一类是对同样的数据应用不同的处理算法(任务并行);另一类是用同样的处理算法共同处理数据的几部分(数据并行)。

    知道何时不使用并发与知道何时使用它一样重要。基本上,不使用并发的唯一原因就是在收益比不上成本的时候。使用并发的代码在很多情况下难以理解,因此编写和维护的多线程代码就有直接的脑力成本,同时额外的复杂性也可能导致更多的错误。除非潜在的性能增益足够大或关注点分离地足够清晰,能抵消确保其正确所需的额外的开发时间以及与维护多线程代码相关的额外成本,否则不要使用并发。

    2.2 在C++中使用并发和多线程

    在早期的C++标准中,比如1998 C++标准版不承认线程的存在,并且各种语言要素的操作效果都以顺序抽象机的形式编写。不仅如此,内存模型也没有被正式定义,所以对于1998 C++标准,你没办法在缺少编译器相关扩展的情况下编写多线程应用程序。如果在之前想使用多线程并发编程,可以借助编译器厂商提供的平台相关的扩展多线程支持API(比如POSIX C和Microsoft Windows API),但这种多线程支持对平台依赖度较高,导致可移植性较差。

    为了解决平台相关多线程API使用上的问题,逐渐开发出了Boost、ACE等平台无关的多线程支持类库。直到C++11标准的发布,借鉴了很多Boost类库的经验,将多线程支持纳入C++标准库。C++11标准不仅提供了一个全新的线程感知内存模型,也包含了用于管理线程、保护共享数据、线程间同步操作以及低级原子操作的各个类。

    对于C++整体以及包含低级工具的C++类——特别是在新版C++线程库里的那些,参与高性能计算的开发者常常关注的一点就是效率。如果你正寻求极致的性能,那么理解与直接使用底层的低级工具相比,使用高级工具所带来的实现成本,是很重要的。这个成本就是抽象惩罚(abstraction penalty)。标准C++线程库在设计时,就非常注重高效的性能,提供了足够的低级工具(比如原子操作库),以付出尽可能低的抽象惩罚。C++标准库也提供了更高级别的抽象和工具,它们使得编写多线程代码更简单和不易出错。有时候运用这些工具确实会带来性能成本,因为必须执行额外的代码。但是这种性能成本并不一定意味着更高的抽象惩罚;总体来看,这种性能成本并不比通过手工编写等效的函数而招致的成本更高,同时编译器可能会很好地内联大部分额外的代码。

    三、C++线程创建

    一个多线程C++程序是什么样子的?它看上去和其他所有C++程序一样,通常是变量、类以及函数的组合。唯一真正的区别在于某些函数可以并发运行,所以你需要确保共享数据的并发访问是安全的。当然,为了并发地运行函数,必须使用特定的函数以及对象来管理各个线程。

    3.1 C++11新标准多线程支持库

    • < thread > : 提供线程创建及管理的函数或类接口;
    • < mutex > : 为线程提供获得独占式资源访问能力的互斥算法,保证多个线程对共享资源的同步访问;
    • < condition_variable > : 允许一定量的线程等待(可以定时)被另一线程唤醒,然后再继续执行;
    • < future > : 提供了一些工具来获取异步任务(即在单独的线程中启动的函数)的返回值,并捕捉其所抛出的异常;
    • < atomic > : 为细粒度的原子操作(不能被处理器拆分处理的操作)提供组件,允许无锁并发编程。

    3.2 线程创建的简单示例

    线程创建和管理的函数或类主要由< thread >库文件来提供,该库文件的主要操作如下:
    thread库文件
    由上表可知,通过std::thread t(f, args…)创建线程,可以给线程函数传递参数。通过join()函数关联并阻塞线程,等待该线程执行完毕后继续;通过detach()函数解除关联使线程可以与主线程并发执行,但若主线程执行完毕退出后,detach()接触关联的线程即便没有执行完毕,也将自动退出,有时可能这并非我们预期的结果,所以需要特别注意。下面给出一段线程管理的示例代码:

    //thread1.cpp  创建线程,并观察线程的并发执行与阻塞等待
    
    #include <iostream>
    #include <thread>
    #include <chrono>
    
    using namespace std;
     
    void thread_function(int n)
    {
        std::thread::id this_id = std::this_thread::get_id();			//获取线程ID
    
        for(int i = 0; i < 5; i++){    
            cout << "Child function thread " << this_id<< " running : " << i+1 << endl;
            std::this_thread::sleep_for(std::chrono::seconds(n));   	//进程睡眠n秒
        }
    }
    
    class Thread_functor
    {
    public:
        // functor行为类似函数,C++中的仿函数是通过在类中重载()运算符实现,使你可以像使用函数一样来创建类的对象
        void operator()(int n)
        {
            std::thread::id this_id = std::this_thread::get_id();
    
            for(int i = 0; i < 5; i++){
                cout << "Child functor thread " << this_id << " running: " << i+1 << endl;
                std::this_thread::sleep_for(std::chrono::seconds(n));   //进程睡眠n秒
            }
        }	
    };
    
     
    int main()
    {
        thread mythread1(thread_function, 1);      // 传递初始函数作为线程的参数
        if(mythread1.joinable())                  //判断是否可以成功使用join()或者detach(),返回true则可以,返回false则不可以
            mythread1.join();                     // 使用join()函数阻塞主线程直至子线程执行完毕
        
        Thread_functor thread_functor;			 //函数对象实例化一个对象
        thread mythread2(thread_functor, 3);     // 传递初始函数作为线程的参数
        if(mythread2.joinable())
            mythread2.detach();                  // 使用detach()函数让子线程和主线程并行运行,主线程也不再等待子线程
    
        auto thread_lambda = [](int n){			//lambda表达式格式:[capture list] (params list) mutable exception-> return type { function body }
            std::thread::id this_id = std::this_thread::get_id();
            for(int i = 0; i < 5; i++)
            {
                cout << "Child lambda thread " << this_id << " running: " << i+1 << endl;
                std::this_thread::sleep_for(std::chrono::seconds(n));   //进程睡眠n秒
            }       
        };
    
        thread mythread3(thread_lambda, 4);     // 传递初始函数作为线程的参数
        if(mythread3.joinable())
            mythread3.join();                     // 使用join()函数阻塞主线程直至子线程执行完毕
    
        std::thread::id this_id = std::this_thread::get_id();
        for(int i = 0; i < 5; i++){
            cout << "Main thread " << this_id << " running: " << i+1 << endl;
            std::this_thread::sleep_for(std::chrono::seconds(1));
        }
    
        getchar();
        return 0;
    }
    

    使用GCC编译为可执行程序的命令如下:

    g++ -Wall -g -std=c++11 -pthread thread1.cpp -o thread1		
    # -Wall显示所有警告,-g输出调试信息,-std=c++11使用c++11标准编译,-pthread编译使用POSIX thread库文件
    

    线程创建的参数是函数对象,函数对象不止是函数指针或成员函数指针,同时还包括函数对象(仿函数)与lambda表达式。上面的代码分别用三种函数对象创建了三个线程,其中第一个线程mythread1阻塞等待其执行完后继续往下执行,第二个线程mythread2不阻塞等待在后台与后面的第三个线程mythread3并发执行,第三个线程继续阻塞等待其完成后再继续往下执行主线程任务。

    为了便于观察并发过程,对三个线程均用了睡眠延时this_thread::sleep_for(duration)函数,且延时时间作为参数传递给该函数。这里的参数是支持C++泛型模板的,STL标准容器类型(比如Array/Vector/Deque/List/Set/Map/String等)都可以作为参数传递,但这里的参数默认是以拷贝的方式传递参数的,当期望传入一个引用时,要使用std::ref进行转换。

    针对任何线程(包括主线程),< thread > 还声明了一个命名空间std::this_thread,用以提高线程专属的全局函数。函数声明和效果见下表:
    this_thread命名空间
    上面的代码就是利用了std::this_thread提供的函数获得当前线程的ID,让当前线程睡眠一段时间(一般需要< chrono >头文件提供duration或timepoint)的功能,代码执行结果如下图所示:
    thread执行结果

    上面的示例假如多重复运行几次,有很大可能会出现某行与其他行交叠错乱的情况(如下图所示),为何会出现这种情况呢?这就涉及到多线程资源竞争的问题了,即一个线程对某一资源(这里指显示终端)的访问还未完成,另一线程抢夺并访问了该资源,导致该资源数据混乱情况的出现。解决方案详见下一篇文章:C++多线程并发(二)—线程同步
    行间交错

    更多文章:

    展开全文
  • 这里写目录标题并发编程基础blocked 和 waiting 的区别线程的 run()和 start()有什么区别?为什么我们调用 start() 方法时会执行 run() 方法,为什么我们不能直接调用 run() 方法?说说线程的生命周期及五种基本状态...
  • 多线程&并发-实例与解决方案

    千次阅读 2020-06-23 11:27:24
    java中你知道哪些锁? 问题回答: 乐观锁/悲观锁 共享锁/独享锁 公平锁/非公平锁 互斥锁/读写锁 可重入锁 自旋锁 分段锁 偏向锁/轻量级锁/重量级锁...2.就绪/运行(RUNNABLE):该状态包含了经典线程模型的两种状态:就
  • kafka多线程并发消费处理

    千次阅读 2021-11-29 14:40:30
    为了提高kafka的效率,通常是一口气拉取批量数据进行计算,但是kafka分区数的有限决定了消费者的数量限制,简单的增加消费者数量无法获取到性能的提升,此时需要将批量数据进行分批多线程处理,并在多个线程执行完毕...
  • 数据库有自己的连接锁机制,如果是针对同一台机器使用同一个接口进行插入的话多线程和单线程是一样的。除非你有好几台数据库服务器,这样再使用多线程来进行上面的工作的话效率才会明显提高。易语言查询数据库时出现...
  • 一份经典多线程并发面试题!

    千次阅读 2019-05-07 19:49:28
    synchronized关键字解决的是线程之间访问资源的同步性,synchronized关键字可以保证被它修饰的方法或者代码块在任意时刻只能有一个线程执行。 另外,在 Java 早期版本中,synchronized属于重量级锁,效率低下,...
  • Java多线程:解决高并发环境下数据插入重复问题

    万次阅读 热门讨论 2016-11-23 17:56:53
    一家文学网站向我系统推多线程并发推送数据,我这边观察日志和数据库,发现有一个作者被存储了2次到数据库中。按照程序的编写逻辑,重复数据是会被判断出来不被存储的。 2.原因分析 由于网络原因,客户可能...
  • 多线程-并发编程

    千次阅读 多人点赞 2020-07-01 13:25:17
    线程共享所属进程占有的内存地址空间和资源,数据共享简单,但是同步复杂。 进程单独占有一定的内存地址空间,一个进程出现问题不会影响其他进程,不影响主程序的稳定性,可靠性高;一个线程崩溃可能影响整个...
  • 多线程并发中计算结果重复的原因

    千次阅读 2018-02-01 14:16:57
    多线程在多循环语句中,一条线程运行结束并改变判断的值, 但是在运行时还未更改判断的值前,又运行一条线程,两条线程同时运行线程语句,那么上一个线程未更改的值会和下一条线程相同 原因: 设每次运行两条线程...
  • 比如,在个用户同时更新同一条数据的时候,往往会出现线程安全问题,实际保存的数据和预期的并不相符。面对这种问题很多人第一时间会想到内置锁----&gt;synchronized关键字,将方法体或者代码块锁住保证线程...
  • 多线程和高并发的常见面试题整理

    千次阅读 2020-07-12 11:46:03
    1.线程实现方式 1继承Thread类 定义Thread类的子类,并重写Thread类的run()方法,创建子类对象(即线程对象),调用线程对象的start()方法来启动该线程 2.实现Runnable接口 并重写该接口的run()方法,该run()方法...
  • java多线程查询数据库

    2017-12-04 13:38:37
    java多线程并发查询数据库,使用线程池控制分页,并发查询。
  • C++多线程并发中线程管理

    千次阅读 2021-12-02 19:27:40
    一、何为并发 刚开始接触计算机编程语言时,我们编写一个程序,在main入口函数中调用其它的函数,计算机按我们设定的调用逻辑来执行指令获得结果。如果我们想在程序中完成个任务,可以将每个任务实现为一个函数...
  • 架构师:『试试使用多线程优化』 第二天 头发很多的程序员:『师父,我已经使用了多线程,为什么接口还变慢了?』 架构师:『去给我买杯咖啡,我写篇文章告诉你』 ……吭哧吭哧买咖啡去了 在实际工作中,错误...
  • 多线程并发安全问题详解

    千次阅读 2019-03-24 12:15:43
    定义: 当多个线程同时执行,多个...这种现象就称之为多线程并发安全问题。 代码案例: public class SellTicketDemo { public static void main(String[] args) { //创建票对象 Ticket t=new Ticke...
  • 多线程数据必须不重复的方案

    千次阅读 2018-10-16 15:06:15
    最近一直在处理数据上传和采集的问题, 因为写在asp.net 里面的web服务默认就是多线程的, 一个请求就是一个线程… 所以多线程之间为了不读取重复数据, 就成了问题. 数据必须严格不重复, 同样的数据绝对不能处理2次...
  • 多线程并发下,将每个线程处理的数据分别存入redis,线程全部执行完毕再依次从redis取出数据 场景:多线程从数据库中查询数据,每个线程在处理完数据后将数据存入redis;线程全部执行结束后从redis中取出数据,...
  • JAVA多线程·并发问题及解决思路

    千次阅读 2020-03-16 10:10:13
    一、概述 ...2. 多线程 多线程的优势/作用 提高程序的运行性能。 充分利用系统的处理能力,提高系统的资源利用率。 提高系统响应性,即线程可以在运行现有任务的情况下立即开始处理新的任务。 多线...
  • 多线程并发/并行、自定义线程类、线程安全、线程状态、线程池
  • 一文看懂JUC多线程及高并发

    千次阅读 多人点赞 2020-03-12 14:38:56
    本文主要介绍JUC多线程以及高并发 如有需要,可以参考 如有帮助,不忘 点赞 ❥
  • JAVA多线程之间实现同步+多线程并发同步解决方案

    万次阅读 多人点赞 2018-03-04 14:09:15
    一、什么是线程安全问题 为什么...案例:需求现在有100张火车票,有两个窗口同时抢火车票,请使用多线程模拟抢票效果。/** * 需求现在有100张火车票,有两个窗口同时抢火车票,请使用多线程模拟抢票效果。 * Crea...
  • laravel php 并发插入数据重复问题

    千次阅读 2020-11-20 09:37:25
    场景:在并发插入更新的情况下,数据库会出现重复数据的情况出现 下面是一段laravel的示例代码 主要逻辑是判断tt,yy的va字段为空才会执行更新va字段和创建数据,以下为正确示例 在进行并发100测试的时候,出现...
  • 并发造成的数据重复插入问题

    千次阅读 2021-12-02 20:38:17
    并发造成的数据重复: 首先,我们举一个实例。 比如:A和B要想数据库里插入一条数据,如果当前的数据存在 则不插入;但是在并发的情况下,会出现同时 A 去库里查 数据不存在 插入一条数据 B 去库里查 数据不存在 ...
  • 文章目录基础概念原因分析解决方案多线程插入解决:多线程更新解决 基础概念 幂等性 : 在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。 简单来说:幂等就是一个操作,不论...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 199,446
精华内容 79,778
关键字:

多线程并发重复数据