2016-07-13 18:32:46 qq_26291823 阅读数 7150
  • 阿里沈询:高并发网站中的数据库设计视频教程

    高并发网站中的数据库设计视频教程,该课程主要分为3个部分,1、数据库的基本组成:KV存储系统、查询优化原理、单机/多机事务概述;2、分布式存储、Key-Value的多机扩展、CAP和分布式系统的一致性;3、阿里数据库的一些最佳实践。 嘉宾介绍:王晶昱(花名:沈询),阿里巴巴技术讲师 。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。

    12080 人正在学习 去看看 CSDN讲师

php网站大数据高并发处理方法简单总结

一层层剥开来讲,有以下部位需要注意。

1.资源。能静态实现的就静态实现,静态资源也要尽量使用分布式存储,例如云存储。

2.效率。PHP代码里,尽量注意内存的使用,单个脚本的运行效率要Ok.

3.缓存。使用memcache来实现非持久存储,使用no-sql来实现持久存储。

4.server。使用nginx+fpm或者nginx+apache,来实现动静态分离访问。

5.mysql。作为最终的存储库以及一些不可避免的实时调用库,做主从处理,Master+多Slave,多个只读副本来实现实时的调用库。

6.负载。建议架设一层负载均衡,来实现web server的轮询。例如云平台中的LBS。

2014-01-27 15:31:18 u010383363 阅读数 689
  • 阿里沈询:高并发网站中的数据库设计视频教程

    高并发网站中的数据库设计视频教程,该课程主要分为3个部分,1、数据库的基本组成:KV存储系统、查询优化原理、单机/多机事务概述;2、分布式存储、Key-Value的多机扩展、CAP和分布式系统的一致性;3、阿里数据库的一些最佳实践。 嘉宾介绍:王晶昱(花名:沈询),阿里巴巴技术讲师 。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。

    12080 人正在学习 去看看 CSDN讲师

php高性能、大数据、高并发、架构求答案、求资料!!!

我将会将我学到的都放在这里供大家分享。

2018-09-02 10:55:32 M__L__ 阅读数 461
  • 阿里沈询:高并发网站中的数据库设计视频教程

    高并发网站中的数据库设计视频教程,该课程主要分为3个部分,1、数据库的基本组成:KV存储系统、查询优化原理、单机/多机事务概述;2、分布式存储、Key-Value的多机扩展、CAP和分布式系统的一致性;3、阿里数据库的一些最佳实践。 嘉宾介绍:王晶昱(花名:沈询),阿里巴巴技术讲师 。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。

    12080 人正在学习 去看看 CSDN讲师

PHP高并发处理

  • 首先,确定服务器硬件是否足够支撑当前的流量。影响因素:带宽,硬盘读写速度,内存大小,cpu处理速度等。
  • 数据库优化
  • 使用缓存,如redis,memcached等。
  • 主从复制或主主复制,读写分离。
  • 队列处理
  • nginx反向代理实现负载均衡。
  • 使用锁机制,如文件锁排它锁,乐观锁,悲观锁
  • 结合mysql事务来使用。
2018-07-19 17:05:56 bianb123 阅读数 1707
  • 阿里沈询:高并发网站中的数据库设计视频教程

    高并发网站中的数据库设计视频教程,该课程主要分为3个部分,1、数据库的基本组成:KV存储系统、查询优化原理、单机/多机事务概述;2、分布式存储、Key-Value的多机扩展、CAP和分布式系统的一致性;3、阿里数据库的一些最佳实践。 嘉宾介绍:王晶昱(花名:沈询),阿里巴巴技术讲师 。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。

    12080 人正在学习 去看看 CSDN讲师

这几天在网上看到一篇讲解—关于PHP解决高并发的博客,文章说的很详细,我个小白能够听得懂,并且觉得还挺有道理,就转载过来总结、学习一波~,关于下文中有问题的地方,还希望各位大佬能够多多指导一下。

1、高并发下的数据安全

我们知道在多线程写入同一个文件的时候,会出现“线程安全”的问题(多个线程同时运行同一段代码,如果每次运行结果和单线程运行的结果是一样的,结果和预期相同,就是线程安全的)。如果是MySQL数据库,可以使用它自带的锁机制很好的解决问题,但是在大规模并发的场景中,是不推荐使用MySQL的。秒杀和抢购的场景中,最关键的问题,就是“超发”,如果在这方面控制不慎,会导致实际产生的订单比预售商品还多的问题。

超发的原因:

假设某个抢购场景中,我们一共只有100个商品,在最后一刻,我们已经消耗了99个商品,仅剩最后一个。这个时候,系统发来多个并发请求,这批请求读取到的商品余量都是1个,然后都通过了余量的判断,最终导致超发。

值得注意的是:记得将库存字段number字段设为unsigned,当库存为0时,因为unsigned字段不能为负数,将会返回false

2、优化方案

优化1:使用MySQL的事务,锁住操作的行    BEGIN  ;  SELECT  ...   FOR  UPDATE  ;   COMMIT   ;  ROLLBACK

<?php
	//优化方案1:使用MySQL的事务,锁住操作的行
	include('./mysql.php');
	function build_order_no(){
		return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
	}
	//记录日志
	function insertLog($event,$type=0){
		global $conn;
		$sql="insert into ih_log(event,type)
		values('$event','$type')";
		mysqli_query($conn,$sql);
	}
	
	mysqli_query($conn,"BEGIN");  //开始事务
	$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' FOR UPDATE";//此时这条记录被锁住,其它事务必须等待此次事务提交后才能执行
	$rs=mysqli_query($conn,$sql);
	$row=$rs->fetch_assoc();
	
	if($row['number']>0){
		//生成订单
		$order_sn=build_order_no();
		$sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
			values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
		$order_rs=mysqli_query($conn,$sql);
		//库存减少
		$sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
		$store_rs=mysqli_query($conn,$sql);
		if($store_rs){
		  echo '库存减少成功';
			insertLog('库存减少成功');
			mysqli_query($conn,"COMMIT");//事务提交即解锁
		}else{
		  echo '库存减少失败';
			insertLog('库存减少失败');
		}
	}else{
		echo '库存不够';
		insertLog('库存不够');
		mysqli_query($conn,"ROLLBACK");
	}

优化2、 文件锁的思路

对于日访问量不高或者说并发数不是很大的应用,用一般的文件操作方法完全没有问题。但如果并发高,在我们对文件进行读写操作时,很有可能多个进程对进一文件进行操作,如果这时不对文件的访问进行相应的独占,就容易造成数据丢失。

<?php
//优化方案2:使用非阻塞的文件排他锁
	include ('./mysql.php');
	//生成唯一订单号
	function build_order_no(){
	  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
	}

	//记录日志
	function insertLog($event,$type=0){
		global $conn;
		$sql="insert into ih_log(event,type)
		values('$event','$type')";
		mysqli_query($conn,$sql);
	}
	$fp = fopen("lock.txt", "w+");
	if(!flock($fp,LOCK_EX | LOCK_NB)){
		echo "系统繁忙,请稍后再试";
		return;
	}

	//下单
	$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id'";
	$rs =  mysqli_query($conn,$sql);
	$row = $rs->fetch_assoc();
	if($row['number']>0){//库存是否大于0
		//模拟下单操作
		$order_sn=build_order_no();
		$sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
		values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
		$order_rs =  mysqli_query($conn,$sql);
		//库存减少
		$sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
		$store_rs =  mysqli_query($conn,$sql);
		if($store_rs){
			echo '库存减少成功';
			insertLog('库存减少成功');
			flock($fp,LOCK_UN);//释放锁
		}else{
			echo '库存减少失败';
			insertLog('库存减少失败');
		}
	}else{
		echo '库存不够';
		insertLog('库存不够');
	}
	
	fclose($fp);

优化3、 Redis中的watch

 <?php
	$rob_total = 100;   //抢购数量
	if($mywatchkey<=$rob_total){
		$redis->watch("mywatchkey");
		$redis->multi(); //在当前连接上启动一个新的事务。
		//插入抢购数据
		$redis->set("mywatchkey",$mywatchkey+1);
		$rob_result = $redis->exec();
		if($rob_result){
			 $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),$mywatchkey);
			$mywatchlist = $redis->hGetAll("watchkeylist");
			echo "抢购成功!<br/>";
		  
			echo "剩余数量:".($rob_total-$mywatchkey-1)."<br/>";
			echo "用户列表:<pre>";
			var_dump($mywatchlist);
		}else{
			  $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),'meiqiangdao');
			echo "手气不好,再抢购!";exit;
		}
	}

 

这些是目前我能够理解的方案, 作者原文说的很详细,原文链接:https://www.cnblogs.com/walblog/articles/8476579.html 
我感觉上述方案应该只是解决高并发的一些基本思路,由于在我公司的项目中,暂时没有遇到高并发的情景,缺乏实战,目前就先了解一下。

 

 

 

2017-08-19 22:25:26 u011061889 阅读数 4077
  • 阿里沈询:高并发网站中的数据库设计视频教程

    高并发网站中的数据库设计视频教程,该课程主要分为3个部分,1、数据库的基本组成:KV存储系统、查询优化原理、单机/多机事务概述;2、分布式存储、Key-Value的多机扩展、CAP和分布式系统的一致性;3、阿里数据库的一些最佳实践。 嘉宾介绍:王晶昱(花名:沈询),阿里巴巴技术讲师 。目前主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。

    12080 人正在学习 去看看 CSDN讲师

本文以抢购、秒杀为例。介绍如何在高并发状况下确保数据正确。
在高并发请求下容易参数两个问题
1.数据出错,导致产品超卖。
2.频繁操作数据库,导致性能下降。

测试环境

Windows7
apache2.4.9
php5.5.12
php框架 yii2.0
工具 apache bench (apache自带高并发请求工具)。

通常处理方法

从控制器可以看出代码思路。先查询商品库存。如果库存大于0
,则库存减少1,同时生产订单,录入抢购者数据。

    // 常规代码处理高并发
    public function actionNormal(){
        // 查询库存
        $stock = Goods::find()->select('stock')->where(['goods_id'=>100001])->asArray()->one();
        // 判断该商品是否还有库存
        if ($stock['stock']>0) {
            // 库存减一
            Goods::updateAllCounters(['stock' => -1],['goods_id'=>100001]);

            // 生产订单(另外功能,暂且随机赋值)
            $order = $this->build_order();

            // 秒杀信息入库
            $model = new Highly();
            $model->order_id = $order;
            $model->goods_name = '秒杀商品';
            $model->buy_time = date('Y-m-d H:i:s',time());
            $model->mircrotime = microtime(true);
            if($model->save()===false){
                echo '未能成功抢购!';
            }else{
                echo '恭喜你,订单<b>'.$order.'</b>抢购成功';
            }

        }else{
            echo '已被抢购一空!';
        }
    }

将商品库存设置为20后,通过ab 配置200的并发请求。

ab -n 200 -c 200 http//localhost/highly/normal

执行结果发现库存变成了负值,商品超卖了。
这里写图片描述
原因比较简单,在高并发请求下。在生产订单,减少库存之前,会优先查询到库存结果。

优化一:修改库存数据类型

第一种优化方法,从数据库入手。既然查询到的结果不准确,那我就在库存减少上做手脚。将库存的数据类型改成无符号(不能有负值)。
代码还是跟上面差不多,只是在库存减1的地方做了个判断。避免报错。

public function actionNormal(){
        // 查询库存
        $stock = Goods::find()->select('stock')->where(['goods_id'=>100001])->asArray()->one();
        // 判断该商品是否还有库存
        if ($stock['stock']>0) {
            // 库存减一
            if(Goods::updateAllCounters(['stock' => -1],['goods_id'=>100001])===false){
                echo "已被抢购一空!";
                return false;
            }

            // 生产订单(另外功能,暂且随机赋值)
            $order = $this->build_order();

            // 秒杀信息入库
            $model = new Highly();
            $model->order_id = $order;
            $model->goods_name = '秒杀商品';
            $model->buy_time = date('Y-m-d H:i:s',time());
            $model->mircrotime = microtime(true);
            if($model->save()===false){
                echo '未能成功抢购!';
            }else{
                echo '恭喜你,订单<b>'.$order.'</b>抢购成功';
            }

        }else{
            echo '已被抢购一空!';
        }
    }

这一次同样200的并发,执行结果发现。数据正确,并不会出现超卖的情况。
思路其实也比较简单。因为库存不能为负值,当库存等于0时,如果还有值传进来,则会报错。请求被终止。

这种优化方式,虽然避免了商品超卖的情况。但是在另一方面,请求仍然会对数据库造成压力。如果多个功能使用此数据库,会造成性能下降厉害。

优化二:redis

利用 redis list类型的pop的原子性。在操作数据库前,做一个验证。当商品卖完后,就不允许再继续进行数据库操作。

// redis list 高并发测试
    public function actionRedis(){
        $redis = \Yii::$app->redis;
        // $redis->lpush('mytest',1);
        $order = $this->build_order();
        // echo $order;die;
        // echo $redis->llen('mytest');
        $reg = $redis->lpop('mytest');
        if (!$reg) {
            echo "笨蛋!已经被抢光啦!";
            return false;
        }
        $redis->close();
        $model = new Highly();
        $model->order_id = $order;
        $model->goods_name = '秒杀商品';
        $model->buy_time = date('Y-m-d H:i:s',time());
        $model->mircrotime = microtime(true);

        if($model->save()===false){
            echo '未能成功抢购!';
        }else{
            echo '恭喜你,订单<b>'.$order.'</b>抢购成功';
        }
    }
    // 给redis添加商品
    public function actionInsertgoods(){
        $count = yii::$app->request->get('count',0);
        if (empty($count)) {
            echo '大兄弟,你还没告诉我需要上架多少商品呢!';
            return false;
        }
        $redis = \Yii::$app->redis;
        for ($i=0; $i < $count; $i++) { 
            $redis->lpush('mytest',1);
        }
        echo '成功添加了'.$redis->llen('mytest').'件商品。';
        $redis->close();

    }

这点的代码,我写了两个方法。第一个方法是秒杀的代码,第二个方法是给秒杀的商品设置数量。为了方便测试,我这里处理的比较简单。

通过测试,数据库生产的订单数量正常,并没有出现问题。而又避免了请求数据库造成性能下降的问题。同时内存数据库redis查询的速度要比mysql快很多。

没有更多推荐了,返回首页