Ceph是一种集高性能、高可靠性和高可扩展性为一体的统一的、分布式的存储系统。“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。而“分布式的”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。
Ceph 
生态系统架构可以划分为四部分：
1. Clients：客户端（数据用户）
2. cmds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据）
3. cosd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，执行其他关键职能）
4. cmon：Cluster monitors，集群监视器（执行监视功能）
图1. ceph的生态系统的概念架构
 
ceph已继承Linux内核之中，但目前可能还不适用于生产环境，对测试目的还很有用。
一、intro to ceph
首先介绍ceph的架构，一个Ceph Storage Cluster需要至少一个Ceph monitor和至少两个Ceph OSD Daemons，当运行ceph
 Filesystem clients时需要ceph Metadata Server。


ceph OSDs: Ceph OSD Daemon 存储数据，处理数据复制、恢复、填充、再平衡，通过检查其他Ceph OSD Daemons
的heartbeat来提供监测信息给Ceph Monitors。当集群做数据拷贝（默认是做数据的三个拷贝，但可调整）时，一个ceph存储集群需要至少两个ceph OSD Daemons来获得一个active+clean的状态。
Monitors: Ceph Monitor维护集群状态的映射，包括monitor映射，OSD映射，Placement Group(PG)映射和CRUSH映射，Ceph也维护Ceph
 Monitors、Ceph OSD Daemons和PGs中每个状态改变的历史（也叫epoch）
MDSs: Ceph Metadata Server(MDS)代表Ceph Filesystem存储metadata（注意Ceph
 Block Devices和Ceph Object Storage不用MDS），Ceph
 Metadata Servers使得POSIX文件系统用户可以执行基本指令包括ls, find等，而不会给Ceph存储集群造成大的负担。
名词解释：
RADOS, Ceph Storage Cluster, 
RBD：Ceph Block Device，
Object Storage Device：a physical or logical storage unit，简写OSD
Ceph OSD Daemon：Ceph OSD software,
简写Ceph OSD，通常也用OSD表示，但正确的是Ceph
 OSD
Ceph将客户端数据作为对象存储在存储池中，通过CRUSH算法，Ceph计算哪个placement
 group应该保存对象，进一步计算哪个ceph OSD Daemon可以保存placement group。CRUSH算法使得Ceph存储集群可以做到规模化、再平衡、动态恢复。

ceph-deploy工具是一个只依赖SSH
连接到servers, sudo和一些python来deploy
 Ceph的方法。它在你的workstation上运行，不需要服务器、数据库和其他工具。If you set up and tear down
 Ceph clusters a lot, and want minimal extra bureaucracy, ceph-deploy is
 an ideal tool. The ceph-deploy tool
 is not a generic deployment system. It was designed exclusively for Ceph users who want to get Ceph up and running quickly with sensible initial configuration settings without the overhead of installing Chef, Puppet or Juju. Users who want fine-control over
 security settings, partitions or directory locations should use a tool such as Juju, Puppet, Chef or
 Crowbar.
有了ceph-deploy，你就可以开发脚本来安装Ceph包在远程主机上，创建一个集群，添加monitors，gather或者forget
 keys，添加OSDs和metadata
服务器，配置admin主机和拆卸集群。


二、installation(quick)
step1. preflight
在部署Ceph存储集群之前，Client和Node需要一些基本的配置。
推荐设定一个ceph-deploy 
管理节点和三个ceph storage cluster(或虚拟机)来探索ceph。
下面的描述中，Node指单个机器

 
Ceph Deploy Setup
添加Ceph repo到ceph-deploy admin node，然后安装ceph-deploy。
APT包管理：对于Debian和Ubuntu系统，执行下面操作
1. 添加release key
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
2. 添加ceph packages到你的repo，用一个稳定的ceph版本（如hammer,
 jewel）取代{ceph-stable-release}
echo deb http://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
3. 更新你的repo，然后安装ceph-deploy
sudo apt-get update && sudo apt-get install ceph-deploy
RPM包管理：对于CentOS7，执行下面步骤
1. 用subscription-manager注册你的目标机器
sudo subscription-manager repos --enable=rhel-7-server-extras-rpms
2. Install and enable the Extra Packages for Enterprise Linux (EPEL) repository. Please see the EPEL wiki page for
 more information.
3.在CentOS上执行下面命令
sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*
4. 添加package到你的repo
粘帖下面的示例代码，用最近主流的ceph版本取代{Ceph-release}，用linux版本（如CentOS7为e17）取代{distro}，最后，保存内容到/etc/yum.repos.d/ceph.repo文件。
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
5. sudo vim /etc/yum.repos.d/ceph.repo
更新你的repo，安装ceph-deploy
sudo yum update && sudo yum install ceph-deploy
Ceph Node Setup
admin node必须有password-less SSH连接到Ceph node
Install NTP
我们推荐在ceph nodes（尤其ceph Monitor nodes）安装NTP来预防clock
 drift引起的问题。
在CentOS/RHEL，执行
sudo yum install ntp ntpdate ntp-doc
在Debian/Ubuntu，执行
sudo apt-get install ntp
INSTALL SSH SERVER
所有节点执行下面步骤
sudo apt-get install openssh-server
或sudo yum install openssh-server
CREATE A CEPH DEPLOY USER
最近的ceph-deploy版本支持--username选项，你可以指定任何有password-less sudo的用户。
推荐在所有的Ceph nodes上为ceph-deploy创建一个特定的用户，不要用ceph作为用户名。集群中统一的用户名可以提高易用性，但要避免明显的用户名，如root、admin，下面的流程中，用你定义的用户名替代{username}
1. 在每个ceph节点中创建一个新的用户
ssh user@ceph-server
sudo useradd -d /home/{username} -m {username}
sudo passwd {username}
2.对于你添加到ceph节点中的新用户，保证用户有sudo权限
echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}
sudo chmod 0440 /etc/sudoers.d/{username}
enable password-less ssh
由于ceph-deploy不会提示密码，你必须生成SSH keys在admin node上，然后分发public
 key到每个ceph node，ceph-deploy会尝试为初始monitors生成SSH
 keys。
1. 生成SSH keys，不要用sudo或root用户，将passphrase留空
ssh-keygen
Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.
2.拷贝key到ceph节点，将你用Create
 a Ceph Deploy User创造的用户名称取代{username}
ssh-copy-id {username}@node1
ssh-copy-id {username}@node2
ssh-copy-id {username}@node3
3. （推荐）修改你的ceph-deploy admin node的~/.ssh/config文件，使得ceph-deploy可以登录到ceph
 nodes作为你创造的用户，无需你每次执行ceph-deploy时指定--username{username}，用你创造的user
 name取代{username}
Host node1
   Hostname node1
   User {username}
Host node2
   Hostname node2
   User {username}
Host node3
   Hostname node3
   User {username}
ENABLE NETWORKING ON BOOTUP
Ceph OSDs彼此互相协作，通过网络汇报给Ceph Monitors,
如果网络off，Ceph cluster不会bootup期间come
 online，直到你使能网络。
一些linux发行版（如CentOS）的默认配置网络接口off，在boot
 up期间，网络接口需要打开，才能保证你的Ceph daemons可以在网络中通信。比如，在Red Hat和CentOS中，在 /etc/sysconfig/network-scripts目录下，保证ifcfg-{iface} 文件将ONBOOT 设置为 yes。
ENSURE CONNECTIVITY
保证ping通
OPEN REQUIRED PORTS
ceph Monitors默认通过6789端口通信，Ceph OSDs默认通信端口范围是6800：7300，
未完。。。。
 
step2. storage cluster quick start
这个quick start通过ceph-deploy设置一个ceph存储集群在你的admin
 node。创造三个ceph node cluster来探究ceph功能。
 
用一个Ceph Monitor和两个Ceph OSD Daemons建立一个ceph Storage Cluster，一旦集群达到active+clean状态，通过增加第三个Ceph
 OSD Daemon、一个Metadata Server和两个Ceph Monitors来扩大集群，为了达到最好的结果，在你的admin
 node创建一个目录来保存配置文件和ceph-depoy为集群生成的keys。
mkdir my-cluster
cd my-cluster
ceph-deploy会输出文件到当前目录，保证你在执行ceph-deploy时在这个目录中。
important：如果你以一个不同的user来登录，不要用sudo或以root来调用ceph-deploy
create a cluster
遇到问题想重启，执行下面的命令来重置配置
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
 
重置Ceph package，你也可以执行
ceph-deploy purge {ceph-node} [{ceph-node}]
在你的admin node，用ceph-deploy来执行下面命令
1. create the cluster:
ceph-deploy new {initial-monitor-node(s)}
比如：ceph-deploy new nodel
在当前目录下用ls和cat检测ceph-deploy的输出。你会看到ceph配置文件，一个monitor
 secret keyring和一个new cluster的日志文件，查看ceph-deploy new
–h获取额外信息。
2. 在ceph配置文件中更改默认replicas数目从3到2，使得ceph用仅仅两个ceph
 OSDs获得active+clean状态，在[global]section添加下面的行
osd pool default size = 2
3. 如果你有不知一个网络接口，在你的ceph
配置文件的[global]区域添加public network设置
public network = {ip-address}/{netmask}
4. install Ceph
ceph-deploy install {ceph-node}[{ceph-node} ...]
 
 
 
l Operating Your Cluster
 
 
l Expanding Your Cluster
 
 
l Storing/Retrieving Object Data
 
step3. ceph client
大多数ceph user不直接在ceph存储集群中存储对象，他们用至少一个ceph block Devices,
 ceph Filesystem和ceph Object Storage.
3.1 Block Device Quick Start：
也被称作RBD或RADOS，在此之前先保证Ceph Storage Cluster在active
 + clean状态
 
你可以用虚拟机作ceph-client节点，但是不要执行接下来的步骤在同样的物理机作为你的Ceph Storage Cluster节点。
l Install Ceph
1.验证你有一个合适的linux kernel版本
lsb_release -a
uname -r
2.在admin node，用ceph-deploy来安装ceph在你的ceph-client节点
ceph-deploy install ceph-client
3.在admin node，用ceph-deploy来复制ceph配置文件和ceph.client.admin.keyring到ceph-client
ceph-deploy admin ceph-client
ceph-deploy拷贝keyring到/etc/ceph
 

l Configure a Block Device


3.2 Filesystem Quick Start
Ceph Filesystem是一个POSIX-compliant文件系统，使用Ceph Storage Cluster来存储数据，它用同样的Ceph
 Storage Cluster系统作为Ceph Block Devices, Ceph Object Storage，with its S3和Swift
 APIs或native binding.
注意：如果是第一次评估CephFS，请浏览CephFS配置的最好实践。http://docs.ceph.com/docs/master/cephfs/best-practices/
 
用Ceph Filesystem需要在你的Ceph Storage Cluster上至少一个Ceph Metadata
 Server.
step1. METADATA SERVER
 
 
step2. MOUNT CEPHFS
 

3.3 Object Storage Quick Start
Ceph Storage Cluster是所有Ceph deployments的基础，基于RADOS，Ceph
 Storage Cluster包括两种类型的daemons:
一个Ceph OSD Daemon(OSD)将数据作为对象存储到存储节点，一个Ceph Monitor(MON)维护集群映射的master版本。一个Ceph
 Storage Cluster可能包括数千个Storage nodes，一个最小系统至少有一个Ceph Monitor和两个Ceph
 OSD Daemons来实现data replication。
Ceph Filesystem, Ceph Object Storage和 Ceph Block Devices从Ceph Storage Cluster中读写数据。
config and deploy
一个典型的Ceph Storage Clusters deployment 
使用一个deployment tool(ceph-deploy)来定义几个集群和启动一个监控。
当Ceph启动时，它激活三个daemons：
ceph-mon(mandatory)
ceph-osd(mandatory)
ceph-mds(mandatory for cephfs only)
每个process, daemon或utility加载主机的配置文件。一个process也许有关于不止一个daemon
 instance的信息，一个daemon或utility只有关于一个daemon
 instance的信息。
Disks and Filesystems
 
Configuring Ceph
启动Ceph服务，初始化进程会激活一系列运行在后台的daemons，一个Ceph Storage Cluster会运行两类daemons：
Ceph Monitor(ceph-mon)
Ceph OSD Daemon(ceph-osd)
network settings
 


分布式存储学习！
http://sanwen8.cn/p/12eXN7U.html
https://github.com/kubernetes?utf8=%E2%9C%93&query=
 
kubernetes + CoreOS+Ceph RBD
CoreOS has the rbd module, which was the major impediment.  The libraries
are better coming from the container.  You can mount RBD volumes to the
host or to the container.  We've done some work, over at
http://github.com/ceph/ceph-docker/ with
 getting Ceph running on Kubernetes
(though there is much more to do).

If, however, you only need to _consume_ Ceph resources in kubernetes, you
should be fine to do so.  Just keep all the libraries and tools you need
inside your containers.  The kernel modules for both rbd and cephfs have
been included with CoreOS for a while, now.
On Fri, Oct 9, 2015 at 12:01 PM Danny Chuang <[EMAIL PROTECTED]> wrote:
 
Mounting ceph image for kubernetes
 
 getting Ceph running on Kubernetes
 
1. RBD：k8s支持RBD，用RBD实现与ceph的交互，mount
 RBD volume到host.
2.生成的ceph.conf和ceph keyring存储到etcd，或用ansible来生成这些配置文件和密钥
3.用fleet和etcd在容器中配置ceph
the configs (/etc/ceph/*) are created when the first ceph monitor  boots up and stored in Etcd cluster. When new node joins the Ceph cluster, the configs are pulled automatically from Etcd servers.
 

Ceph当前的自动化部署有两个，分别是ceph-deploy和ceph-ansible，语言都是python，对应的github库地址为：

ceph-deploy: https://github.com/ceph/ceph-deploy

ceph-ansible: https://github.com/ceph/ceph-ansible

ceph-deploy在手动部署中用的比较多，要实现自动化部署，必须再写脚本执行；

ceph-ansible基于ansible，可以实现根据配置文件的ceph自动化部署；

我在之前写过一个基于ceph-deploy部署ceph的自动化脚本，用起来比较方便熟练；

所以这里我写的自动化部署是基于自写脚本调用ceph-deploy的自动化部署；

https://www.colabug.com/3049341.html

ceph ansible部署ceph集群
参考：https://docs.ceph.com/ceph-ansible/master/
项目地址：https://github.com/ceph/ceph-ansible
节点规划：




主机名
public-ip
磁盘
角色




node1
192.168.93.20
系统盘: sda
osd盘: sdb
ceph-ansible,monitor,mgr,mds,osd


node2
192.168.93.21
系统盘: sda
osd盘: sdb
monitor,mgr,mds,osd


node3
192.168.93.22
系统盘: sda
osd盘: sdb
monitor,mgr,mds,osd


基本配置
所有节点配置主机名
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

配置hosts解析
cat >> /etc/hosts <<EOF
192.168.93.20 node1
192.168.93.21 node2
192.168.93.22 node3
EOF

配置防火墙和时间同步
#关闭防火墙和selinux
systemctl disable --now firewalld
setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

#配置时间同步
yum install -y chrony
systemctl enable --now chronyd

添加节点SSH互信
ssh-keygen -t rsa
ssh-copy-id root@node1
ssh-copy-id root@node2
ssh-copy-id root@node3

由于ceph ansible安装docker版本较低，这里提前手动安装docker
#安装docker依赖
yum install -y yum-utils device-mapper-persistent-data lvm2

#阿里云源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#安装docker-ce
yum install -y docker-ce

#修改docker配置
mkdir -p /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://uyah70su.mirror.aliyuncs.com"]
}
EOF

#启动docker服务
systemctl enable --now docker

安装ceph集群
克隆存储库：
yum install -y git
git clone https://github.com/ceph/ceph-ansible.git

#网络较慢时其他克隆方式
git clone https://github.com.cnpmjs.org/ceph/ceph-ansible.git

接下来，必须确定ceph-ansible要使用哪个分支。有稳定的分支可供选择，或者可以使用master分支，这里安装nautilus版本。
cd ceph-ansible
git tag
git checkout v4.0.9

配置阿里云pip源
mkdir ~/.pip
cat > ~/.pip/pip.conf << EOF 
[global]
trusted-host=mirrors.aliyun.com
index-url=https://mirrors.aliyun.com/pypi/simple/
EOF

使用pip和提供的requirements.txt安装Ansible和其他所需的Python库：
yum install -y python-pip
pip install -U pip
pip install -r requirements.txt

release版本
根据需求选择以下分支，其中stable-*分支已经过QE测试，master分支应视为实验性分支，请谨慎使用。

stable-3.0支持Ceph版本jewel和luminous。该分支需要Ansible版本2.4。
stable-3.1支持Ceph版本luminous和mimic。该分支需要Ansible版本2.4。
stable-3.2支持Ceph版本luminous和mimic。该分支需要Ansible版本2.6。
stable-4.0支持Ceph版本nautilus。该分支需要Ansible版本2.8。
stable-5.0支持Ceph版本octopus。该分支需要Ansible版本2.9。
master支持Ceph的master分支。该分支需要Ansible版本2.9。

配置和使用
为Ceph集群创建inventory文件，playbook和配置文件。
配置inventory
Ansible inventory文件定义了集群中的主机以及每个主机在Ceph群集中扮演的角色。inventory文件的默认位置是/etc/ansible/hosts但是可以将该文件放置在任何位置并与ansible-playbook -i 参数一起使用。
inventory文件示例如下所示：
mkdir -p /etc/ansible
cat > /etc/ansible/hosts << EOF
[mons]
node1
node2
node3

[osds]
node1
node2
node3

[mdss]
node1
node2
node3

[mgrs]
node1
node2
node3
EOF

配置playbook
该ceph-ansible项目的根目录有一个示例playbook，名为site.yml.sample。该playbook在大多数情况下都可以正常工作，但默认情况下，它包括了可能不适用于集群设置的每个daemon group 。执行以下步骤来准备剧本。
重命名示例playbook，根据集群的需要对playbook进行修改：
cp site.yml.sample site.yml

配置变量
Ceph集群的配置将通过使用ceph-ansible提供的ansible变量进行设置。所有这些选项及其默认值都在ceph-ansible项目group_vars/目录中定义。在group_vars/目录下，有许多示例Ansible配置文件，它们通过文件名与每个Ceph守护程序组相关。例如，osds.yml.sample包含OSD守护程序的所有默认配置。该all.yml.sample文件是一个特殊group_vars文件，适用于群集中的所有主机。
在最基本的级别上，必须告诉ceph-ansible要安装的Ceph版本，安装方法，集群网络设置以及如何配置OSD。要开始配置，请重命名group_vars/您要使用的每个文件，以使其在文件名的末尾不包含.sample，请取消要更改选项的注释并提供你自己的值。
使用lvm batch方法部署Ceph上游版本octopus的示例配置如下所示group_vars/all.yml：
[root@node1 ceph-ansible]# cd group_vars/

cp all.yml.sample all.yml

cat >> all.yml <<EOF
configure_firewall: False
ceph_origin: repository
ceph_repository: community
ceph_stable_release: nautilus
ceph_mirror: http://mirrors.aliyun.com/ceph
ceph_stable_key: http://mirrors.aliyun.com/ceph/keys/release.asc
ceph_stable_repo: "{{ ceph_mirror }}/rpm-{{ ceph_stable_release }}"
public_network: "192.168.93.0/24"
cluster_network: "192.168.93.0/24"
monitor_interface: ens33
cephx: true

devices:
  - '/dev/sdb'
ceph_conf_overrides:
   mon:
     mon_allow_pool_delete: true  
EOF

执行部署
ansible-playbook -i /etc/ansible/hosts site.yml

维护集群
ceph-ansible在infrastructure-playbooks目录中提供了一组playbook，以便执行一些基本的操作。
添加osd
$ cat hosts
[mons]
mon-node-1
mon-node-2
mon-node-3

[mgrs]
mon-node-1
mon-node-2
mon-node-3

[osds]
osd-node-1
osd-node-2
osd-node-3
osd-node-99

$ ansible-playbook -vv -i hosts site-container.yml --limit osd-node-99

缩小osd
$ ansible-playbook -vv -i hosts infrastructure-playbooks/shrink-osds.yml -e osd_to_kill=1,2,3

清理集群
ansible-playbook -vv infrastructure-playbooks/purge-container-cluster.yml

简介： Ceph-ansible 部署Ceph   1、安装notario yum install -y python-pip pip install notario 这个包用yum装的版本是不符合要求的，需要使用pip进行安装   2、下载ceph-ansible的代码到本地 git clone https://github

 

Ceph-ansible 部署Ceph

 

1、安装notario

[root@node1 ~]# yum install -y python-pip
[root@node1 ~]# pip install notario

 

这个包用yum装的版本是不符合要求的，需要使用pip进行安装

2、下载ceph-ansible的代码到本地

 

[root@node1 ~]# git clone https://github.com/ceph/ceph-ansible.git

 

3、修改inventory，添加主机信息

 

[root@node1 ~]# cd ceph-ansible/

[root@node1 ceph-ansible]# vim hosts
[mons]
192.168.1.10
192.168.1.11
192.168.1.12

[osds]
192.168.1.10
192.168.1.11
192.168.1.12

[rgws]
192.168.1.10
192.168.1.11
192.168.1.12

[mgrs]
192.168.1.10
192.168.1.11
192.168.1.12


 

4、修改all.yml写入如下内容

 

[root@node1 ceph-ansible]# vim group_vars/all.yml
---
cluster: ceph                                #集群名
ceph_origin: distro                          #使用distro，则不会使用公网源
ceph_repository: local                       #被操作节点使用本地的repo文件
ceph_stable_release: luminous                #安装版本
public_network: "192.168.1.0/24"
cluster_network: "192.168.1.0/24"
mon_host: 192.168.1.10,192.168.1.11,192.168.1.12
monitor_interface: ens33
devices:                                     #OSD磁盘，有几块写几块
  - '/dev/sdb'
  - '/dev/sdc'
  - '/dev/sdd'
osd_scenario: collocated

 

5、生成site.yml

 

[root@node1 ceph-ansible]# mv site.yml.sample site.yml

 

6、安装

 

[root@node1 ceph-ansible]# ansible-playbook site.yml -i hosts

 

7、部署完成

 

[root@node1 ceph-ansible]# ceph -s
  cluster:
    id:     e2706096-9e3e-4993-842e-ef8abe4d9d49
    health: HEALTH_WARN
            too few PGs per OSD (10 < min 30)
 
  services:
    mon: 3 daemons, quorum node1,node2,node3
    mgr: node1(active), standbys: node2, node3
    osd: 9 osds: 9 up, 9 in
    rgw: 3 daemons active
 
  data:
    pools:   4 pools, 32 pgs
    objects: 191 objects, 3155 bytes
    usage:   969 MB used, 133 GB / 134 GB avail
    pgs:     32 active+clean

 

https://www.cnblogs.com/zyxnhr/p/10543814.html#_label1_2