1、PG概述
PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统(RDBMS)。PostgreSQL最初设想于1986年，当时被叫做Berkley Postgres Project。该项目一直到1994年都处于演进和修改中，直到开发人员Andrew Yu和Jolly Chen在Postgres中添加了一个SQL(Structured Query Language，结构化查询语言)翻译程序，该版本叫做Postgres95，在开放源代码社区发放。
1996年，再次对Postgres95做了较大的改动，并将其作为PostgresSQL6.0版发布。该版本的Postgres提高了后端的速度，包括增强型SQL92标准以及重要的后端特性(包括子选择、默认值、约束和触发器)。
PostgreSQL是一个非常健壮的软件包，有很多在大型商业RDBMS中所具有的特性，包括事务、子选择、触发器、视图、外键引用完整性和复杂锁定功能。另一方面，PostgreSQL也缺少商业数据库中某些可用的特性，如用户定义的类型、继承性和规则。
2020-05-21，PostgreSQL全球开发组宣布PostgreSQL13的第一个Beta版本正式提供下载。这个版本包含将来PostgreSQL 13正式版本中的所有特性和功能，当然一些功能的细节在正式版本发布时可能会有些变化。
鉴于PG版本的稳定性和使用广泛性，我们选择PG11--postgresql-11.7这个版本。
2、高可用架构概述
Patroni+ ZooKeeper 方案:
健壮性:使用分布式文件系统作为数据存储，主节点故障时进行主节点重新选举，具有很强的健壮性。
支持多种复制方式: 基于内置流复制，支持同步流复制、异步流复制、级联复制。
支持主备延迟设置:可以设置备库延迟主库WAL的字节数，当备库延迟大于指定值时不做故障切换。
自动化程度高: 1)支持自动化初始PostgreSQL实例并部署流复制; 2)当备库实例关闭后，支持自动拉起; 3)当主库实例关闭后，首先会尝试自动拉起; 4)支持switchover命令，能自动将老的主库进行角色转换。
避免脑裂: 数据库信息记录到ZOOKEEPER 中，通过优化部署策略(多机房部署、增加实例数)可以避免脑裂。
2.1.          Patroni简介
Patroni基于Python开发的模板，结合DCS(例如ZooKeeper, ETCD, Consul )可以定制PostgreSQL高可用方案。
Patroni并不是一套拿来即用的PostgreSQL高可用组件，涉及较多的配置和定制工作。
Patroni接管PostgreSQL数据库的启停，同时监控本地的PostgreSQL数据库，并将本地的PostgreSQL数据库信息写入DCS。
Patroni的主备端是通过是否能获得leader key 来控制的，获取到了leader key的Patroni为主节点，其它的为备节点。
2.2.          ZooKeeper简介
ZooKeeper是一款基于FastPaxos算法和协议开发的，Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Patroni监控本地的PostgreSQL状态，并将相关信息写入ZooKeeper，每个Patroni都能读写ZooKeeper上的key，从而获取外地PostgreSQL数据库信息。
当ZooKeeper的leader节点不可用时，ZooKeeper会一致性的选择一个合适的节点作为主节点，新的ZooKeeper主节点将获取leader key，因此建议ZooKeeper集群为三个以上且为奇数的节点，不建议部署在同一个机房，有条件话尽量部署在三个机房。
一个标准的3节点ZooKeeper集群，最大容许1个节点故障。
3、读写分离和虚拟IP
3.1.          HAProxy
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点， 这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
HAProxy做数据库读写分离，主要是通过限制访问的端口号来实现，例如访问5000端口是主数据库，可读可写；访问5001端口连接的是从数据库，做只读查询。
3.2.          Keepalive
通过keepalive 来实现  PostgreSQL 数据库的主从自动切换，以达到高可用，当主节点宕机时，从节点可自动切换为主节点，继续对外提供服务，同时为了保证 keepalived 不会出现单点故障，所以keepalived 也搭建主备节点，防止单点故障。
同时，可以使用keepalive虚拟出来的IP进行数据库访问，结合HAProxy的读写分离功能，进行实现可高可用下的读写分离。
4、实施方案目标
4.1.          实施方案总体拓扑
4.2.          实施方案拓扑说明
技术方案主要目的是：
Ø  利用zookeeper将节点做成分布式架构；
Ø  将postgresql 数据库和patroni软件结合，完成数据库的主从复制；
Ø  利用haproxy进行主库和从库的读写分离；
Ø  利用keepalive做节点间的高可用，并利用虚拟IP地址对外提供服务。
关键点是整合上述的各自功能，实现架构可自动切换的高可用功能。上述拓扑实施完成后,主要带来以下收益:
5、项目实施控制
数据库系统项目通常都是以循序渐进的方式推进，构建新的数据库平台。
6、实施环境准备
为了能让客户完成数据库整合项目,在项目实施前需要具备以下条件：
6.1.          主机
由于数据库整合项目,需要先构建三个数据库整合平台,因此必须有9台主机来建立数据库平台:
主机升级改造
硬件名称
规格
数量
说明
其他
服务器
CPU:24cpu
MEM:64G
硬盘：服务可用存储空间不低于2T
3
构建基于PG数据库的高可用平台
 建议五台服务器，三台服务器用于做分布式主从复制，两台做高可用读写分离和VIP
6.2.          存储
PG数据库的高可用平台可以使用本地磁盘空间，也可以单独挂载高性能存储设备。如果单独挂载存储设备，空间需求如下:
存储升级改造
硬件名称
规格
数量
说明
其他
生产存储
10T容量
1台
用于生产存储，存储可以使用现有存储设备具体容量和需求以实际为主
Raid 1+0
10T为可用空间
备份存储
20T容量
1台
用于备份存储，备份存储可以使用现有存储设备具体容量和需求以实际为主
Raid 5
SAN交换机
6口
2台
用于搭建san环境
如存在，则忽略
6.3.          软件系统
如果对于软件有正版化需求,则需要额外购买正版化的Postgres，linux软件授权.
操作系统升级改造
软件名称
规格
数量
说明
其他
PostgreSQL
3套
PG数据库的高可用平台
Patroni
3套
PG数据库的高可用平台
zookeeper
3套
PG数据库的高可用平台
haproxy
3套
PG数据库的高可用平台
keepalive
3套
PG数据库的高可用平台
RHEL 7.6 x64
企业版
3套
用于PG数据库的高可用平台操作系统
6.4.          IP地址
实施过程中，对应很多软件都是开源的，安装相对繁琐复杂，因此建议打开互联网连接，能够和对应的安装源通信。
资源升级改造
软件名称
规格
数量
说明
其他
公有IP地址
生产段
3
用于PG数据库的高可用平台公用IP，日常管理
开放5432关口
虚拟IP地址
生产段
1
用于PG数据库的高可用平台虚拟IP，集群高可用
开放5000和5001端口
7、实施方案
7.1.          规划
7.1.1.     软件版本
POSTGRES数据库集中平台:
              项目
版本
操作系统
Redhat Linux  AS 7.6 64bit
数据库软件版本
PostgreSQL  11.7
7.1.2.     存储规划
生产存储数据库部分存储容量规划如下：
数据库名
raid级别
LUN
可用容量(GB)
用途
TWXPDS
随操作系统
LUN1:100G
1T
主要用于数据库存储，
暂时分配1T空间，Linux LVM方式，方便后面空的动态扩展
备份存储容量规划如下：
系统名称
raid级别
LUN
可用容量(GB)
用途
TWXPDS
随操作系统
LUN2:600G
600G
主要用于数据库备份，暂时分配600G空间，Linux LVM方式，方便后面空的动态扩展
WALS归档存储容量规划如下：
数据库名
raid级别
LUN
可用容量(GB)
用途
TWXPDS
随操作系统
LUN3:300G
300G
主要用于WALS归档，暂时分配300G空间，Linux LVM方式，方便后面空的动态扩展
7.1.3.     数据库命名约定
POSTGRES数据库集中平台:
项目
取值
群集名
pg_micky
主机名
micky1、micky2、micky3
数据库名
TWXPDS
字符集
UTF8
参数要求
max_connections:  500
shared_buffers:  16000MB
work_mem:  32MB
maintenance_work_mem:  512MB
synchronous_commit:  on
max_wal_size:  1GB
min_wal_size:  80MB
listen_addresses:  '*'
port: 5432
安装组
groupadd -g  1000 postgres
安装用户
useradd -u 1000 -g postgres postgres
软件目录
mkdir  -p /pgdata/data
mkdir  -p /backup
mkdir  -p /archive_wals
mkdir  -p /scripts
chown  -R postgres.postgres /backup
chown  -R postgres.postgres /archive_wals
chown  -R postgres.postgres /scripts
chown  -R postgres.postgres /pgdata/data
表空间命名
TWXPDS
7.1.4.     数据库网络规划
项目
取值
PUB IP
192.168.24.140.X/255.255.254.0
VIP
192.168.140.X
网关
192.168.140.1
监听端口
5432
7.2.          数据库集中平台创建
7.2.1.     基础环境准备
1) 创建用户、组
以root身份运行以下命令：
groupadd -g 1001 postgres
useradd -u 1000 -g postgres postgres
设置postgres账户的密码：
passwd postgres
Changing password for user postgres.
New UNIX password: password
retype new UNIX password: password
passwd: all authentication tokens updatedsuccessfully.
2)  IP规划(具体以实际为准)
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.140.74  micky1
192.168.140.75  micky2
192.168.140.76  micky3
3)  创建相关目录
数据库存放位置：
mkdir -p /pgdata/data
---存放pg数据库
mkdir -p /backup
---备份pg数据库
mkdir -p /archive_wals
---WALS归档
mkdir -p /scripts
---特殊脚本部署位置
授权给psotgres账户：
 chown -R postgres.postgres/backup
chown -R postgres.postgres /archive_wals
chown -R postgres.postgres /scripts
chown -R postgres.postgres /pgdata/data
chown -R postgres:postgres /usr/local/postgresql
4)  共享存储规划(以实际需求为准)：
/dev/mapper/pgbackup-pgbackup: 645.3 GB
/dev/mapper/pgdata-pgdata: 1099.5 GB
/dev/mapper/pgwals-pgwals: 322.1 GB
5)  LVM相关操作
[root@micky1 ~]# vgcreate pgdata /dev/sdb2
  Volume group"pgdata" successfully created
[root@micky1 ~]# vgcreate pgwals /dev/sdb3
  Volume group"pgwals" successfully created
[root@micky1 ~]# vgcreate pgbackup/dev/sdb4
  Volume group"pgbackup" successfully created
[root@micky1 ~]# lvcreate -l 100%VG -npgdata pgdata
  Logicalvolume "pgdata" created.
[root@micky1 ~]# lvcreate -l 100%VG -npgwals pgwals
  Logicalvolume "pgwals" created.
[root@micky1 ~]# lvcreate -l 100%VG -npgbackup pgbackup
  Logicalvolume "pgbackup" created.
、
6)  创建用户Profile
创建 所有 用户环境文件:
export PATH=/usr/local/postgresql/bin:$PATH
exportLD_LIBRARY_PATH=/usr/local/postgresql/lib:$LD_LIBRARY_PATH
export ZKHOME=/u01/apache-zookeeper-3.6.1
PATH=$PATH:$HOME/bin:$ZKHOME/bin
创建 postgres 用户环境文件:
export PGHOME=/usr/local/postgresql
export PGDATA=/pgdata/data
7)  安全设置
关闭防火墙:
[root@micky3 ~]# systemctl stop firewalld.service
[root@micky3 ~]# systemctl disablefirewalld.service
设置SELinux：
[root@micky3 ~]# vi /etc/selinux/config
# This file controls the state of SELinux on thesystem.
# SELINUX= can take one of these three values:
#    enforcing - SELinux security policy is enforced.
#    permissive - SELinux prints warnings instead of enforcing.
#     disabled- No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted- Targeted processes are protected,
#     minimum- Modification of targeted policy. Only selected processes are protected.
#     mls -Multi Level Security protection.
SELINUXTYPE=targeted
8)  安装依赖包
rpm -ivh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum -y install  libffi-devel
wget -chttps://www.python.org/ftp/python/3.8.2/Python-3.8.2.tar.xz
cd Python-3.8.2
./configure --with-ssl
make && make install
创建Python软连接：
rm -f /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/python
7.2.2.     软件安装
tarzxvf postgresql-11.7.tar.gz
cdpostgresql-11.7
./configure--prefix=/usr/local/postgresql
#编译安装
makeworld && make install-world
……
make[2]:Leaving directory `/root/postgresql-11.7/contrib/unaccent'
make-C vacuumlo install
make[2]:Entering directory `/root/postgresql-11.7/contrib/vacuumlo'
/usr/bin/mkdir-p '/usr/local/postgresql/bin'
/usr/bin/install-c  vacuumlo '/usr/local/postgresql/bin'
make[2]:Leaving directory `/root/postgresql-11.7/contrib/vacuumlo'
make[1]:Leaving directory `/root/postgresql-11.7/contrib'
PostgreSQL,contrib, and documentation installation complete.
7.2.3.     初始化数据库
Step1初始化并启动数据库
#初始化数据库
initdb-D /pgdata/data
 #启动服务
pg_ctl-D /pgdata/data -l /pgdata/data/logfile start
Step2修改参数并重启数据库
#修改postgresql.conf 文件
vi/pgdata/data/postgresql.conf
#修改为如下：
listen_addresses= '*'
port =5432
#--------------------允许远程连接---------------------------
#修改客户端认证配置文件pg_hba.conf，将需要远程访问数据库的IP地址或地址段加入该文件
vi/pgdata/data/pg_hba.conf
#在文件的最下方加上下面的这句话(出于安全考虑，不建议这样配置)
host    all        all         0.0.0.0/0             trust
host            replication            repuser            192.168.140.74/32            md5
host            replication            repuser            192.168.140.75/32            md5
host            replication            repuser            192.168.140.76/32            md5
pg_ctl-D /pgdata/data -l /pgdata/data/logfile stop
pg_ctl-D /pgdata/data -l /pgdata/data/logfile start
7.2.4.     配置主从同步
Step1主库创建Replication专有用户
 主库创建Replication专有用户
CREATEUSER repuser REPLICATION ENCRYPTED PASSWORD 'postgres';
Step2配置主库postgresql.conf参数
altersystem set wal_level = replica;
altersystem set archive_mode = on;
altersystem set archive_command = '/bin/true';
altersystem set max_wal_senders = 10;
altersystem set wal_keep_segments = 512;
altersystem set hot_standby = on;
altersystem set synchronous_commit = on;
altersystem set synchronous_standby_names = 'pg_micky01,pg_micky02,pg_micky03'; srvctlstart alter system set archive_timeout = '30s';
altersystem set archive_command = 'cp %p /archive_wals/%f';
重启数据库：
pg_ctl-D /pgdata/data -l /pgdata/data/logfile stop
pg_ctl-D /pgdata/data -l /pgdata/data/logfile start
Step3备库上使用pg_basebackup从主库同步数据
 [postgres@micky2 data]$ pg_basebackup -D /pgdata/data-Fp -Xs -v -P -h 192.168.140.74 -p 5432 -U repuser
Password:
pg_basebackup:initiating base backup, waiting for checkpoint to complete
pg_basebackup:checkpoint completed
pg_basebackup:write-ahead log start point: 0/2000060 on timeline 1
pg_basebackup:starting background WAL receiver
pg_basebackup:created temporary replication slot "pg_basebackup_81452"
23831/23831kB (100%), 1/1 tablespace                                         
pg_basebackup:write-ahead log end point: 0/2000130
pg_basebackup:waiting for background process to finish streaming ...
pg_basebackup:base backup completed
Step4配置备库recovery.conf
cp/usr/local/postgresql/share/recovery.conf.sample /pgdata/data/recovery.conf
vi/pgdata/data/recovery.conf
#节点micky2
recovery_target_timeline= 'latest'
standby_mode= on
primary_conninfo= 'host=192.168.140.74 port=5432 user=repuser password=postgresapplication_name=pg_atj02'
#节点micky3
recovery_target_timeline= 'latest'
standby_mode= on
primary_conninfo= 'host=192.168.140.74 port=5432 user=repuser password=postgresapplication_name=pg_atj03'
重启备库
pg_ctl-D /pgdata/data -l /pgdata/data/logfile stop
pg_ctl-D /pgdata/data -l /pgdata/data/logfile start
Step5查看配置是否生效
postgres=#SELECT usename,application_name,client_addr,sync_state FROM pg_stat_replication;
 usename | application_name |  client_addr | sync_state
---------+------------------+---------------+------------
 repuser | pg_micky02         | 192.168.140.74 | sync
 repuser | pg_micky03         | 192.168.140.75 | potential
(2rows)
Step6插入数据查看同步情况
#创建测试数据库
createdatabase micky;
 #切换到micky 数据库
\cmicky
 #创建测试表
createtable micky (id integer, name text);
 #插入测试数据
insertinto micky values (1,'micky');
 #选择数据
select* from micky ;
备库查询：
micky=# select * frommicky ;
 id | name
----+-------
  1 | micky
(1 row)

智慧公安大数据云平台开发方案情报合成作战系统开发
近年来，全国公安机关以大数据为依托，大力推进“放管服”改革，极大激发了社会创造活力，增强了人民群众获得感。在充分肯定成绩的同时，必须清醒地看到，同高质量发展要求和新时代人民群众期盼相比，公安机关在管理服务上仍然存在不小的差距。

科技信息化在公安工作中具有战略性、基础性、全局性地位。全国各级公安机关要主动拥抱大数据、人工智能新时代，积极适应大数据时代信息化发展新趋势，大力实施警务大数据战略，加强科技成果运用。
充分发挥科技信息化对公安工作体制、机制、管理创新的推动作用，不断提高公安工作信息化、智能化、现代化水平，为公安事业发展进步提供有力的科技引领和信息支撑。要重点推进公安大数据智能化建设，把大数据理念贯穿于基础信息化建设全过程、各环节，切实提升公安机关核心战斗力和公安工作智能化水平。
充分运用大数据技术手段促进警务流程再造、警务结构优化，整合物联网、大数据等信息手段，不断优化信息化条件下的基层勤务运行机制，大力推进执法办案、执法管理各类信息的互联互通、数据共享，实现执法办案全过程全流程管理。深入推进“AI+新警务”战略，让民警会用、能用、善用无人机，实现社会面规范化管控。
同时，运用科技信息化手段，建立跨警种、跨部门、跨区域合成作战平台，实现各警种、各部门之间信息资源的互联互通，让警务运行质态更科学、更可持续。另外，按照“大整合、高共享、深应用”的思路，下大力气整合各类警务数据资源，集约管理公安机关各类信息资源，把分散、孤立、沉睡的数据激活、用好，全方位提升警务体制改革的信息化支撑，有序推进公安警务模式、管理制度等体制机制改革。
实施公安大数据战略的根本目的，就是要以机器换人力、以智能增效能，最大限度地释放警力、提高公安机关核心战斗力。下一步公安机关将着力构建以数据为关键要素的数字侦查打击模式，实现对各类违法犯罪活动的精准打击，全面推动公安工作质量变革、效率变革、动力变革，努力实现公安机关战斗力的跨越式发展。

一、需求分析
（一）系统开发建议
（二）可行性分析
（三）业务需求规范说明书
（四）项目开发计划书
二、系统设计
（一）业务流程设计
（二）系统功能王设计（划分子系统和功能模块，设计详细功能）
（三）系统数据结构设计，简历完整数据字典
三、系统开发
（一）程序设计与编写
（二）系统调试：根据系统说明书和系统实施方案，对程序设计的结果进行全面的检查，找出并纠正其中的错误，把错误尽量灭在系统正式运行以前
（三）编写系统使用说明书，包括系统运行环境的介绍、应用系统的介绍、操作说明、系统输出报表的相关说明、系统管理与维护说明等
四、系统测试
（一）系统培训，对使用系统的员工进行操作培训
（二）试运行
（三）系统修改
五、系统运行
（一）系统正式运行
（二）系统验收
六、系统维护
（一）随着业务需求和流程的改变，对系统进行维护和修改

开发区块链跨境支付系统方案币区块链支付跑分平台开发
当前，国内电商支付方式不外乎Alipay、TenPay等等，虽然安全、及时、手续费这些不用担心。但是，随着电子商务规模的扩大，跨境电子商务的收汇方式就不那么简单了。
区域链支付系统以区块链技术为基础，以全球可信、流通度较高的数字货币为媒介，接入全球主要数字资产交易平台，提供流动性，满足高效率的兑付需求，实现商业消费、支付、结算功能。
区块链具有去中心化、开放、自治和信息不可篡改的特点，可用于构建监管机构所需的、包含多种监管手段的监管工具箱，以利于实施精确、及时、多维的监管，解决被怀疑为二清的在线电子服务平台和线下支付服务商，从而形成基于区块链技术的支付交易系统。
区块链支付系统应用场景：
一、全球全渠道的区块链数字货币支付系统
实现数字货币的全球流通，商家在收到数字货币后，可在线实现当地法币的兑换，随着全球商业和个人用户数量的不断增加，通过全球多种渠道和多种场景进行流通，构建一个完整的区块链支付生态系统。
二、商家一键进入区块链支付大生态圈
全球商家可以一键方便地进入区块链支付系统，进入自己的系统和 app，接受全球用户的跨国支付，该系统让商家访问支付的时间和人力变得更短，用户只需支付数字资产，即可快速购买外国商品，利用区块链作为资金通道，可实现即时、安全的进入，商家可通过平台提供的商户管理后台管理这些支付渠道的所有订单。
三、跨界支付解决方案
通常情况下，跨境支付存在着转账费用高、结算周期长、收款方收到款项慢、转账限额有限、资金冻结等风险，给企业用户的经营造成了不必要的损失，跨境支付在传统金融体系下很难取得突破，而区块链支付系统能够提供实时和高效的去中心化的支付网络，是解决跨境支付难题的有效工具。
区域链式支付系统是基于区域链式技术的可管理的支付交易系统，它能够更快、更廉价地为用户提供服务；同时，它还为整个产业带来了更多的便利和利益。