分类：正向代理服务商、反向代理服务器和透明代理服务器

正向代理服务器：要求客户端自己设置代理服务器地址。客户的每次请求都将直接发送到该代理服务器，并由代理服务器来请求资源。

反向代理服务器：反向代理被设置在服务器端，因而客户端无需进行任何设置。反向代理指用代理服务器接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，内部服务器将得到的结构返回客户端。

各大网站通常分区域设置了多个代理服务器，所以不同的地方ping同一个域名可能得到不同的IP地址



透明代理服务器 ：透明代理只能设置在网关上。用户访问Internet的数据报必然都经过网关，如果网关上设置代理，则该代理对用户来说显然是透明的。

部署squid代理服务器 ：How to Install Squid Proxy Server on Ubuntu 16.04

安装squid

squid的配置文件在 /etc/squid


dxt@DXT:/etc/squid$ ls

errorpage.css  squid.conf


创建 squid.conf的备份，以防出错需要回滚


dxt@DXT:/etc/squid$ sudo cp ./squid.conf ./squid.conf.bak

dxt@DXT:/etc/squid$ ls

errorpage.css  squid.conf  squid.conf.bak


Squid默认端口为3128 

修改 Squid的http_access，为了允许来自所有IP地址的外部访问HTTP代理服务器，我们需要编辑“http_access”指令。默认情况下，HTTP代理服务器不允许访问任何人，除非我们明确允许!

通过 grep查找 http_access所在位置


dxt@DXT:/etc/squid$  grep -n "http_access*" squid.conf




把1190行改为allow all

 

设置谁可以访问 Squid 代理服务器



在squid.conf末尾添加：


acl localnet src 192.168.1.0/24

http_access allow localnet




允许网络192.168.0.1上的所有机器通过该代理服务器来访问Web服务器

重启squid服务器


dxt@DXT:/etc/squid$ sudo service squid restart 


客户端：kali@kali 地址：192.168.152.128/24 

Squid代理服务器：dxt@DXT 地址192.168.1.209/24 ：3128

客户端设置代理服务器地址：

设置环境变量

 

 查看环境变量：



 客户端获取百度index.html网页：

wget将通过http_proxy指定的代理服务器来访问Web服务



可以看到kali客户端会通过Squid代理（192.168.1.209：3128）获取网页

tcpdump抓包：


 


kali@kali:~$ sudo tcpdump -s 200 -i eth0 -ntX '(src 192.168.1.209 or dst 192.168.1.209) or (arp)'

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on eth0, link-type EN10MB (Ethernet), capture size 200 bytes

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [S], seq 2684310663, win 64240, options [mss 1460,sackOK,TS val 315127673 ecr 0,nop,wscale 7], length 0

        0x0000:  4500 003c 2806 4000 4006 f713 c0a8 9880  E..<(.@.@.......

        0x0010:  c0a8 01d1 8346 0c38 9fff 5487 0000 0000  .....F.8..T.....

        0x0020:  a002 faf0 1bd1 0000 0204 05b4 0402 080a  ................

        0x0030:  12c8 7779 0000 0000 0103 0307            ..wy........

IP 192.168.1.209.3128 > 192.168.152.128.33606: Flags [S.], seq 1147679829, ack 2684310664, win 64240, options [mss 1460], length 0

        0x0000:  4500 002c 1762 0000 8006 07c8 c0a8 01d1  E..,.b..........

        0x0010:  c0a8 9880 0c38 8346 4468 3455 9fff 5488  .....8.FDh4U..T.

        0x0020:  6012 faf0 84bf 0000 0204 05b4 0000       `.............

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [.], ack 1, win 64240, length 0

        0x0000:  4500 0028 2807 4000 4006 f726 c0a8 9880  E..((.@.@..&....

        0x0010:  c0a8 01d1 8346 0c38 9fff 5488 4468 3456  .....F.8..T.Dh4V

        0x0020:  5010 faf0 1bbd 0000                      P.......

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [P.], seq 1:196, ack 1, win 64240, length 195

        0x0000:  4500 00eb 2808 4000 4006 f662 c0a8 9880  E...(.@.@..b....

        0x0010:  c0a8 01d1 8346 0c38 9fff 5488 4468 3456  .....F.8..T.Dh4V

        0x0020:  5018 faf0 1c80 0000 4745 5420 6874 7470  P.......GET.http

        0x0030:  3a2f 2f77 7777 2e62 6169 6475 2e63 6f6d  ://www.baidu.com

        0x0040:  2f69 6e64 6578 2e68 746d 6c20 4854 5450  /index.html.HTTP

        0x0050:  2f31 2e31 0d0a 5573 6572 2d41 6765 6e74  /1.1..User-Agent

        0x0060:  3a20 5767 6574 2f31 2e32 302e 3320 286c  :.Wget/1.20.3.(l

        0x0070:  696e 7578 2d67 6e75 290d 0a41 6363 6570  inux-gnu)..Accep

        0x0080:  743a 202a 2f2a 0d0a 4163 6365 7074 2d45  t:.*/*..Accept-E

        0x0090:  6e63 6f64 696e 673a 2069 6465 6e74 6974  ncoding:.identit

        0x00a0:  790d 0a48 6f73 743a 2077 7777 2e62 6169  y..Host:.www.bai

        0x00b0:  6475 2e63 6f6d 0d0a                      du.com..

IP 192.168.1.209.3128 > 192.168.152.128.33606: Flags [.], ack 196, win 64240, length 0

        0x0000:  4500 0028 1763 0000 8006 07cb c0a8 01d1  E..(.c..........

        0x0010:  c0a8 9880 0c38 8346 4468 3456 9fff 554b  .....8.FDh4V..UK

        0x0020:  5010 faf0 9bb9 0000 0000 0000 0000       P.............

IP 192.168.1.209.3128 > 192.168.152.128.33606: Flags [P.], seq 1:2611, ack 196, win 64240, length 2610

        0x0000:  4500 0a5a 1764 0000 8006 fd97 c0a8 01d1  E..Z.d..........

        0x0010:  c0a8 9880 0c38 8346 4468 3456 9fff 554b  .....8.FDh4V..UK

        0x0020:  5018 faf0 25ef 0000 4854 5450 2f31 2e31  P...%...HTTP/1.1

        0x0030:  2032 3030 204f 4b0d 0a43 6f6e 7465 6e74  .200.OK..Content

        0x0040:  2d4c 656e 6774 683a 2032 3338 310d 0a43  -Length:.2381..C

        0x0050:  6f6e 7465 6e74 2d54 7970 653a 2074 6578  ontent-Type:.tex

        0x0060:  742f 6874 6d6c 0d0a 5365 7276 6572 3a20  t/html..Server:.

        0x0070:  6266 650d 0a44 6174 653a 2054 7565 2c20  bfe..Date:.Tue,.

        0x0080:  3233 204a 756e 2032 3032 3020 3130 3a30  23.Jun.2020.10:0

        0x0090:  363a 3539 2047 4d54 0d0a 582d 4361 6368  6:59.GMT..X-Cach

        0x00a0:  653a 204d 4953 5320 6672 6f6d 2044 5854  e:.MISS.from.DXT

        0x00b0:  0d0a 582d 4361 6368                      ..X-Cach

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [.], ack 2611, win 62780, length 0

        0x0000:  4500 0028 2809 4000 4006 f724 c0a8 9880  E..((.@.@..$....

        0x0010:  c0a8 01d1 8346 0c38 9fff 554b 4468 3e88  .....F.8..UKDh>.

        0x0020:  5010 f53c 1bbd 0000                      P..<....

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [F.], seq 196, ack 2611, win 62780, length 0

        0x0000:  4500 0028 280a 4000 4006 f723 c0a8 9880  E..((.@.@..#....

        0x0010:  c0a8 01d1 8346 0c38 9fff 554b 4468 3e88  .....F.8..UKDh>.

        0x0020:  5011 f53c 1bbd 0000                      P..<....

IP 192.168.1.209.3128 > 192.168.152.128.33606: Flags [.], ack 197, win 64239, length 0

        0x0000:  4500 0028 1766 0000 8006 07c8 c0a8 01d1  E..(.f..........

        0x0010:  c0a8 9880 0c38 8346 4468 3e88 9fff 554c  .....8.FDh>...UL

        0x0020:  5010 faef 9187 0000 0000 0000 0000       P.............

IP 192.168.1.209.3128 > 192.168.152.128.33606: Flags [FP.], seq 2611, ack 197, win 64239, length 0

        0x0000:  4500 0028 1767 0000 8006 07c7 c0a8 01d1  E..(.g..........

        0x0010:  c0a8 9880 0c38 8346 4468 3e88 9fff 554c  .....8.FDh>...UL

        0x0020:  5019 faef 917e 0000 0000 0000 0000       P....~........

IP 192.168.152.128.33606 > 192.168.1.209.3128: Flags [.], ack 2612, win 62780, length 0

        0x0000:  4500 0028 0000 4000 4006 1f2e c0a8 9880  E..(..@.@.......

        0x0010:  c0a8 01d1 8346 0c38 9fff 554c 4468 3e89  .....F.8..ULDh>.

        0x0020:  5010 f53c 9739 0000                      P..<.9..

cARP, Request who-has 192.168.152.2 tell 192.168.152.128, length 28

        0x0000:  0001 0800 0604 0001 000c 290c c44d c0a8  ..........)..M..

        0x0010:  9880 0000 0000 0000 c0a8 9802            ............

ARP, Reply 192.168.152.2 is-at 00:50:56:e6:96:7d, length 46

        0x0000:  0001 0800 0604 0002 0050 56e6 967d c0a8  .........PV..}..

        0x0010:  9802 000c 290c c44d c0a8 9880 0000 0000  ....)..M........

        0x0020:  0000 0000 0000 0000 0000 0000 0000       ..............



hosts文件：存储主机名有IP地址映射



 

 

 

问题
五一归来，大量服务器被重启了，其中一台服务器失联了。通过远程桌面登录之后发现服务器的 IP 地址是 “正常” 的，可以 Ping 通自己的 IP，但 Ping 不同网关。
解决
仔细一看，原来的 IP 在重启之后被设置到 ens160 Interface 上了，但该 Interface 却被挂载到 OvS Bridge 之上了：
    Bridge br-ex
        Controller "tcp:127.0.0.1:6633"
            is_connected: true
        fail_mode: secure
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port "ens160"
            Interface "ens160"
        Port br-ex
            Interface br-ex
                type: internal

众所周知，挂载到 Bridge 上的物理网络接口的 IP 地址是无效的，只有 type: internal 的 OvS Interface 的 IP 地址是有效的。所以删除了 ens160 上的 IP 地址：
ifconfig ens160 0.0.0.0 up

将 IP 地址设置到 OvS Bridge br-ex 的 br-ex Internal Interface 上：
ifconfig br-ex 182.18.22.200/24 up

此时该阶段就可以 Ping 通同网段的 IP 了，但依旧不能 Ping 通公网。第一个反应当然就是查看路由表项了，果然发现没有了默认路由，添加之：
ip route add default via 172.18.22.1/24 dev br-ex

这样该节点的网络通信就恢复了。
除此之外，该节点曾经还遇见过 ARP 欺诈的问题。表现为无法 Ping 通外网，但是可以 Ping 通网关，外部 SSH 登录该节点时灵时不灵。最后通过 tcpdump 抓包知道，arping 网关 IP 地址返回的是一个 “假” 的 MAC 地址，是因为本节点上莫名的被配置了网关 IP，所以返回的实际上是本机的 MAC 地址。真可谓 “自己骗自己” 了。
总结
小结两点经验，在 OpenStack 环境中：

无法 Ping 通同网段 IP，则检查自身 IP 地址设置。
无法 Ping 通公网，则检查自身 Route 表项设置。
能 Ping 通网关、但无法 Ping 通公网，则检查是否存在 ARP 欺诈。

Vmware配置静态IP方法汇总


在网上查阅了很多文章也处理不了自己vmware虚拟机配置静态IP上不了外网、ping不通实体机的问题。摸索了半天总算是能跑起来了=_=

总结一下：

1.首先我们先在本机的网络适配器中把虚拟网卡8配置成虚拟机的静态IP相同的网段



DNS地址不确定是不是需要配，这里我是配置成了公司专门的DNS服务器地址，如果网络环境没有单独配置DNS服务器直接配成8.8.8.8就行。注意IP地址不能配置成与虚拟机一样的，只能同网段不同IP

|

|

|

2.编辑-虚拟网络编辑器

此处会显示三个虚拟网卡名称，我删除了两个，只留下了8

步骤1点击

步骤2勾选

步骤3点击NAT设置：把网关改成网络适配器8同样的网关

步骤4点击DHCP设置，将起始IP地址与结束IP地址配成192.168.1.1和192.168.1.254(根据自己的网段改)

步骤5：改为自己要静态配置的IP与子网掩码，注意子网IP的最后一段要为0

更改完这些点击应用，再点确认

|

|

|

3.编辑虚拟机设置



网络适配器改成NAT

|

|

|

4.启动虚拟机，这里以centos7为例

vi /etc/sysconfig/network-scripts/ifcfg-ens33（此处的ens33根据自己的接口名称改）
修改BOOTPROTO为static

ONBOOT=yes

增添IPPADDR、GATEWAY、NETMASK、PEERDNS、DNS

此处dns与网卡8相同

注意：在/etc/resolve.conf下增添dns重启网卡会丢失，因此选择在上处添加

完成上述过程，wq保存退出

systemctl restart network重启网卡
正常来说做完上述步骤已经完成静态IP的配置了，但我自己的vmware仍然ping不通外网

排查发现是因为系统没有生成默认路由指向对应网关

因此需要编写重启自动配置默认路由的脚本
vim /etc/rc.d/rc.local

添加一行

ip route add 0.0.0.0/0 via 192.168.1.1 dev ens33

注：此处的192.168.1.1为网关，根据自己的网关地址更改，ens33为自己的接口名称


然后wq保存（也可编写shell脚本，local文件存放执行脚本的命令）

chmod +x /etc/rc.d/rc.local

给rc.local文件添加开机自动运行
然后reboot重启
配置完成

从 2020 年开始，我一直通过 github pages + CDN 加速 的方案维持着自己的博客，效果还可以，只要 CDN 中有缓存，网站可以说是秒开。
这个时候就有些思考了，github pages 到底是怎么设计的，可以在一台机器上维持着这么多人的博客？难道它有那么多域名给每个人用嘛？
不同用户的博客指向的是同一台服务器吗
通过 ping 两个不同用户的 github pages，我们可以发现，其实很多用户之间可能是共享同一个公网 IP 的，效果如下：
mcoder@Chaoqun-PC:~/workspace/my_doc/blog$ ping mcoder2014.github.io -c 4
PING mcoder2014.github.io (185.199.109.153) 56(84) bytes of data.
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=1 ttl=51 time=69.8 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=2 ttl=51 time=75.6 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=3 ttl=51 time=67.4 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=4 ttl=51 time=67.4 ms

--- mcoder2014.github.io ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3003ms
rtt min/avg/max/mdev = 67.430/70.097/75.604/3.332 ms

mcoder@Chaoqun-PC:~/workspace/my_doc/blog$ ping LingjieLi.github.io -c 4
PING LingjieLi.github.io (185.199.109.153) 56(84) bytes of data.
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=1 ttl=51 time=68.0 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=2 ttl=51 time=67.2 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=3 ttl=51 time=70.2 ms
64 bytes from 185.199.109.153 (185.199.109.153): icmp_seq=4 ttl=51 time=67.6 ms

--- LingjieLi.github.io ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3003ms
rtt min/avg/max/mdev = 67.279/68.338/70.286/1.189 ms

能够看出，lilingjie.github.io 和 mcoder2014.github.io 背后的 IP 地址都是 185.199.109.153，这时就更加疑问了，为什么可以做到这样？为什么我们自己只能在一个网页服务器上放一个网站，而 github 可以在同一个网页服务器上安置多个网站？
如何通过 Host 区分用户
访问 github pages 时，host 的变化
我们浏览器想要访问一个 HTTP 协议的网站时，一般会向网站发送类似如下的 HTTP 报文请求，其中有个字段是 Host，如下所示是打开 mcoder2014.github.io 的请求头：
GET  HTTP/1.1
Host: mcoder2014.github.io
Cache-Control: no-cache
Postman-Token: 57c4f8bc-f1fa-9280-a41f-f5dc5de4dc95

因为我绑定了 CNAME，所以 github 会回我一个 301 跳转让我跳转到我的自定义域名，会先回复我如下的内容，其中 Location: http://www.mcoder.cc/ 表示告诉浏览器访问这个页面。
HTTP/1.1 301 Moved Permanently
Content-Type: text/html
Server: GitHub.com
Location: http://www.mcoder.cc/
X-GitHub-Request-Id: 1980:21E6:20941E:23886A:5FAF89EB
Content-Length: 162
Accept-Ranges: bytes
Date: Sat, 14 Nov 2020 07:45:34 GMT
Via: 1.1 varnish
Age: 307
Connection: keep-alive
X-Served-By: cache-hkg17922-HKG
X-Cache: HIT
X-Cache-Hits: 1
X-Timer: S1605339934.389667,VS0,VE0
Vary: Accept-Encoding
X-Fastly-Request-ID: a568f42a57741996deba79254398f498d9812737

然后，浏览器再次向 https://www.mcoder.cc http 请求：
GET  HTTP/1.1
Host: www.mcoder.cc
Cache-Control: no-cache
Postman-Token: 57c4f8bc-f1fa-9280-a41f-f5dc5de4dc95

最后，github 的服务器返回我如下内容，其中并不会包含 Host 字段，仅包含 HTTP 响应报文和 HTML 形式的页面正文。也就是说，浏览器只记得它需要访问的地址 https://www.mcoder.cc，然后将这个地址填在地址栏。
HTTP/2 200
server: Tengine
content-type: text/html; charset=utf-8
content-length: 32763
date: Sat, 14 Nov 2020 07:41:01 GMT
via: 1.1 varnish, cache22.l2cn1833[0,200-0,H], cache28.l2cn1833[1,0], kunlun1.cn2479[97,200-0,M], kunlun4.cn2479[112,0]
cache-control: max-age=600
etag: "5fabe926-7ffb"
expires: Fri, 13 Nov 2020 13:59:13 GMT
x-served-by: cache-hnd18746-HND
x-cache-hits: 0
x-timer: S1605339662.633919,VS0,VE188
vary: Accept-Encoding
x-fastly-request-id: 7a5cca133de355025def6546b750d82a324894fd
last-modified: Wed, 11 Nov 2020 13:37:42 GMT
access-control-allow-origin: *
x-proxy-cache: MISS
x-github-request-id: 7A46:678B:13328D:14CA57:5FAE8ED8
accept-ranges: bytes
ali-swift-global-savetime: 1605336886
age: 0
x-cache: MISS TCP_MISS dirn:-2:-2
x-swift-savetime: Sat, 14 Nov 2020 07:46:17 GMT
x-swift-cachetime: 284
timing-allow-origin: *
eagleid: 249c511816053399772526644e

空一行后紧跟网页的正文内容，用 HTML 语言形式。

对于 github pages 的服务器来说，便可以通过 HTTP 请求的 host 字段不同，区分需要访问的博客。
使用 NGINX 模拟不同 host 访问不同内容
我们在 nginx 中多设置几个 server ，配置为不同的 server_name，并设置不同的工作路径，以下仅复制了 nginx 配置文件中的两个 server 的内容。
server{
    listen 80;  # 指定端口
    server_name user1.github.io;  # 指定域名
    location / {
        root /home/user1/web-content;  # 指定静态网站根目录
        index index.html;  # 指定默认访问文件
    }
}

server{
    listen 80;  # 指定端口
    server_name user2.github.io;  # 指定域名
    location / {
        root /home/user2/web-content;  # 指定静态网站根目录
        index index.html;  # 指定默认访问文件
    }
}

这种情况下，我们配置好 user1.github.io 和 user2.github.io 的 host，可以发现访问不同的网址，均能访问到对应的内容。
如此，我们便实现了仅使用一个网页服务器，对不同的域名访问到不同的内容。

有的同学这是可能会有新的疑问，那 github 是不是需要为每一个用户都建立一个DNS记录呀，那如果有百万用户，是不是要建立百万条 DNS 记录呀？
实际上，大多数 DNS 域名解析支持泛解析，它可以将 *.github.io 解析到 185.199.109.153，也就是所有用户的博客都可以解析到一个网页服务器。而 github pages 可以通过 jekyll 或者 hexo 等工具，将 markdown 文件转换成网站目录，只要记录下每个用户的网站根路径，动态更改 nginx 中 server 中的内容即可。按照我的想法，github 极有可能自己实现了一个专用于 github pages 的静态网页服务器，这样子便不需要频繁修改 nginx 的配置文件，可用性更高。
CNAME 功能实现
可能还有同学会问，github 可以通过 CNAME 实现自定义域名的覆盖，这是怎么实现的呢？ 我们可以在 nginx 中配置一个 rewrite 函数，主动要求用户浏览器跳转到指定的 CNAME 页面。比如：用户1 通过 CNAME 配置了自定义域名 www.user1.com，那我们为 server user1.github.io加入 rewrite 函数，要求跳转到 www.user1.com。这样，所有访问 user1.github.io 的请求都会被重定向到 www.user1.com。
server{
    listen 80;
    server)name user1.github.io;
    location / {
        rewrite ^/(.*) http://www.user1.com permanent;
    }
}

server{
    listen 80;  # 指定端口
    server_name www.user1.com;  # 指定域名
    location / {
        root /home/user1/web-content;  # 指定静态网站根目录
        index index.html;  # 指定默认访问文件
    }
}

那么，总结下实现 github pages 的思路
如何自己模拟一个 github pages 呢？

为每个用户配置个静态页面路径，配置 git 的钩子，当用户 git push 后，更新静态页面路径内容，并执行 jekyll build；
配置 nginx，为不同用户配置不同的 server；
如果用户配置了 CNAME，则通过 rewrite 函数让用户从 xxx.github.io 跳转到 xxx.com；
如果新增用户、用户修改用户名、等等需要更新配置文件的操作，可以通过 nginx 热更新的方式更新配置文件，避免停机。

经过上述步骤，我们便可以自己实现一个类似于 github pages 的功能了，不过实际情况可能远比描述的复杂，需要具体问题具体分析了。
Reference

github pages + CDN 加速
使用Nginx实现反向代理