精华内容
下载资源
问答
  • 提供用于后端服务器连接的API; 此示例中提供了MS SQL Server连接。 它是什么? Query Server是支持的后端服务器,例如 ,但更容易理解,因为查询是具有特定语法的JSON对象,下面将对其进行介绍。 我们为什么需要它...
  • 今天上班老大还是希望我们厦门分公司这边能够实现SAP远程操控MSSQL服务器,实现数据之间的传输。这个重担就落到了我的肩上了。于是稍微百度了一下,使用Native SQL完美实现了跨系统之间的通信。这个总公司花了七八万...
     
    

    今天上班老大还是希望我们厦门分公司这边能够实现SAP远程操控MSSQL服务器,实现数据之间的传输。这个重担就落到了我的肩上了。于是稍微百度了一下,使用Native SQL完美实现了跨系统之间的通信。这个总公司花了七八万写的程序不超过500行,我就实现了,无语!

      老大很高兴,觉得这个很不错,希望以后把SAP中很多数据都导入到OA上来,直接在OA上查询就好了。我一听就直接无语了,既然如此,那现在辛辛苦苦上SAP是为了干嘛呢??在SAP上直接查询是多么好的一件事了,方便快捷,如果有不符合要求的直接客制一张报表就完啦!而且从SAP中导数据到OA是非常慢的,效率不高。虽然可以通过sm36进行后台定期更新,但是这个总是很不爽很没必要...为了长远考虑,坚决避免这种情况出现!

      具体链接操作代码,下篇博文放出~

    展开全文
  • 我最近换了工作,办公用机一律是微软windows。我,作为一个Linux忠实用户,实在是非常非常不习惯。...这些日子,我“玩”出了几种自windows以图形方式连接Linux服务器的方法。 方法一,用cgwin的X server:
    我最近换了工作,办公用机一律是微软windows。我,作为一个Linux忠实用户,实在是非常非常不习惯。于是,在领到机器的第一天,我就在windows上装上了cygwin。后来又申请了
    Linux服务器,只是服务器在“遥远”的机房里。 
    

    这些日子,我“玩”出了几种自windows以图形方式连接Linux服务器的方法。

    方法一,用cgwin的X server:
    1) 安装cygwin的xorg-xserver软件包
    2) 修改Linux server的lightdm/gdm/kdm/xdm配置文件,enable xdmcp
    3) 运行 “X -query xxx.xxx.xxx.xxx”,xxx是Linux server的ip地址

    按说这样就可以,但是在我的环境中还不行,我颇花了些时间排查,最后用wireshark分析了两台机器的网络数据,最后发现在第3步之前还需要:
    2.5)(我的windows电脑有两块网卡)在Windows电脑上运行控制面板,将没有连接网线的网卡禁用。

    这是因为,X query时会将本机ip地址发出,cygwin的X将没有连接网线的网卡的一个内部缺省ip也发出了,而且还排在了前面,Linux服务器那边只尝试和第一个ip(也就是那个windows上没有连网线的网卡的ip),结果自然是连不上。

    方法二,用xrdp:
    rdp(Remote Desktop Protocol)是微软发布的一个协议。Windows系统上进行远程桌面连接就是走这个协议。只要有协议,不论公开与否,开源界总会有实现!
    1) 在Linux服务器上安装软件包“xrdp”,并且启动相应的服务。
    2) 在Windows机器上:开始->所有程序->-附件>远程连接,输入相应的linux server的ip地址

    方法三,用ssh:
    1)在windows机器上,安装ssh软件包
    2)将/etc/ssh/ssh_config拷贝到~/.ssh/config
    3)修改~/.ssh/config,将下面两项打开:
    ForwardX11 no
    ForwardX11Trusted yes
    4)在Linux server上修改/etc/ssh/sshd_config,将下面这项打开:
    X11Forwarding yes
    5)在Linux server上重启sshd服务
    6)在windows机器上运行“startx /usr/bin/twm”,startx好像属于xinit软件包,twm属于twm软件包,没有的话得安装
    7)在windows的X server中开启一个xterm,在其中ssh linux服务器,在其中再启动窗口,显示的是Linux服务器中的内容,而窗口在Windows这里。

    方法四将是使用vnc,可惜我还没有试,以后补吧。
    展开全文
  • 100万并发连接服务器

    千次阅读 2017-03-09 17:20:29
    100万并发连接服务器笔记之准备篇 前言 测试一个非常简单服务器如何达到100万(1M=1024K连接)的并发连接,并且这些连接一旦连接上服务器,就不会断开,一直连着。  环境受限,没有服务器,刚开始都是在...

    100万并发连接服务器笔记之准备篇

    前言

    测试一个非常简单服务器如何达到100万(1M=1024K连接)的并发连接,并且这些连接一旦连接上服务器,就不会断开,一直连着。 
    环境受限,没有服务器,刚开始都是在自己的DELL笔记本上测试,凭借16G内存,和优秀的vmware workstation虚拟机配合,另外还得外借别人虚拟机使用,最终还得搭上两台2G内存的台式机(安装centos),最终才完成1M并发连接任务。

    • 测试程序也很简陋,一个C语言所写服务器程序,没有任何业务存在,收到请求后发送一些头部,不断开连接
    • 测试端程序也是使用C语言所写,发送请求,然后等待接收数据,仅此而已
    • 服务器端/测试端内存都受限(8G不够使用),要想完成1024K的目标,需要放弃一些东西,诸如业务不是那么完整
    • 一台分配10G内存Centos服务器,两台分配6G内存Centos测试端,两台2G内存Centos测试端
    • 假如热心的您可以提供丰富的服务器资源,那就再好不过了。
    • 理论上200万的并发连接(IO密集型),加上业务,40G-50G的内存大概能够保证

    说明

    以前也做过类似的工作,量不大,没记录下来,一些压力测试和调优,随着时间流逝,早已忘记。这次是从零开始,基本上所有过程都会记录,一步一步,每一步都会遇到问题,并且给出相关解决问题的方法,最终完成目标。 
    为了方便,服务器端程序和客户端测试程序,都是使用C语言,不用像JAVA一样需要预先指定内存,感觉麻烦。使用较为原始的语言来写,可以避免不必要的调优工作。这中间,可能会穿插Java代码的思考方式。

    可能需要懂点Linux,C,Java,假如您有更好的做法,或者建议,请直接告知,谢谢。

    Linux系统

    测试端和服务器端都选用较为熟悉的64位Centos 6.4,32位系统最多支持4G内存,太受限。IO密集型应用,对CPU要求不是很高。另外服务器确保安装上gcc,那就可以开工了。 
    所有端系统一旦安装完之后,默认不做任何设置。

    服务器端程序

    服务器端程序依赖libev框架,需要提前编译,然后存放到相应位置。下面是具体服务器端代码:   

    点击(此处)折叠或打开

    1. #include <arpa/inet.h>
    2. #include <stdlib.h>
    3. #include <stdio.h>
    4. #include <string.h>
    5. #include <fcntl.h>
    6. #include <errno.h>
    7. #include <err.h>
    8.   
    9. #include <unistd.h>
    10.   
    11. #include "../include/ev.h"
    12.   
    13. #define HTMLFILE_RESPONSE_HEADER \
    14.     "HTTP/1.1 200 OK\r\n" \
    15.     "Connection: keep-alive\r\n" \
    16.     "Content-Type: text/html; charset=utf-8\r\n" \
    17.     "Transfer-Encoding: chunked\r\n" \
    18.     "\r\n"
    19. #define HTMLFILE_RESPONSE_FIRST \
    20.     "
      div \ ">
    "

    点击(此处)折叠或打开

    1. static int server_port = 8000;
    2.   
    3. struct ev_loop *loop;
    4. typedef struct {
    5.     int fd;
    6.     ev_io ev_read;
    7. } client_t;
    8.   
    9. ev_io ev_accept;
    10.   
    11. static int usr_num;
    12. static void incr_usr_num() {
    13.     usr_num ++;
    14.     printf("online user %d\n", usr_num);
    15. }
    16.   
    17. static void dec_usr_num() {
    18.     usr_num --;
    19.   
    20.     printf("~online user %d\n", usr_num);
    21. }
    22.   
    23. static void free_res(struct ev_loop *loop, ev_io *ws);
    24.   
    25. int setnonblock(int fd) {
    26.     int flags = fcntl(fd, F_GETFL);
    27.     if (flags < 0)
    28.         return flags;
    29.   
    30.     flags |= O_NONBLOCK;
    31.     if (fcntl(fd, F_SETFL, flags) < 0)
    32.         return -1;
    33.   
    34.     return 0;
    35. }
    36.   
    37. static int format_message(const char *ori_message, char *target_message) {
    38.     return sprintf(target_message, "%X\r\n\r\n", ((int)strlen(ori_message) + 23), ori_message);
    39. }
    40.   
    41. static void write_ori(client_t *client, char *msg) {
    42.     if (client == NULL) {
    43.         fprintf(stderr, "the client is NULL !\n");
    44.         return;
    45.     }
    46.   
    47.     write(client->fd, msg, strlen(msg));
    48. }
    49.   
    50. static void write_body(client_t *client, char *msg) {
    51.     char body_msg[strlen(msg) + 100];
    52.     format_message(msg, body_msg);
    53.   
    54.     write_ori(client, body_msg);
    55. }
    56.   
    57. static void read_cb(struct ev_loop *loop, ev_io *w, int revents) {
    58.     client_t *client = w->data;
    59.     int r = 0;
    60.     char rbuff[1024];
    61.     if (revents & EV_READ) {
    62.         r = read(client->fd, &rbuff, 1024);
    63.     }
    64.   
    65.     if (EV_ERROR & revents) {
    66.         fprintf(stderr, "error event in read\n");
    67.         free_res(loop, w);
    68.         return ;
    69.     }
    70.   
    71.     if (< 0) {
    72.         fprintf(stderr, "read error\n");
    73.         ev_io_stop(EV_A_ w);
    74.         free_res(loop, w);
    75.         return;
    76.     }
    77.   
    78.     if (== 0) {
    79.         fprintf(stderr, "client disconnected.\n");
    80.         ev_io_stop(EV_A_ w);
    81.         free_res(loop, w);
    82.         return;
    83.     }
    84.   
    85.     write_ori(client, HTMLFILE_RESPONSE_HEADER);
    86.   
    87.     char target_message[strlen(HTMLFILE_RESPONSE_FIRST) + 20];
    88.     sprintf(target_message, "%X\r\n%s\r\n", (int)strlen(HTMLFILE_RESPONSE_FIRST), HTMLFILE_RESPONSE_FIRST);
    89.   
    90.     write_ori(client, target_message);
    91.     incr_usr_num();
    92. }
    93.   
    94. static void accept_cb(struct ev_loop *loop, ev_io *w, int revents) {
    95.     struct sockaddr_in client_addr;
    96.     socklen_t client_len = sizeof(client_addr);
    97.     int client_fd = accept(w->fd, (struct sockaddr *) &client_addr, &client_len);
    98.     if (client_fd == -1) {
    99.         fprintf(stderr, "the client_fd is NULL !\n");
    100.         return;
    101.     }
    102.   
    103.     client_t *client = malloc(sizeof(client_t));
    104.     client->fd = client_fd;
    105.     if (setnonblock(client->fd) < 0)
    106.         err(1, "failed to set client socket to non-blocking");
    107.   
    108.     client->ev_read.data = client;
    109.   
    110.     ev_io_init(&client->ev_read, read_cb, client->fd, EV_READ);
    111.     ev_io_start(loop, &client->ev_read);
    112. }
    113.   
    114. int main(int argc, char const *argv[]) {
    115.     int ch;
    116.     while ((ch = getopt(argc, argv, "p:")) != -1) {
    117.         switch (ch) {
    118.         case 'p':
    119.             server_port = atoi(optarg);
    120.             break;
    121.         }
    122.     }
    123.   
    124.     printf("start free -m is \n");
    125.     system("free -m");
    126.     loop = ev_default_loop(0);
    127.     struct sockaddr_in listen_addr;
    128.     int reuseaddr_on = 1;
    129.     int listen_fd = socket(AF_INET, SOCK_STREAM, 0);
    130.     if (listen_fd < 0)
    131.         err(1, "listen failed");
    132.     if (setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, &reuseaddr_on, sizeof(reuseaddr_on)) == -1)
    133.         err(1, "setsockopt failed");
    134.   
    135.     memset(&listen_addr, 0, sizeof(listen_addr));
    136.     listen_addr.sin_family = AF_INET;
    137.     listen_addr.sin_addr.s_addr = INADDR_ANY;
    138.     listen_addr.sin_port = htons(server_port);
    139.   
    140.     if (bind(listen_fd, (struct sockaddr *) &listen_addr, sizeof(listen_addr)) < 0)
    141.         err(1, "bind failed");
    142.     if (listen(listen_fd, 5) < 0)
    143.         err(1, "listen failed");
    144.     if (setnonblock(listen_fd) < 0)
    145.         err(1, "failed to set server socket to non-blocking");
    146.   
    147.     ev_io_init(&ev_accept, accept_cb, listen_fd, EV_READ);
    148.     ev_io_start(loop, &ev_accept);
    149.     ev_loop(loop, 0);
    150.   
    151.     return 0;
    152. }
    153.   
    154. static void free_res(struct ev_loop *loop, ev_io *w) {
    155.     dec_usr_num();
    156.     client_t *client = w->data;
    157.     if (client == NULL) {
    158.         fprintf(stderr, "the client is NULL !!!!!!");
    159.         return;
    160.     }
    161.   
    162.     ev_io_stop(loop, &client->ev_read);
    163.   
    164.     close(client->fd);
    165.   
    166.     free(client);
    167. }



    编译
        gcc server.c -o server ../include/libev.a -lm

    运行
        ./server -p 8000

    在源码中默认指定了8000端口,可以通过-p进行指定新的端口。 开启了8000端口进行监听请求,http协议处理类似于htmlfile chunked块编码传输。

    测试服务器端程序

    测试程序使用libevent框架,因其使用简单,提供丰富易用接口,但需要提前下载,手动安装:

    wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz
    tar xvf libevent-2.0.21-stable.tar.gz
    cd libevent-2.0.21-stable
    ./configure --prefix=/usr
    make
    make install

    注意make和make install需要root用户。

    测试端程序

    client1.c 源码:

    ?

    点击(此处)折叠或打开

    1. #include <sys/types.h>
    2. #include <sys/time.h>
    3. #include <sys/queue.h>
    4. #include <stdlib.h>
    5. #include <err.h>
    6. #include <event.h>
    7. #include <evhttp.h>
    8. #include <unistd.h>
    9. #include <stdio.h>
    10. #include <sys/socket.h>
    11. #include <netinet/in.h>
    12. #include <time.h>
    13. #include <pthread.h>
    14.   
    15. #define BUFSIZE 4096
    16. #define NUMCONNS 62000
    17. #define SERVERADDR "192.168.190.133"
    18. #define SERVERPORT 8000
    19. #define SLEEP_MS 10
    20.   
    21. char buf[BUFSIZE];
    22.   
    23. int bytes_recvd = 0;
    24. int chunks_recvd = 0;
    25. int closed = 0;
    26. int connected = 0;
    27.   
    28. void chunkcb(struct evhttp_request *req, void *arg) {
    29.     int s = evbuffer_remove( req->input_buffer, &buf, BUFSIZE );
    30.     bytes_recvd += s;
    31.     chunks_recvd++;
    32.     if (connected >= NUMCONNS && chunks_recvd % 10000 == 0)
    33.         printf(">Chunks: %d\tBytes: %d\tClosed: %d\n", chunks_recvd, bytes_recvd, closed);
    34. }
    35.   
    36. void reqcb(struct evhttp_request *req, void *arg) {
    37.     closed++;
    38. }
    39.   
    40. int main(int argc, char **argv) {
    41.     event_init();
    42.     struct evhttp *evhttp_connection;
    43.     struct evhttp_request *evhttp_request;
    44.     char path[32]; // eg: "/test/123"
    45.     int i;
    46.     for (= 1; i <= NUMCONNS; i++) {
    47.         evhttp_connection = evhttp_connection_new(SERVERADDR, SERVERPORT);
    48.         evhttp_set_timeout(evhttp_connection, 864000); // 10 day timeout
    49.         evhttp_request = evhttp_request_new(reqcb, NULL);
    50.         evhttp_request->chunk_cb = chunkcb;
    51.         sprintf(&path, "/test/%d", ++connected);
    52.         if (% 100 == 0) printf("Req: %s\t->\t%s\n", SERVERADDR, &path);
    53.         evhttp_make_request( evhttp_connection, evhttp_request, EVHTTP_REQ_GET, path );
    54.         evhttp_connection_set_timeout(evhttp_request->evcon, 864000);
    55.         event_loop( EVLOOP_NONBLOCK );
    56.         if ( connected % 200 == 0 )
    57.             printf("\nChunks: %d\tBytes: %d\tClosed: %d\n", chunks_recvd, bytes_recvd, closed);
    58.         usleep(SLEEP_MS * 1000);
    59.     }
    60.   
    61.     event_dispatch();
    62.     return 0;
    63. }


    备注:这部分代码参考了A Million-user Comet Application with Mochiweb, Part 3 ,根据需要有所修改。

    编译

    gcc -o client1 client1.c -levent

    运行

    ./client1

    可能在64位系统会遇到找不到libevent-2.0.so.5情况,需要建立一个软连接

    ln -s /usr/lib/libevent-2.0.so.5 /lib64/libevent-2.0.so.5

    即可自动连接IP地址为192.168.190.133:8000的服务器端应用。

    第一个遇到的问题:文件句柄受限

    测试端程序输出

    看看测试端程序client1输出的错误信息:

    Chunks: 798 Bytes: 402990 Closed: 0
    Req: 192.168.190.133 -/test/900
    Req: 192.168.190.133 -/test/1000
    Chunks: 998 Bytes: 503990 Closed: 0
    [warn] socket: Too many open files
    [warn] socket: Too many open files
    [warn] socket: Too many open files

    服务器端程序输出

    服务器端最后一条日志为

    online user 1018

    两边都遇到了文件句柄打开的情况。 
    在服务器端查看已经连接,并且端口号为8000的所有连接数量:

    netstat -nat|grep -i "8000"|wc -l 
    1019

    但与服务器端输出数量对不上,增加所有已经建立连接的选项:

    netstat -nat|grep -i "8000"|grep ESTABLISHED|wc -l 
    1018

    那么剩下的一条数据到底是什么呢?

    netstat -nat|grep -i "8000"|grep -v ESTABLISHED
    tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN

    也就是server.c监听的端口,数量上对的上。

    在测试服务器端,查看测试进程打开的文件句柄数量

    lsof -n|grep client1|wc -l
    1032

    再次执行

    ulimit -n
    1024

    也是就是client1应用程序共打开了1032个文件句柄,而不是1024,为什么? 
    把当前进程所有打开的文件句柄保存到文件中,慢慢研究 lsof -n|grep client1 > testconnfinfo.txt

    导出的文件可以参考: https://gist.github.com/yongboy/5260773
    除了第一行,我特意添加上供友善阅读的头部列定义,也就是1032行信息,但是需要注意头部:

    COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
    client1 3088 yongboy cwd DIR 253,0 4096 800747 /home/yongboy/workspace/c_socket.io_server/test
    client1 3088 yongboy rtd DIR 253,0 4096 2 /test_conn
    client1 3088 yongboy txt REG 253,0 9697 799991 /home/yongboy/workspace/c_socket.io_server/test/test_conn_1
    client1 3088 yongboy mem REG 253,0 156872 50404 /lib64/ld-2.12.so
    client1 3088 yongboy mem REG 253,0 1922152 78887 /lib64/libc-2.12.so
    client1 3088 yongboy mem REG 253,0 145720 76555 /lib64/libpthread-2.12.so
    client1 3088 yongboy mem REG 253,0 47064 69491 /lib64/librt-2.12.so
    client1 3088 yongboy mem REG 253,0 968730 26292 /usr/lib/libevent-2.0.so.5.1.9
    client1 3088 yongboy 0u CHR 136,2 0t0 5 /dev/pts/2
    client1 3088 yongboy 1u CHR 136,2 0t0 5 /dev/pts/2
    client1 3088 yongboy 2u CHR 136,2 0t0 5 /dev/pts/2
    client1 3088 yongboy 3u REG 0,9 0 4032 anon_inode
    client1 3088 yongboy 4u unix 0xffff88007c82f3c0 0t0 79883 socket
    client1 3088 yongboy 5u unix 0xffff880037c34380 0t0 79884 socket
    client1 3088 yongboy 6u IPv4 79885 0t0 TCP 192.168.190.134:58693->192.168.190.133:irdmi (ESTABLISHED)
    client1 3088 yongboy 7u IPv4 79889 0t0 TCP 192.168.190.134:58694->192.168.190.133:irdmi (ESTABLISHED)
    client1 3088 yongboy 8u IPv4 79891 0t0 TCP 192.168.190.134:58695->192.168.190.133:irdmi (ESTABLISHED)
    client1 3088 yongboy 9u IPv4 79893 0t0 TCP 192.168.190.134:58696->192.168.190.133:irdmi (ESTABLISHED)

    可以看到文件句柄是从0u开始,0u上面的8个(5个mem + 3个启动)进程,1032 - 8 = 1024个文件句柄,这样就和系统限制的值吻合了。

    root用户编辑/etc/security/limits.conf文件添加:

    * soft nofile 1048576
    * hard nofile 1048576
    • soft是一个警告值,而hard则是一个真正意义的阀值,超过就会报错。
    • soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值
    • nofile - 打开文件的最大数目
    • 星号表示针对所有用户,若仅针对某个用户登录ID,请替换星号

    注意: 
    1024K x 1024 = 1048576K = 1M,1百万多一点。

    备注:测试端和服务器端都需要作此设置,保存退出,然后reboot即可生效。

    第一个问题,就这样克服了。再次运行 /client1测试程序,就不会出现受打开文件句柄的限制。但大概在测试端打开对外28200个端口时,会出现程序异常,直接退出。

    段错误

    这个也是程序没有处理端口不够用的异常,但可以通过增加端口进行解决。

    备注: 但测试端单机最多只能打开6万多个连接,是一个问题,如何克服,下一篇解决此问题,并且还会遇到文件句柄的受限问题。




    100万并发连接服务器笔记之处理端口数量受限问题

    第二个遇到的问题:端口数量受限

    一般来说,单独对外提供请求的服务不用考虑端口数量问题,监听某一个端口即可。但是向提供代理服务器,就不得不考虑端口数量受限问题了。当前的1M并发连接测试,也需要在客户端突破6万可用端口的限制。

    单机端口上限为65536

    端口为16进制,那么2的16次方值为65536,在linux系统里面,1024以下端口都是超级管理员用户(如root)才可以使用,普通用户只能使用大于1024的端口值。 
    系统提供了默认的端口范围:

    cat /proc/sys/net/ipv4/iplocalport_range 
    32768 61000

    大概也就是共61000-32768=28232个端口可以使用,单个IP对外只能发送28232个TCP请求。 
    以管理员身份,把端口的范围区间增到最大:

    echo "1024 65535"> /proc/sys/net/ipv4/iplocalport_range

    现在有64511个端口可用. 
    以上做法只是临时,系统下次重启,会还原。 更为稳妥的做法是修改/etc/sysctl.conf文件,增加一行内容

    net.ipv4.iplocalport_range = 1024 65535

    保存,然后使之生效:

    sysctl -p

    现在可以使用的端口达到64510个(假设系统所有运行的服务器是没有占用大于1024的端口的,较为纯净的centos系统可以做到),要想达到50万请求,还得再想办法。

    增加IP地址

    一般假设本机网卡名称为 eth0,那么手动再添加几个虚拟的IP:

    ifconfig eth0:1 192.168.190.151 
    ifconfig eth0:2 192.168.190.152 ......

    或者偷懒一些:

    for i in `seq 1 9`; do ifconfig eth0:$i 192.168.190.15$i up ; done

    这些虚拟的IP地址,一旦重启,或者 service network restart 就会丢失。

    为了模拟较为真实环境,在测试端,手动再次添加9个vmware虚拟机网卡,每一个网卡固定一个IP地址,这样省去每次重启都要重新设置的麻烦。

    192.168.190.134 
    192.168.190.143
    192.168.190.144
    192.168.190.145
    192.168.190.146
    192.168.190.147
    192.168.190.148
    192.168.190.149
    192.168.190.150
    192.168.190.151

    在server服务器端,手动添加桥接网卡和NAT方式网卡

    192.168.190.230
    192.168.190.240
    10.95.20.250

    要求测试端和服务器端彼此双方都是可以ping通。

    网络四元组/网络五元组

    四元组是指的是

    {源IP地址,源端口,目的IP地址,目的端口}

    五元组指的是(多了协议)

    {源IP地址,目的IP地址,协议号,源端口,目的端口}

    在《UNIX网络编程卷1:套接字联网API(第3版)》一书中,是这样解释:
    一个TCP连接的套接字对(socket pari)是一个定义该连接的两个端点的四元组,即本地IP地址、本地TCP端口号、外地IP地址、外地TCP端口号。套接字对唯一标识一个网络上的每个TCP连接。  

    ......  

    标识每个端点的两个值(IP地址和端口号)通常称为一个套接字。

    以下以四元组为准。在测试端四元组可以这样认为:

    {本机IP地址,本机端口,目的IP地址,目的端口}

    请求的IP地址和目的端口基本上是固定的,不会变化,那么只能从本机IP地址和本机端口上考虑,端口的范围一旦指定了,那么增加IP地址,可以增加对外发出的请求数量。假设系统可以使用的端口范围已经如上所设,那么可以使用的大致端口为64000个,系统添加了10个IP地址,那么可以对外发出的数量为 64000 * 10 = 640000,数量很可观。

    只有{源IP地址,源端口}确定对外TCP请求数量

    经测试,四元组里面,只有{源IP地址,源端口}才能够确定对外发出请求的数量,跟{目的IP地址,目的端口}无关。

    测试环境

    在server端,并且启动./server两次,分别绑定8000端口和9000端口

    ./server -p 8000
    ./server -p 9000

    本机IP、端口绑定测试程序

    这里写一个简单的测试绑定本机IP地址和指定端口的客户端测试程序。?

    点击(此处)折叠或打开

    1. #include <sys/types.h>
    2. #include <sys/time.h>
    3. #include <sys/queue.h>
    4. #include <stdlib.h>
    5. #include <err.h>
    6. #include <event.h>
    7. #include <evhttp.h>
    8. #include <unistd.h>
    9. #include <stdio.h>
    10. #include <string.h>
    11. #include <sys/socket.h>
    12. #include <netinet/in.h>
    13. #include <time.h>
    14. #include <pthread.h>
    15. #include <errno.h>
    16.   
    17. #define BUFSIZE 4096
    18. #define SLEEP_MS 10
    19.   
    20. char buf[BUFSIZE];
    21.   
    22. int bytes_recvd = 0;
    23. int chunks_recvd = 0;
    24.   
    25. void chunkcb(struct evhttp_request *req, void *arg) {
    26.     int s = evbuffer_remove( req->input_buffer, &buf, BUFSIZE );
    27.     bytes_recvd += s;
    28.     chunks_recvd++;
    29.     printf(">Chunks: %d\tBytes: %d\n", chunks_recvd, bytes_recvd);
    30. }
    31.   
    32. void reqcb(struct evhttp_request *req, void *arg) {
    33.     fprintf(stderr, ">Now closed\n");
    34.     exit(-1);
    35. }
    36.   
    37. void err_cb(int err){
    38.     fprintf(stderr, "setup failed(errno = %d): %s", errno, strerror(errno));
    39. }
    40.   
    41. int main(int argc, char **argv) {
    42.     char server_ip[16] = "";
    43.     int server_port = 0;
    44.   
    45.     char local_ip[16] = "";
    46.     int local_port = 0;
    47.   
    48.     int ch;
    49.     while ((ch = getopt(argc, argv, "h:p:c:o:")) != -1) {
    50.         switch (ch) {
    51.         case 'h':
    52.             printf("remote host is %s\n", optarg);
    53.             strncpy(server_ip, optarg, 15);
    54.             break;
    55.         case 'p':
    56.             printf("remote port is %s\n", optarg);
    57.             server_port = atoi(optarg);
    58.             break;
    59.         case 'c':
    60.             printf("local ip is %s\n", optarg);
    61.             strncpy(local_ip, optarg, 15);
    62.             break;
    63.         case 'o':
    64.             printf("local port is %s\n", optarg);
    65.             local_port = atoi(optarg);
    66.   
    67.             break;
    68.         }
    69.     }
    70.   
    71.     event_init();
    72.     event_set_fatal_callback(err_cb);
    73.     struct evhttp *evhttp_connection;
    74.     struct evhttp_request *evhttp_request;
    75.     char path[32];
    76.   
    77.     evhttp_connection = evhttp_connection_new(server_ip, server_port);
    78.     evhttp_connection_set_local_address(evhttp_connection, local_ip);
    79.     evhttp_connection_set_local_port(evhttp_connection, local_port);
    80.     evhttp_set_timeout(evhttp_connection, 864000); // 10 day timeout
    81.     evhttp_request = evhttp_request_new(reqcb, NULL);
    82.     evhttp_request->chunk_cb = chunkcb;
    83.     sprintf(&path, "/test/%d", local_port);
    84.   
    85.     evhttp_make_request( evhttp_connection, evhttp_request, EVHTTP_REQ_GET, path );
    86.     evhttp_connection_set_timeout(evhttp_request->evcon, 864000);
    87.     event_loop( EVLOOP_NONBLOCK );
    88.   
    89.     usleep(SLEEP_MS * 10);
    90.   
    91.     event_dispatch();
    92.   
    93.     return 0;
    94. }


    可以看到libevent-*/include/event2/http.h内置了对绑定本地IP地址的支持:

    /** sets the ip address from which http connections are made */
    void evhttp_connection_set_local_address(struct evhttp_connection *evcon,
    const char *address);

    不用担心端口,系统自动自动随机挑选,除非需要特别指定:

    /** sets the local port from which http connections are made */
    void evhttp_connection_set_local_port(struct evhttp_connection *evcon,
    ev_uint16_t port);

    编译

    gcc -o client3 client3.c -levent

    client3运行参数为

    • -h 远程主机IP地址
    • -p 远程主机端口
    • -c 本机指定的IP地址(必须可用)
    • -o 本机指定的端口(必须可用)

    测试用例,本机指定同样的IP地址和端口,但远程主机和IP不一样. 
    在一个测试端打开一个终端窗口1,切换到 client3对应位置

    ./client3 -h 192.168.190.230 -p 8000 -c 192.168.190.148 -o 4000

    输出为

    remote host is 192.168.190.230
    remote port is 8000
    local ip is 192.168.190.148
    local port is 4000
    >Chunks: 1 Bytes: 505

    再打开一个测试端终端窗口2,执行:

    ./client3 -h 192.168.190.240 -p 9000 -c 192.168.190.148 -o 4000

    窗口2程序,无法执行,自动退出。 
    接着在窗口2终端继续输入:

    ./client3 -h 192.168.190.230 -p 8000 -c 192.168.190.148 -o 4001

    注意,和窗口1相比,仅仅改变了端口号为4001。但执行结果,和端口1输出一模一样,在等待接收数据,没有自动退出。

    剩下的,无论怎么组合,怎么折腾,只要一对{本机IP,本机端口}被占用,也就意味着对应一个具体的文件句柄,那么其它程序将不能够再次使用。

    Java怎么绑定本地IP地址?

    java绑定就很简单,但有些限制,不够灵活,单纯从源码中看不出来,api doc可以告诉我们一些事情。 打开JDKAPI1_6zhCN.CHM,查看InetSocketAddress类的构造函数说明:

    public InetSocketAddress(InetAddress addr, int port) 
    根据 IP 地址和端口号创建套接字地址。 有效端口值介于 0 和 65535 之间。端口号 zero 允许系统在 bind 操作中挑选暂时的端口。

    null 地址将分配通配符 地址。

    参数: 
    addr - IP 地址 
    port - 端口号 
    抛出: 
    IllegalArgumentException - 如果 port 参数超出有效端口值的指定范围。

    public InetSocketAddress(String hostname, int port) 
    根据主机名和端口号创建套接字地址。 
    尝试将主机名解析为 InetAddress。如果尝试失败,则将地址标记为未解析。

    如果存在安全管理器,则将主机名用作参数调用其 checkConnect 方法,以检查解析它的权限。这可能会导致 SecurityException 异常。

    有效端口值介于 0 和 65535 之间。端口号 zero 允许系统在 bind 操作中挑选暂时的端口。

    参数: hostname - 主机名 
    port - 端口号 
    抛出: 
    IllegalArgumentException - 如果 port 参数超出有效端口值的范围,或者主机名参数为 null。 
    SecurityException - 如果存在安全管理器,但拒绝解析主机名的权限。 
    另请参见: 
    isUnresolved()

    InetSocketAddress的两个构造函数都支持,看情况使用。注意int port传递值为0,即可做到系统随机挑选端口。追踪一下源代码,发现最终调用

    private native void socketBind(InetAddress address, int port) throws IOException;

    如何查看socketBind的原始C代码,我就不清楚了,您若知晓,希望指教一下。 构造一个InetSocketAddress对象:

    SocketAddress localSocketAddr = new InetSocketAddress("192.168.190.143", 0);

    然后传递给需要位置即可。诸如使用netty连接到某个服务器上,在connect时指定远方地址,以及本机地址

    ChannelFuture connect(SocketAddress remoteAddress, SocketAddress localAddress) Attempts a new connection with the specified remoteAddress and the specified localAddress.

    Netty 客户端连接API见: http://docs.jboss.org/netty/3.2/api/org/jboss/netty/bootstrap/ClientBootstrap.html

    Linux支持绑定本机IP、端口原理

    说是原理,有些牵强,因为linux C提供了如何绑定函数,框架或者高级语言再怎么封装,在linux平台下面,需要这么调用:

    struct sockaddr_in clnt_addr;
    ....
    clnt_addr.sin_family = AF_INET;
    clnt_addr.sin_addr.s_addr = INADDR_ANY; //绑定本机IP地址
    clnt_addr.sin_port = htons(33333); //绑定本机端口
    if (bind(sockfd, (struct sockaddr *) &clnt_addr,
    sizeof(clnt_addr)) < 0) error("ERROR on binding");
    if (connect(sockfd,(struct sockaddr *) &serv_addr,sizeof(serv_addr)) < 0) error("ERROR connecting");
    .......

    构造一个clnt_addr结构体,本地IP或者端口赋值,在connect之前,先bind,就这么简单。

    更完整例子,可以参考 http://stackoverflow.com/questions/4852256/need-a-complete-snippet-example-of-binding-tcp-client-socket

    有关端口的更详细解释,请参考《UNIX网络编程卷1:套接字联网API(第3版)》2.9节 端口号部分。

     

    有关端口的问题,到此为止,下一篇,回到测试。



    100万并发连接服务器笔记之测试端就绪

    重新编写测试端程序

    测试端程序需要增加绑定本机IP和本地端口的功能,以尽可能的向外发出更多的tcp请求。需要对client1.c重构,增加参数传递。 下面是client2.c的代码?

    点击(此处)折叠或打开

    1. #include <sys/types.h>
    2. #include <sys/time.h>
    3. #include <sys/queue.h>
    4. #include <stdlib.h>
    5. #include <err.h>
    6. #include <event.h>
    7. #include <evhttp.h>
    8. #include <unistd.h>
    9. #include <stdio.h>
    10. #include <string.h>
    11. #include <sys/socket.h>
    12. #include <netinet/in.h>
    13. #include <time.h>
    14. #include <pthread.h>
    15.   
    16. #define BUFSIZE 4096
    17. #define SLEEP_MS 10
    18.   
    19. char buf[BUFSIZE];
    20.   
    21. int bytes_recvd = 0;
    22. int chunks_recvd = 0;
    23. int closed = 0;
    24. int connected = 0;
    25.   
    26. static char ip_array[300] = "192.168.190.134,192.168.190.143,192.168.190.144,192.168.190.145,192.168.190.146,192.168.190.147,192.168.190.148,192.168.190.149,192.168.190.151,192.168.190.152";
    27. static char server_ip[16] = "192.168.190.133";
    28. static int server_port = 8000;
    29. static int max_conns = 62000;
    30.   
    31. // called per chunk received
    32. void chunkcb(struct evhttp_request *req, void *arg) {
    33.     int s = evbuffer_remove( req->input_buffer, &buf, BUFSIZE );
    34.     bytes_recvd += s;
    35.     chunks_recvd++;
    36.     if (connected >= max_conns && chunks_recvd % 10000 == 0)
    37.         printf(">Chunks: %d\tBytes: %d\tClosed: %d\n", chunks_recvd, bytes_recvd, closed);
    38. }
    39.   
    40. // gets called when request completes
    41. void reqcb(struct evhttp_request *req, void *arg) {
    42.     closed++;
    43. }
    44.   
    45. int main(int argc, char **argv) {
    46.     int ch;
    47.     while ((ch = getopt(argc, argv, "o:h:p:m:")) != -1) {
    48.         switch (ch) {
    49.         case 'h':
    50.             printf("host is %s\n", optarg);
    51.             strncpy(server_ip, optarg, 15);
    52.             break;
    53.         case 'p':
    54.             printf("port is %s\n", optarg);
    55.             server_port = atoi(optarg);
    56.             /*strncpy(server_ip, optarg, 15);*/
    57.             break;
    58.         case 'm':
    59.             printf("max_conns is %s\n", optarg);
    60.             max_conns = atoi(optarg);
    61.             /*strncpy(server_ip, optarg, 15);*/
    62.             break;
    63.         case 'o':
    64.             printf("ori_ips is %s\n", optarg);
    65.   
    66.             strncpy(ip_array, optarg, 300 - 1);
    67.             break;
    68.         }
    69.     }
    70.   
    71.     event_init();
    72.     struct evhttp *evhttp_connection;
    73.     struct evhttp_request *evhttp_request;
    74.     char path[32];
    75.     int i;
    76.   
    77.     char delims[] = ",";
    78.     char *ori_ip = NULL;
    79.     ori_ip = strtok( ip_array, delims );
    80.     while (ori_ip != NULL) {
    81.         for (= 1; i <= max_conns; i++) {
    82.             evhttp_connection = evhttp_connection_new(server_ip, server_port);
    83.             evhttp_connection_set_local_address(evhttp_connection, ori_ip);
    84.             evhttp_set_timeout(evhttp_connection, 864000); // 10 day timeout
    85.             evhttp_request = evhttp_request_new(reqcb, NULL);
    86.             evhttp_request->chunk_cb = chunkcb;
    87.             sprintf(&path, "/test/%d", ++connected);
    88.   
    89.             if (% 1000 == 0)
    90.                 printf("Req: %s\t->\t%s\n", ori_ip, &path);
    91.   
    92.             evhttp_make_request( evhttp_connection, evhttp_request, EVHTTP_REQ_GET, path );
    93.             evhttp_connection_set_timeout(evhttp_request->evcon, 864000);
    94.             event_loop( EVLOOP_NONBLOCK );
    95.   
    96.             if ( connected % 1000 == 0 )
    97.                 printf("\nChunks: %d\tBytes: %d\tClosed: %d\n", chunks_recvd, bytes_recvd, closed);
    98.   
    99.             usleep(SLEEP_MS * 10);
    100.         }
    101.   
    102.         ori_ip = strtok( NULL, delims );
    103.     }
    104.   
    105.     event_dispatch();
    106.   
    107.     return 0;
    108. }


    若不指定端口,系统会随机挑选没有使用到的端口,可以节省些心力。

    编译:

    gcc -o client2 client2.c -levent

    参数解释

    • -h 要连接的服务器IP地址
    • -p 要连接的服务器端口
    • -m 本机IP地址需要绑定的随机端口数量
    • -o 本机所有可用的IP地址列表,注意所有IP地址都应该可用

    运行:

    ./client2 -h 192.168.190.230 -p 8000 -m 64000 -o 192.168.190.134,192.168.190.143,192.168.190.144,192.168.190.145,192.168.190.146,192.168.190.147,192.168.190.148,192.168.190.149,192.168.190.150,192.168.190.151

    太长了,每次执行都要粘贴过去,直接放在一个client2.sh文件中,执行就很简单方便多了。

    #!/bin/sh
    ./client2 -h 192.168.190.230 -p 8000 -m 64000 -o 192.168.190.134,192.168.190.143,192.168.190.144,192.168.190.145,192.168.190.146,192.168.190.147,192.168.190.148,192.168.190.149,192.168.190.150,192.168.190.151

    保存,赋值可运行:

    chmod +x client2.sh

    启动测试:

    sh client2.sh

    第三个遇到的问题:fs.file-max的问题

    测试端程序client2.c在发出的数量大于某个值(大概为40万时)是,通过dmesg命令查看会得到大量警告信息:

    [warn] socket: Too many open files in system

    此时,就需要检查/proc/sys/fs/file-max参数了。

    查看一下系统对fs.file-max的说明

    /proc/sys/fs/file-max
    This file defines a system-wide limit on the number of open files for all processes. (See also setrlimit(2), which can be used by a process to set the per-process limit,
    RLIMIT_NOFILE, on the number of files it may open.) If you get lots of error messages about running out of file handles, try increasing this value:
    echo 100000 > /proc/sys/fs/file-max
    The kernel constant NR_OPEN imposes an upper limit on the value that may be placed in file-max.
    If you increase /proc/sys/fs/file-max, be sure to increase /proc/sys/fs/inode-max to 3-4 times the new value of /proc/sys/fs/file-max, or you will run out of inodes.

    file-max表示系统所有进程最多允许同时打开所有的文件句柄数,系统级硬限制。Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不用修改,除非打开的文件句柄数超过此值。

    在为测试机分配4G内存时,对应的fs.file-max值为386562,很显然打开的文件句柄很受限,38万个左右。 很显然,无论是测试端还是服务端,都应该将此值调大些,一定要大于等于/etc/security/limits.conf送所设置的soft nofile和soft nofile值。 
    注意ulimit -n,仅仅设置当前shell以及由它启动的进程的资源限制。

    备注:以上参数,具有包含和被包含的关系。

    当前会话修改,可以这么做:

    echo 1048576 > /proc/sys/fs/file-max

    但系统重启后消失。

    永久修改,要添加到 /etc/sysctl.conf 文件中:

    fs.file-max = 1048576

    保存并使之生效:

    sysctl -p

    再测,就不会出现此问题了。

    一台6G内存机器测试机,分配7个网卡,可以做到不占用虚拟内存,对外发出64000 * 7 = 448000个对外持久请求。要完成100万的持久连接,还得再想办法。

    最终测试端组成如下:

    • 两台物理机器各自一个网卡,每个发出64000个请求
    • 两个6G左右的centos测试端机器(绑定7个桥接或NAT连接)各自发出64000*7 = 448000请求
    • 共使用了16个网卡(物理网卡+虚拟网卡)
    • 1M ≈ 1024K ≈ 1024000 = (64000) + (64000) + (64000*7) + (64000*7)
    • 共耗费16G内存,16个网卡(物理+虚拟),四台测试机

    备注: 
    下面就要完成1M持久连接的目标,但在服务端还会遇到最后一个问题。



    100万并发连接服务器笔记之1M并发连接目标达成

    第四个遇到的问题:tcp_mem

    在服务端,连接达到一定数量,诸如50W时,有些隐藏很深的问题,就不断的抛出来。 通过查看dmesg命令查看,发现大量TCP: too many of orphaned sockets错误,也很正常,下面到了需要调整tcp socket参数的时候了。

    第一个需要调整的是tcp_rmem,即TCP读取缓冲区,单位为字节,查看默认值

    cat /proc/sys/net/ipv4/tcp_rmem
    4096 87380 4161536

    默认值为87380bit ≈ 86K,最小为4096bit=4K,最大值为4064K。

    第二个需要调整的是tcp_wmem,发送缓冲区,单位是字节,默认值

    cat /proc/sys/net/ipv4/tcp_wmem
    4096 16384 4161536

    解释同上

    第三个需要调整的tcp_mem,调整TCP的内存大小,其单位是页,1页等于4096字节。系统默认值:

    cat /proc/sys/net/ipv4/tcp_mem
    932448 1243264 1864896

    tcp_mem(3个INTEGER变量):low, pressure, high

    • low:当TCP使用了低于该值的内存页面数时,TCP不会考虑释放内存。
    • pressure:当TCP使用了超过该值的内存页面数量时,TCP试图稳定其内存使用,进入pressure模式,当内存消耗低于low值时则退出pressure状态。
    • high:允许所有tcp sockets用于排队缓冲数据报的页面量,当内存占用超过此值,系统拒绝分配socket,后台日志输出“TCP: too many of orphaned sockets”。

    一般情况下这些值是在系统启动时根据系统内存数量计算得到的。 根据当前tcp_mem最大内存页面数是1864896,当内存为(1864896*4)/1024K=7284.75M时,系统将无法为新的socket连接分配内存,即TCP连接将被拒绝。

    实际测试环境中,据观察大概在99万个连接左右的时候(零头不算),进程被杀死,触发out of socket memory错误(dmesg命令查看获得)。每一个连接大致占用7.5K内存(下面给出计算方式),大致可算的此时内存占用情况(990000 * 7.5 / 1024K = 7251M)。

    这样和tcp_mem最大页面值数量比较吻合,因此此值也需要修改。

    三个TCP调整语句为:

    echo "net.ipv4.tcp_mem = 786432 2097152 3145728">> /etc/sysctl.conf
    echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
    echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf

    备注: 为了节省内存,设置tcp读、写缓冲区都为4K大小,tcp_mem三个值分别为3G 8G 16G,tcp_rmem和tcp_wmem最大值也是16G。

    目标达成

    经过若干次的尝试,最终达到目标,1024000个持久连接。1024000数字是怎么得来的呢,两台物理机器各自发出64000个请求,两个配置为6G左右的centos测试端机器(绑定7个桥接或NAT连接)各自发出640007 = 448000。也就是 1024000 = (64000) + (64000) + (640007) + (64000*7), 共使用了16个网卡(物理网卡+虚拟网卡)。 
    终端输出

    ......
    online user 1023990
    online user 1023991
    online user 1023992
    online user 1023993
    online user 1023994
    online user 1023995
    online user 1023996
    online user 1023997
    online user 1023998
    online user 1023999
    online user 1024000

    在线用户目标达到1024000个!

    服务器状态信息

    服务启动时内存占用:

                     total       used       free     shared    buffers     cached
         Mem:         10442        271      10171          0         22         78
         -/+ buffers/cache:        171      10271
         Swap:         8127          0       8127

    系统达到1024000个连接后的内存情况(执行三次 free -m 命令,获取三次结果):

                     total       used       free     shared    buffers     cached
         Mem:         10442       7781       2661          0         22         78
         -/+ buffers/cache:       7680       2762
         Swap:         8127          0       8127
     
                      total       used       free     shared    buffers     cached
         Mem:         10442       7793       2649          0         22         78
         -/+ buffers/cache:       7692       2750
         Swap:         8127          0       8127
     
                      total       used       free     shared    buffers     cached
         Mem:         10442       7804       2638          0         22         79
         -/+ buffers/cache:       7702       2740
         Swap:         8127          0       8127
    这三次内存使用分别是7680,7692,7702,这次不取平均值,取一个中等偏上的值,定为7701M。那么程序接收1024000个连接,共消耗了 7701M-171M = 7530M内存, 7530M*1024K / 1024000 = 7.53K, 每一个连接消耗内存在为7.5K左右,这和在连接达到512000时所计算较为吻合。 

    虚拟机运行Centos内存占用,不太稳定,但一般相差不大,以上数值,仅供参考。

    执行top -p 某刻输出信息:

       top - 17:23:17 up 18 min,  4 users,  load average: 0.33, 0.12, 0.11
         Tasks:   1 total,   1 running,   0 sleeping,   0 stopped,   0 zombie
         Cpu(s):  0.2%us,  6.3%sy,  0.0%ni, 80.2%id,  0.0%wa,  4.5%hi,  8.8%si,  0.0%st
         Mem:  10693580k total,  6479980k used,  4213600k free,    22916k buffers
         Swap:  8323056k total,        0k used,  8323056k free,    80360k cached
     
           PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                      
          2924 yongboy   20   0 82776  74m  508 R 51.3  0.7   3:53.95 server 
    

    执行vmstate:

    vmstat
    procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
     r b swpd free buff cache si so bi bo in cs us sy id wa st
     0 0 0 2725572 23008 80360 0 0 21 2 1012 894 0 9 89 2 0

    获取当前socket连接状态统计信息:

    cat /proc/net/sockstat
    sockets: used 1024380
    TCP: inuse 1024009 orphan 0 tw 0 alloc 1024014 mem 2
    UDP: inuse 11 mem 1
    UDPLITE: inuse 0
    RAW: inuse 0
    FRAG: inuse 0 memory 0

    获取当前系统打开的文件句柄:

    sysctl -a | grep file
    fs.file-nr = 1025216 0 1048576
    fs.file-max = 1048576

    此时任何类似于下面查询操作都是一个慢,等待若干时间还不见得执行完毕。

    netstat -nat|grep -i "8000"|grep ESTABLISHED|wc -l 
    netstat -n | grep -i "8000" | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

    以上两个命令在二三十分钟过去了,还未执行完毕,只好停止。

    小结

    本次从头到尾的测试,所需要有的linux系统需要调整的参数也就是那么几个,汇总一下:

         echo "yongboy soft nofile 1048576" >> /etc/security/limits.conf 
        echo "yongboy hard nofile 1048576" >>  /etc/security/limits.conf
     
         echo "fs.file-max = 1048576" >> /etc/sysctl.conf
         echo "net.ipv4.ip_local_port_range = 1024 65535" >> /etc/sysctl.conf
     
         echo "net.ipv4.tcp_mem = 786432 2097152 3145728" >> /etc/sysctl.conf
         echo "net.ipv4.tcp_rmem = 4096 4096 16777216" >> /etc/sysctl.conf
         echo "net.ipv4.tcp_wmem = 4096 4096 16777216" >> /etc/sysctl.conf
    

    其它没有调整的参数,仅仅因为它们暂时对本次测试没有带来什么影响,实际环境中需要结合需要调整类似于SO_KEEPALIVE、tcpmax_orphans等大量参数。

    本文代表一次实践,不足之处,欢迎批评指正。

    展开全文
  • 我使用SSH做服务器开发,头一天一切运行OK,第二天早上,我再去连接服务器,服务器这边就报如下的错误问题原因出在: 如果连接闲置8小时 (8小时内没有进行数据库操作), mysql就会自动断开连接, 要重启tomcat mysql...

    我使用SSH做服务器开发,头一天一切运行OK,第二天早上,我再去连接服务器,服务器这边就报如下的错误


    这里写图片描述


    问题原因出在:
    如果连接闲置8小时 (8小时内没有进行数据库操作), mysql就会自动断开连接, 要重启tomcat

    mysql默认为8小时后自动消除空闲连接,而hibernate默认空连接超时时间大于这个数。


    解决办法:

    修改mysql的链接失效时间,找到mysql的my.ini文件.打开后在其底部添加如下:

    [mysqld]
    wait_timeout=31536000
    interactive_timeout=31536000

    这里写图片描述



    FR:徐海涛(hunk Xu)

    展开全文
  • iis部署网站浏览出现火狐浏览器 无法连接服务器。Firefox 无法建立到 服务器的连接。 首先查看ip地址 开始——cmd-ipconfig 发现ip地址和部署网站的地址不一样 更改iis网站ip地址:右击网址——编辑绑定——编辑...
  • 再谈delphi XE的中间层应用服务器(其实任何语言开发的中间件)连接MS Sql Server数据库 步骤: 1、检查MS Sql Server数据库的默认端口1433(其中你也可以改端口)是否处于开放端口状态、是否处于监听状态 1.1...
  • xftp安装以及用root用户连接服务器

    千次阅读 2020-05-14 23:40:56
    主机:虚拟机IP或者称做需要连接服务器IP 协议:选择SFTP 端口:根据服务器端口进行填写 用户选择root,密码输入你设置的 选择root用户需要进行下面的配置: 编辑 vim /etc/ssh/sshd_config文件 PermitRootLogin ...
  • 2:Sqlexpress 服务未启动:在使用SSMS 连接服务器(这里选的是SQLEXPRESS服务)前要确保相对应的实例服务已经启动。可以在Sqlserver 2005 的配置工具设置(一个是Sqlserver 外围配置器,另一个是Sqlserver 配置管理...
  • 一、用WIN10系统自带的VPN连接服务器时刚开始提示“无法连接”,将网络设置了一下,很多企业和机构使用的WPA2和VPN密码都是受PPTP保护,而PPTP使用的也是微软的MS-CHAPv2,所以要允许这个协议。 二、做完设置...
  • 利用JDBC连接服务器数据库(Android)

    千次阅读 2017-02-07 10:38:29
    在Android平台下,连接电脑服务器的MySQL、PostgreSQL、Oracle、Sybase、Microsoft SQLServer等数据库管理系统DBMS(database management system),主要有以下两种方法: 方法1、直接连接 在Android工程中...
  • 通常,在开发手机 APP 的时候,与服务器的连接都是通过域名来访问服务器,然而就会遇到一些不法分子对 DNS进行劫持,进行篡改,导致无法连接服务器,或者返回期望之外的结果,用户流失甚至财产损失。 HTTPDNS+云...
  • SSH 连接服务器的延迟问题

    千次阅读 2016-03-21 09:57:58
    用secureCRT 连接服务器的时候,发现总要等个10秒左右的时间。 这个是ssh 连接的时候 查询了DNS服务器,查询超时后才继续。 解决办法: vi /etc/ssh/sshd_config 把#UseDNS yes 改成 UseDNS no ...
  • 远程连接排错流程 远程连接常见故障原因 Linux基本规则 Linux常见命令 和 快捷键 运维新手学习什么内容面试? 招聘者:CEO (怎么判断这个人是否有能力) 0. 态度 素质 能力(技术能力) 排错流程 软实力 1)画图 2)排版 3...
  • Android 利用JDBC连接服务器数据库

    千次阅读 2018-08-01 11:52:28
    Android学习笔记(21)————利用JDBC连接服务器数据库 2012年04月07日 16:51:55 阅读数:119894     /********************************************************************************************  * ...
  • 客户端用https连接服务器证书问题

    千次阅读 2012-09-27 23:23:58
    项目需要用https与服务器进行连接,获取系统需要的一些配置参数。以前是用http进行连接的,客户端代码比较简单,直接使用URL类进行连接并获取输入流即可。试着在浏览器中输入相应的https连接地址,提示证书确认,...
  • sqlserver 2008 R2 无法连接服务器

    千次阅读 2018-10-19 11:26:47
    标题: 连接服务器 无法连接到 localhost。 其他信息: 在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。未找到或无法访问服务器。请验证实例名称是否正确并且 SQL Server 已配置为允许远程连接。 ...
  • 如何使用Xftp连接Centos服务器

    千次阅读 2017-12-09 17:22:05
    想要传输自然需要连接服务器,如何使用Xftp连接Centos服务器?本文将详细说明xmanager企业版5中xftp如何连接服务器和操作服务器。 一、如何连接 1、 新建会话 打开Xftp软件,依次点击【文件】-【新建】,来...
  • 客户连接服务器时可能抛出的异常

    千次阅读 2018-01-02 01:19:37
    本次博客为我在学习java编程时的总结,参考《Java网络编程 孙卫琴》一书当Socket的构造方法请求连接服务器时,可能会抛出下面的异常。 ●UnknownHostException:如果主机无法识别主机的名字或IP地址,就会抛出这种...
  • pb连接SYBASE、MS SQL SERVER

    千次阅读 2015-07-17 09:17:45
    pb连接SYBASE、MS SQL SERVER 分类: 数据库 2009-04-14 15:11 5427人阅读 评论(0) 收藏 举报 sql serversybase数据库database数据库服务器string 标签:校园  Power...
  • 使用图片服务器https://sm.ms

    万次阅读 2019-07-12 18:31:15
    https://sm.ms是一个免费的图片服务器,上传图片即可返回图片的网络url,这样就省的自己维护和搭建专门的图片服务器了。 当让你也可以你也可以自己搭建文件服务器,上传多种文件。 网址是https://sm.ms api是...
  • 客户端用https连接服务器的一点心得

    千次阅读 2008-12-19 15:11:00
    项目需要用https与服务器进行连接,获取系统需要的一些配置参数。以前是用http进行连接的,客户端代码比较简单,直接使用URL类进行连接并获取输入流即可。试着在浏览器中输入相应的https连接地址,提示证书确认,...
  • 100万并发连接服务器笔记之准备篇

    千次阅读 2014-04-06 22:56:58
    测试一个非常简单服务器如何达到100万(1M=1024K连接)的并发连接,并且这些连接一旦连接服务器,就不会断开,一直连着。  环境受限,没有服务器,刚开始都是在自己的DELL笔记本上测试,凭借16G内存,和优秀的...
  • 连接阿里云服务器的远程数据库 1、在服务器中将SQL Server数据库设置为混合登录,并允许远程连接; 2、SQL Server配置管理器中开启SQL Browser功能;启用MSSQLSERVER协议的TCP/UDP,将TCP属性的端口设为1433; 3...
  • 错误描述:在与 SQL Server 建立连接时出现与网络相关的或特定于实例... (provider: Named Pipes Provider, error: 40 - 无法打开到 SQL Server 的连接) (Microsoft SQL Server,错误: 2)解决方法:打开服务,找到MS...
  • 先登录连接数据库,这里我以windows下cmd命令窗口为例,  假设你已经连接上数据库了,执行下面的mysql指令 ①:update user set host ='%' where user='root'; ②:flush privileges; 这就可以了!本人亲测可以...
  • SQL Relay是一个开源的数据库池连接代理服务器二、SQL Relay支持哪些数据库? * Oracle* MySQL* mSQL* PostgreSQL* Sybase* MS SQL Server* IBM DB2* Interbase* Sybase* SQLite* Lago* ODBC* MS Access三、安装和...
  • 今天部署项目遇到一个大坑,调试了一天,最后终于解决。项目开发框架:spring boot应用服务器环境:windows server 2012数据库环境:MS SQL server 2014 端口:1444连接池:druid症状:连接数据库报地址端口冲突...
  • Jenkins连接Window服务器,上传jar并启动

    万次阅读 热门讨论 2018-07-24 13:44:22
    有时候受限于公司和个人的技术水平,有些人喜欢用`windows`当服务器,我们做技术的也没办法,只有迎头往上。这不,局域网用windows当部署服务器,同时我又喜欢弄自动化构建工具`jenkins`,所以才有下面的文章
  • 问题现象一个搭建好的几台云服务器上面配置好了SNAT,其中某些通过公网访问A服务器通,而同样网络环境下的服务器访问访问A服务器就不通。服务器A测:tcp_tw_recycle与tcp_timestamps均是开启的。通过wireshark抓包...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 166,871
精华内容 66,748
关键字:

ms连接服务器