CentOS7 nginx使用upstream负载均衡

负载均衡是nginx常用的一个功能，当一台服务器的单位时间内访问量越来越大时，服务器压力就越大，大到超过自身承受能力时服务器会崩溃。为了避免服务器崩溃，让用户有更好的访问体验，可以通过负载均衡的方式来分担服务器的压力。一般可以创建很多服务器，组成一个服务器集群，当用户访问网站时，先访问一个中间服务器(均衡器)，在让这个均衡器在服务器集群中，选择一个压力较小的服务器，然后将该访问请求引入到该服务器。如此一来，用户的每次访问，都会保证服务器集群中的每个服务器压力趋于平衡，分担了个别服务器的压力，避免了服务器崩溃的情况，负载均衡配置一般都需要同时配置反向代理，通过反向代理跳转到负载均衡。

拓扑

nginx要实现负载均衡需要用到proxy_pass代理模块配置

nginx负载均衡与nginx代理不同地方在于代理仅代理一台服务器，而nginx负载均衡则是将客户端请求代理转发至一组upstream虚拟服务池

nginx可以配置代理多台服务器，当一台服务器宕机之后仍能保持系统可用

基础配置

web1

hostnamectl --static set-hostname web1 && su
setenforce 0 && sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
systemctl stop firewalld.service && systemctl disable firewalld.service && systemctl status firewalld.service
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx -y 
systemctl restart nginx && systemctl enable nginx

#web1测试页面
echo 'web1-192.168.3.220' > /usr/share/nginx/html/index.html

web2

hostnamectl --static set-hostname web2 && su
setenforce 0 && sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
systemctl stop firewalld.service && systemctl disable firewalld.service && systemctl status firewalld.service
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx -y 
systemctl restart nginx && systemctl enable nginx

#web2测试页面
echo 'web2-192.168.3.230' > /usr/share/nginx/html/index.html

web3

hostnamectl --static set-hostname web3 && su
setenforce 0 && sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
systemctl stop firewalld.service && systemctl disable firewalld.service && systemctl status firewalld.service
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx -y 
systemctl restart nginx && systemctl enable nginx

#web3测试页面
echo 'web3-192.168.3.240' > /usr/share/nginx/html/index.html

负载均衡器lb

hostnamectl --static set-hostname lb && su
setenforce 0 && sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
systemctl stop firewalld.service && systemctl disable firewalld.service && systemctl status firewalld.service

rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx -y 
rm -rf /etc/nginx/conf.d/default.conf

vim /etc/nginx/nginx.conf
改为
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
    upstream web_upstream{
       server 192.168.3.220;
       server 192.168.3.230;
       server 192.168.3.240 backup;
    } 
    server {
        listen  80;
        server_name  localhost;
        
        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            proxy_pass http://web_upstream;
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

执行systemctl restart nginx && systemctl enable nginx

#参数

upstream：创建节点服务器组的关键字

web_upstream：节点服务器组的名字，可自定义名字

server：关键字，后面可加IP或者域名或者IP:端口，不指定端口默认为80

weight：权重，数值越大被分配的请求越多，默认为1

#设置节点服务器的状态值除了weight之外还有以下几种

max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误

fail_timeout：max_fails次失败后，暂停的时间

down：表示当前的节点服务器不参与负载，表示此服务器永远不可用，可配合iP_hash使用

backup：其它所有的非backup机器down或者忙的时候，请求backup机器，所以这台机器压力会最轻

rr轮询(默认调度算法，静态调度算法)

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除

上面配置中在nginx.conf > http 区域中

在nginx.conf > http 区域 >  server区域  > location配置中添加proxy_pass

测试

for i in $(seq 10); do curl http://192.168.3.210 ; done

wrr(权重轮询，静态调度算法)

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况

upstream web_upstream {
    server 192.168.3.220 weight=5;
    server 192.168.3.230 weight=10;
    server 192.168.3.240;
}

测试

ip_hash(静态调度算法)

如果需要将一个客户端绑定到一个特定的应用服务器上面，也就是通过将特定的客户端请求分发到特定的应用服务器上面，使客户端的会话（session）具有持久性。这时候需要用到的就是ip-hash的负载方式。使用这种方式通过将客户端的ip地址作为hash键去决定将客户端的请求分发到哪一台应用服务器上面。这种方式保证了来自同一客户端的请求总是会被分发到特定的应用服务器上面去，除非这个特定的服务器停止工作了

upstream web_upstream {
    ip_hash;
    server 192.168.3.220:80;
    server 192.168.3.230:80;
    server 192.168.3.240:80;
}

测试

fair(第三方负载均衡模块)

#负载均衡器lb添加第三方fair模块
yum install gcc gcc-c++ make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel unzip wget -y 
/usr/sbin/nginx -V
mkdir /usr/src/temp && cd /usr/src/temp
wget http://nginx.org/download/nginx-1.18.0.tar.gz
wget https://github.com/gnosek/nginx-upstream-fair/archive/master.zip
tar -zxvf nginx-1.18.0.tar.gz && unzip master.zip
cd /usr/src/temp/nginx-1.18.0
./configure --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie' --add-module=/usr/src/temp/nginx-upstream-fair-master
make
#出现错误nf_t’ has no member named ‘default_port’
#     u.port = (in_port_t) (us->port ? us->port : us->default_port);
vim /usr/src/temp/nginx-1.18.0/src/http/ngx_http_upstream.h
#找到132行ngx_http_upstream_srv_conf_s结构，添加in_port_t default_port;后再次make编译
systemctl stop nginx
cp /usr/sbin/nginx /usr/sbin/nginx-bak
cp /usr/src/temp/nginx-1.18.0/objs/nginx /usr/sbin/nginx
systemctl start nginx

按后端服务器的响应时间来分配请求，响应时间短的优先分配

upstream web_upstream {   
    fair; 
    server 192.168.3.220:80;    
    server 192.168.3.230:80;       
    server 192.168.3.240:80;
}

测试

Least connect(最小连接)

这种方式对于应用服务器来说更公平，因为在一些请求需要花费很长时间才能完成的情况下，这种方式就体现出了它的优势了。使用这种方式负载服务尽量不去超负荷的应用服务器区响应过多的请求，它会把新的请求分发到负载量较小的应用服务上面

upstream web_upstream {   
    least_conn; 
    server 192.168.3.220:80;    
    server 192.168.3.230:80;       
    server 192.168.3.240:80;
}

测试