nginx 实现tcp负载均衡

   nginx常用来做http的反向代理,它默认是不支持tcp的,因此要使用nginx来实现tcp的反向代理必须用源码编译安装,并且在编译时安装tcp的扩展模块。

   然后解压ngin和,nginx_tcp_proxy_module-master。

   1 进入nginx目录 cd nginx-1.2.1/  执行 patch -p1 < /path/to/nginx_tcp_proxy_module/tcp.patch,例:patch -p1 < ../nginx_tcp_proxy_module-master/tcp.patch 。注意nginx_tcp_proxy_module的路径由你的解压路径决定。

   2 生成makefile文件./configure --add-module=/path/to/nginx_tcp_proxy_module,执行前请保证系统中openssl已安装好,建议通过系统的安装库来安装,cents:通过yum安装,ubuntu通过apt-get install,mac通过brew install,openssl需要很多依赖库一个一个装特别麻烦,还有可能出错。

   在这里说一下我遇到的问题吧,我装好了openssl但是ngixn找不到openssl的库,这时候添加参数./configure --add-module=../nginx_tcp_proxy_module-master/ --with-openssl=<path>,--with-openssl等号后的是自己openssl的安装目录,例:./configure --add-module=../nginx_tcp_proxy_module-master/ --with-openssl=/usr/local/opt/openssl,但是事与愿违执行次命令完成后,通过make编译时报错错误如下:

/Applications/Xcode.app/Contents/Developer/usr/bin/make -f objs/Makefile
cd /usr/local/lib/
&& /Applications/Xcode.app/Contents/Developer/usr/bin/make clean
&& ./config --prefix=/usr/local/lib//.openssl no-shared  no-threads
&& /Applications/Xcode.app/Contents/Developer/usr/bin/make
&& /Applications/Xcode.app/Contents/Developer/usr/bin/make install LIBDIR=lib
make[2]: *** No rule to make target `clean'.  Stop.
make[1]: *** [/usr/local/opt/openssl/.openssl/include/openssl/ssl.h] Error 2
make: *** [build] Error 2

提示找不到sll.h,到系统中找发现/usr/local/opt/openssl确实没有.openssl目录,好头疼搞了半天,怎么办呢需要我门手动修改nginx的编译选选项。进入nginx目录下的nginx-1.2.1/auto/lib/openssl打开conf文件,找到这么一段代码:
CORE_INCS="$CORE_INCS $OPENSSL/.openssl/include"
CORE_DEPS="$CORE_DEPS $OPENSSL/.openssl/include/openssl/ssl.h"
CORE_LIBS="$CORE_LIBS $OPENSSL/.openssl/lib/libssl.a"
CORE_LIBS="$CORE_LIBS $OPENSSL/.openssl/lib/libcrypto.a"
CORE_LIBS="$CORE_LIBS $NGX_LIBDL"
修改成以下代码:
CORE_INCS="$CORE_INCS $OPENSSL/include"
CORE_DEPS="$CORE_DEPS $OPENSSL/include/openssl/ssl.h"
CORE_LIBS="$CORE_LIBS $OPENSSL/lib/libssl.a"
CORE_LIBS="$CORE_LIBS $OPENSSL/lib/libcrypto.a"
CORE_LIBS="$CORE_LIBS $NGX_LIBDL"

然后执行export PKG_CONFIG_PATH=/usr/local/openssl/lib/pkgconfig
export LD_LIBRARY_PATH=/usr/local/openssl/lib

最后在此执行./configure --add-module=../nginx_tcp_proxy_module-master/ --with-openssl=/usr/local/opt/openssl,注意最后不要加斜杠,然后执行

make && make install安装nginx。

到这里终于安装成功了。

接下来进入nginx目录找到nginx.conf文件添加

tcp {
    upstream server {
        server localhost:9000;
        server localhost:9001;

        #check interval 健康:检查时间间隔,单位为毫秒
        #rise 检查几次正常后,将server加入以负载列表中
        #fall 检查几次失败后,从负载队列移除server
        #timeout 检查超时时间,单位为毫秒
        check interval=3000 rise=2 fall=5 timeout=1000;
    }

    server {
        listen 8786;
        proxy_pass server;
    }
}

然后启动nginx。

接下来验证我门的tcp代理是否成功。先写一个tcp server和client,用golang写的,简单快捷。

server 

client

接下来我门拷贝server修改端口为9001,然后启动两个server同时监听9000和9001两个端口(根据nginx配置决定),然后运行cient,go run server1.go,go run server2.go go run client.go,测试结果:

 

然后我门就回看到50个客户端分别被分发到两个server上,说明我们的nginx的tcp负载均衡正常工作了。

相关内容推荐