Nginx 学习笔记系列文章教程之 LVS-Nginx-HAProxy 优缺点

搭建负载均衡高可用环境相对简单，主要是要理解其中原理。

此文描述了三种负载均衡器的优缺点，以便在实际的生产应用中，按需求取舍。

目前，在线上环境中应用较多的负载均衡器硬件有 F5 BIG-IP,软件有 LVS，Nginx 及 HAProxy,高可用软件有 Heartbeat、Keepalived，成熟的架构有 LVS+Keepalived、Nginx+Keepalived、HAProxy+keepalived 及 DRBD+Heartbeat.

三种负载均衡器的优缺点说明如下：

一、LVS 的优点：

1、抗负载能力强、工作在第 4 层仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的；无流量，同时保证了均衡器 IO 的性能不会受到大流量的影响；

2、工作稳定，自身有完整的双机热备方案，如 LVS+Keepalived 和 LVS+Heartbeat；

3、应用范围比较广，可以对所有应用做负载均衡；

4、配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率；

二、LVS 的缺点：

1、软件本身不支持正则处理，不能做动静分离，这就凸显了 Nginx/HAProxy+Keepalived 的优势。

2、如果网站应用比较庞大，LVS/DR+Keepalived 就比较复杂了，特别是后面有 Windows Server 应用的机器，实施及配置还有维护过程就比较麻烦，相对而言，Nginx/HAProxy+Keepalived 就简单多了。

三、Nginx 的优点：

1、工作在 OSI 第 7 层，可以针对 http 应用做一些分流的策略。比如针对域名、目录结构。它的正则比 HAProxy 更为强大和灵活；

2、Nginx 对网络的依赖非常小，理论上能 ping 通就就能进行负载功能，这个也是它的优势所在；

3、Nginx 安装和配置比较简单，测试起来比较方便；

4、可以承担高的负载压力且稳定，一般能支撑超过几万次的并发量；

5、Nginx 可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点；

6、Nginx 不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的 Web 应用服务器。LNMP 现在也是非常流行的 web 环境，大有和 LAMP 环境分庭抗礼之势，Nginx 在处理静态页面、特别是抗高并发方面相对 apache 有优势；

7、Nginx 现在作为 Web 反向加速缓存越来越成熟了，速度比传统的 Squid 服务器更快，有需求的朋友可以考虑用其作为反向代理加速器；

四、Nginx 的缺点：

1、Nginx 不支持 url 来检测。

2、Nginx 仅能支持 http 和 Email，这个它的弱势。

3、Nginx 的 Session 的保持，Cookie 的引导能力相对欠缺。

五、HAProxy 的优点：

1、HAProxy 是支持虚拟主机的，可以工作在 4、7 层 (支持多网段)；

2、能够补充 Nginx 的一些缺点比如 Session 的保持，Cookie 的引导等工作；

3、支持 url 检测后端的服务器；

4、它跟 LVS 一样，本身仅仅就只是一款负载均衡软件；单纯从效率上来讲 HAProxy 更会比 Nginx 有更出色的负载均衡速度，在并发处理上也是优于 Nginx 的；

5、HAProxy 可以对 Mysql 读进行负载均衡，对后端的 MySQL 节点进行检测和负载均衡，不过在后端的 MySQL slaves 数量超过 10 台时性能不如 LVS；

6、HAProxy 的算法较多，达到 8 种；

六、Q&A

1. LVS/DR 如何处理请求报文的，会修改 IP 包内容吗？

1.1 vs/dr 本身不会关心 IP 层以上的信息，即使是端口号也是 tcp/ip 协议栈去判断是否正确，vs/dr 本身主要做这么几个事：
1）接收 client 的请求，根据你设定的负载均衡算法选取一台 realserver 的 ip；
2）以选取的这个 ip 对应的 mac 地址作为目标 mac，然后重新将 IP 包封装成帧转发给这台 RS；
3）在 hash table 中记录连接信息。
vs/dr 做的事情很少，也很简单，所以它的效率很高，不比硬件负载均衡设备差多少。
数据包、数据帧的大致流向是这样的：client --> VS --> RS --> client

1.2 前面已作了回答，vs/dr 不会修改 IP 包的内容.

2. RealServer 为什么要在 lo 接口上配置 VIP？在出口网卡上配置 VIP 可以吗？

2.1 既然要让 RS 能够处理目标地址为 vip 的 IP 包，首先必须要让 RS 能接收到这个包。
在 lo 上配置 vip 能够完成接收包并将结果返回 client。

2.2 答案是不可以将 VIP 设置在出口网卡上,否则会响应客户端的 arp request,造成 client/gateway arp table 紊乱，以至于整个 load balance 都不能正常工作。

3. RealServer 为什么要抑制 arp 帧？

这个问题在上一问题中已经作了说明，这里结合实施命令进一步阐述。我们在具体实施部署的时候都会作如下调整：

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

我相信很多人都不会弄懂它们的作用是什么，只知道一定得有。我这里也不打算拿出来详细讨论，只是作几点说明，就当是补充吧。

3.1

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

这两条是可以不用的，因为 arp 对逻辑接口没有意义。

3.2 如果你的 RS 的外部网络接口是 eth0，那么

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
其实真正要执行的是：
echo "1" >/proc/sys/net/ipv4/conf/eth0/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/eth0/arp_announce

所以我个人建议把上面两条也加到你的脚本里去，因为万一系统里上面两条默认的值不是 0，那有可能是会出问题滴。

4. LVS/DR load balancer（director）与 RS 为什么要在同一网段中？

从第一个问题中大家应该明白 vs/dr 是如何将请求转发给 RS 的了吧？它是在数据链路层来实现的，所以 director 必须和 RS 在同一网段里面。

5. 为什么 director 上 lo 接口除了 VIP 另外还要在 eth0 配一个 ip（即 DIP）？

5.1 如果是用了 keepalived 等工具做 HA 或者 Load Balance,则在健康检查时需要用到 DIP。

5.2 没有健康检查机制的 HA 或者 Load Balance 则没有存在的实际意义。

6. LVS/DR ip_forward 需要开启吗？

不需要。因为 director 跟 realserver 是同一个网段，无需开启转发。

7. director 的 vip 的 netmask 一定要是 255.255.255.255 吗？

lvs/dr 里，director 的 vip 的 netmask 没必要设置为 255.255.255.255，也不需要再去

route add -host $VIP dev eth0:0

director 的 vip 本来就是要像正常的 ip 地址一样对外通告的,不要搞得这么特殊.