042. LVS 基础概念解析

1. LVS 简介

1. LVS 是什么？

• LVS 的英文全称是 Linux Virtual Server，即 Linux 虚拟服务器。它是我们国家的章文嵩博士的一个开源项目。在 linux 内核 2.6 中，它已经成为内核的一部分，在此之前的内核版本则需要重新编译内核。

2. LVS 能干什么？

• LVS 主要用于多服务器的负载均衡。它工作在网络 4 层，可以实现高性能，高可用的服务器集群技术。
• 它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。
• 它易用，配置非常简单，且有多种负载均衡的方法。
• 它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。
• 另外扩展性也非常好。

2. Linux Virtual Server 项目

• 针对高可伸缩、高可用网络服务的请求，我们给出了基于 IP 层和基于内容请求分发的负载均衡调度解决办法，并在 Linux 内核中实现了这些方法，将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器。
• 虚拟服务器的体系结构如下图所示，一组服务器通过高速的局域网或者地理分布的广域网相互连接，在它们的前端有一个负载调度器（Load Balaner）。负载调度器能无缝地将网络请求调度到真实服务器上，从而使得服务器集群的结构对客户是透明的，客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。由于我们的负载调度技术是在 Linux 内核中实现的，我们称之为 Linux 虚拟服务器（Linux Virtual Server）。

• Linux Virtual Server 项目的目标：使用集群技术和 Linux 操作系统实现一个高性能、高可用的服务器，它具有很好地可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability）。
• 目前，LVS 项目已提供一个实现可伸缩网络服务的 Linux Virtual Server 框架，如图所示。
  • IPVS：提供了含有三种 IP 负载均衡技术的 IP 虚拟服务器软件。
  • KTCPVS：基于内容请求分发的内核 Layer-7 交换机。
  • Cluster Management：集群管理软件。

• 可以利用 LVS 扩建实现高可伸缩的、高可用的 Web、Cache、Mail 和 Media 等网络服务；在此基础上，可以开发支持庞大用户数的、高可伸缩的、高可用的电子商务应用。

3. 网络分层

1. 网络 7 层

• 7 层是指 OSI 七层协议模型，主要是：应用层（Application）、表示层（Presentation）、会话层（Session）、传输层（Transport）、网络层（Network）、数据链路层（Data Link）、物理层（Physical）。Nginx 工作在 7 层网络模型下。

2. 网络 5 层

• 5 层只是 OSI 和 TCP/IP 的综合，是业界产生出来的非官方协议模型，但是很多具体的应用。实际应用还是 TCP/IP 的四层结构。为了方便可以把下两层称为网络接口层。五层体系结构包括：应用层、传输层、网络层、数据链路层和物理层。

3. 网络 4 层

• 4 层是指 TCP/IP 四层模型，主要包括：应用层、传输层、网络层和网络接口层。
• LVS 工作在 4 层网络模型下。

4. IP 虚拟服务器软件 IPVS

• 在调度器的实现技术中，IP 负载均衡技术是效率最高的。IPVS 软件实现了三种 IP 负载均衡技术，他们的大致原理如下。

1. Virtual Server via Direct Routing(VS/DR)

• VS/DR 通过改写请求报文的 MAC 地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同 VS/TUN 技术一样，VS/DR 技术可极大地提高集群系统的伸缩性。这种方法没有 IP 隧道的开销，对集群中的真实服务器也没有必须支持 IP 隧道协议的要求，但是要求调度器与真实服务器都有一个网卡连在同一物理网段上。

2. Virtual Server via Network Address Translation(VS/NAT)

• 通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。

3. Virtual Server via IP Tunneling(VS/TUN)

• 采用 NAT 技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将变成瓶颈。为了解决这个问题，调度器把请求报文通过 IP 隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大很多，采用 VS/TUN 技术后，集群系统的最大吞吐量可以提高 10 倍。

5. IPVS 调度算法

• 轮叫(Round Robin)
• 加权轮叫(Weighted Round Robin)
• 最少链接(Least Connections)
• 加权最少链接(Weight Least Connections)
• 基于局部性的最少链接(Locality-Based Least Connections)
• 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)
• 目标地址散列(Destination Hashing)
• 源地址散列(Source Hashing)

6. 内核 Layer-7 交换机 KTCPVS

• 在基于 IP 负载调度技术中，当一个 TCP 连接的初始 SYN 报文到达时，调度器就选择一台服务器，将报文转发给它。此后通过查发报文的 IP 和 TCP 报文头地址，保证此连接的后继报文都被转发到该服务器。这样，IPVS 无法检查到请求的内容再选择服务器，这就要求后端服务器组提供相同的服务，不管请求被发送到哪一台服务器，返回结果都是一样的。但是，在有些应用中后端服务器功能不一，有的提供 HTML 文档，有的提供图片，有的提供 CGI，这就需基于遇内容的调度(Content-Based Scheduling)。
• 由于用户空间 TCP Gateway 的开销太大，我们提出在操作系统的内核中实现 Layer-7 交换方法，来避免用户空间与核心空间的切换和内存复制的开销。在 Linux 操作系统的内核中，我们实现了 Layer-7 交换，称之为 KTCPVS（Kernel TCP Virtual Server）。
• 虽然应用层交换处理复杂，它的伸缩性有限，但应用层交换带来以下好处：
  • 相同页面的请求被发送到同一服务器，可以提高单台服务器的 Cache 命中率。
  • 一些研究表明 WEB 访问流中存在局部性。Layer-7 交换可以充分利用访问的局部性，将相同类型的请求发送到同一台服务器，使得每台服务器收到的请求具有更好的相似性，可进一步提高单台服务器的 Cache 命中率。
  • 后端服务器可运行不同类型的服务，如文档服务，图片服务，CGI 服务和数据库服务等。

7. LVS 集群特点

1. 功能

• 有实现三种 IP 负载均衡技术和八种连接调度算法的 IPVS 软件。
• 在 IPVS 内部实现上，采用了高效的 Hash 函数和垃圾回收机制，能正确处理所调度报文相关的 ICMP 消息。
• 虚拟服务的设置数目没有限制，每个虚拟服务有自己的服务器集。
• 它支持持久的虚拟服务(如 HTTP Cookie 和 HTTPS 等需要该功能的支持)，并提供详尽的统计数据，如连接的处理速率和报文的流量等。
• 针对大规模拒绝服务(Deny of Service)工具，实现了三种防卫策略。
• 有基于内容请求分发的应用层交换软件 KTCPVS，它也是在 Linux 内核中实现。
• 有相关的集群管理软件对资源进行检测，能及时将故障屏蔽，实现系统的高可用性。
• 主、从调度器能周期性地进行状态同步，从而实现更高的可用性。

2. 适用性

• 后端服务器可运行任何支持 TCP/IP 的操作系统，包括 Linux，各种 Linux （如 FreeBSD、Sun Solaris、HP Unix 等），Mac/OS 和 Windows NT/2000 等。负载调度器能够支持绝大多数的 TCP 和 UDP 协议。

3. 性能

• LVS 服务器集群系统具有良好的伸缩性，可支持几百万个并发连接。配置 100M 网卡，采用 VS/TUN 或 VS/DR 调度技术，集群系统的吞吐量可高达 1Gbits/s；如配置千兆网卡，则系统的最大吞吐量可接近 10Gbits/s。

4. 可靠性

• LVS 服务器集群软件已经在很多大型的、关键性的站点得到很好的应用，所以它的可靠性在真实应用得到很好地证实。有很多调度器运行一年多，未做一次重启动。

5. 软件许可证

• LVS 集群软件是按 GPL（GUN Pubic Licence）许可证发行的自由软件，这意味着你可以得到软件的源代码，有权对其进行修改，但必须保证你的修改也是以 GPL 方式发行。

8. LVS 和 Nginx 对比