安科网

高可用集群-lvs

xasdfg

xasdfg

2020-03-08

关注 关注

目录

lvs高可用集群

技术简介：

LVS集群采用IP负载均衡技术和基于内容请求分发技术。
调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，
且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。
整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。
为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性

集群采用三层结构：

一般来说，LVS集群采用三层结构，其主要组成部分为：

  • 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的

  • 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等

  • 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务

lvs集群类型中的术语：

vs：Virtual Server, Director, Dispatcher, Balancer
rs：Real Server, upstream server, backend server
CIP：Client IP
VIP: Virtual serve IP
DIP: Director IP
RIP: Real server IP

请求过程：CIP <–> VIP <==> DIP <–> RIP

lvs集群的类型：

lvs-nat：修改请求报文的目标IP，然后转发给被选中的RS

lvs-dr：在请求报文的首部重新封装新的MAC地址，然后转发给被选中的RS

lvs-tun：在原请求IP报文之外新加一个IP首部<源地址为CIP，目标地址为RIP>，然后转发给RS

lvs-fullnat：修改请求报文的源和目标IP<源地址修改为DIP,目标地址修改为RIP>，然后转发给RS

lvs-nat：

类似多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

(1) RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP
(2) 请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈
(3) 支持端口映射，可修改请求报文的目标PORT
(4) vs必须是Linux系统，rs可以是任意系统

lvs-dr：

Direct Routing，直接路由

通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址

  • 源IP/PORT，以及目标IP/PORT均保持不变；

  • Director和各RS都得配置使用VIP；

(1) VIP地址要配置在VS主机和所有的RS主机上
(2) 确保前端路由器将目标IP为VIP的请求报文发往Director，限制RS主机上关于VIP的广播和应答：
    (a) 在前端网关做静态绑定；
    (b) 在RS上使用arptables；
    (c) 在RS上修改内核参数以限制arp通告及应答级别；
        arp_announce
        arp_ignore
(3) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
(4) RS跟Director要在同一个物理网络，VS和所有RS主机之间不能跨路由器
(5) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client
(6) 不支持端口映射

lvs-tun：

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS

(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关不能，也不可能指向DIP
(3) RS的主机上也要配置VIP地址
(3) 请求报文要经由Director，但响应不能经由Director
(4) 不支持端口映射
(5) RS的OS得支持隧道功能

lvs-fullnat：

通过同时修改请求报文的源IP地址和目标IP地址进行转发；

  • CIP –> DIP
  • VIP –> RIP
(1) VIP是公网地址，RIP和DIP是私网地址，可以跨路由器，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；
(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；
(3) 请求和响应报文都经由Director；
(4) 支持端口映射；
注意：此类型默认不支持

ipvs scheduler：

根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：

静态方法：仅根据算法本身进行调度

RR：roundrobin，轮询；把所有的RS主机统计起来，每次有新请求来，以轮询的方式一个个的调度用户请求到RS主机上去

WRR：Weighted RR，加权轮询；把所有的RS主机统计起来，并记录每个RS主机的权值<在这里表示自身的某个服务的处理能力，能力越强，权值越高>，每次有新请求来，以权值的大小进行轮询，调度用户请求到RS主机上去，权值高的主机，会接收到更多的用户请求

SH：Source Hashing，实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS
    DH：提高VS后缓存服务器中缓存的命中率
    DH：多数情况用于缓存服务器

动态方法：主要根据每RS当前的负载状态及调度算法进行调度；

Overhead：VS进行调度的比较器，优先调度给Overhead值小的服务器

LC：least connections  最少连接
    Overhead=activeconns*256+inactiveconns
    基于上面的Overhead算法，计算所有RS主机的Overhead值，把新请求调度到Overhead值小的服务器

WLC：Weighted LC   加权的最少连接
    Overhead=(activeconns*256+inactiveconns)/weight
    基于上面的Overhead算法，计算所有RS主机的Overhead值，把新请求调度到Overhead值小的服务器

SED：Shortest Expection Delay
    Overhead=(activeconns+1)*256/weight
    基于上面的Overhead算法，计算所有RS主机的Overhead值，把新请求调度到Overhead值小的服务器

NQ：Never Queue
    永不排队，每个后端服务器，至少先分一个，然后在使用SED调度算法对新请求进行调度

LBLC：Locality-Based LC，动态的DH算法
    简单的理解就是：类似静态方法的DH算法，但它是动态的

LBLCR：LBLC with Replication，带复制功能的LBLC
    在LBLC上，后端服务器，基于session replication机制，复制一台RS主机的缓存到其他RS主机上，则当老用户进行请求的时候，不仅可以转发给老用户第一次访问的主机，也可以转发给RS其他主机，因为此时其他RS主机也有此老用户访问的缓存

lvs-nat配置：

拓扑结构：

高可用集群-lvs

lvs-nat数据流向图:

高可用集群-lvs

设计要点：

(1) RIP与DIP在同一IP网络, RIP的网关要指向DIP；
    VIP=192.168.0.100
    DIP=172.16.0.1
    RIP-1=172.16.0.2
    RIP-2=172.16.0.3

RS1：

yum -y install httpd net-tools
    
vim /var/www/html/index.html
<h1>RS1</h1>
    
ifconfig ens33:0 172.16.0.2/24 up
route add default gw 172.16.0.1
systemctl start httpd

RS2：

yum -y install httpd net-tools

vim /var/www/html/index.html
<h1>RS2</h1>
    
ifconfig ens33:0 172.16.0.3/24 up
route add default gw 172.16.0.1
systemctl start httpd

VS:

yum install ipvsadm net-tools
ifconfig ens33:0 172.16.0.1/24 up
echo 1 > /proc/sys/net/ipv4/ip_forward
ipvsadm -A -t 192.168.0.100:80 -s rr
ipvsadm -a -t 192.168.0.100:80 -r 172.16.0.2 -m -w 1
ipvsadm -a -t 192.168.0.100:80 -r 172.16.0.3 -m -w 1

lvs-dr配置：

拓扑结构：

高可用集群-lvs

LVS-DR模拟数据流向图

如下图：当客户端请求VIP时，会将请求先发给Director（调度器），调度器发现请求的是一组集群服务，根据调度算法将这一请求转发给RealServer，注意在转发的过程中，仅仅是修改了数据报文中的MAC地址，所以这也是为什么我们要求DR和RS必须在同一个物理网络内，就是为了保证可以通过修改MAC地址而进行数据报文的转发。

另外关于各服务器网络的配置，首先每个服务有一个独立网卡即可。在DR上将DIP配置eth0上，将VIP配置在网络别名上，这样是为了以后调度器做高可用方便VIP做IP地址飘移。在各RS上同样需要配置好VIP，这样个RS就可以直接响应Client，而不需要再经过DR，但是一个物理网络之内是不允许有多个同名IP的，所以需要修改RS的内核参数，并且将VIP配置在LO上，让其保留VIP但是不允许对外进行广播，这样从RS出去的报文源地址就是VIP，当然这需要从真实的物理网卡出去，所以必须加一条路由，让访问VIP的数据包请求，对其响应的是配置了VIP的网卡，这样响应出去的报文源地址就是VIP，可以被Client接受。

高可用集群-lvs

设计要点：

VS上的VIP地址可以直接配置在DIP地址所在的网卡上，Linux主机上，一块网卡可以配置多个地址
RS上的VIP地址必须配置在lo接口上，并且还要关闭arp的响应和通告功能

外网接口：10.1.43.101
内网接口：172.16.0.1

VIP：172.16.0.10
DIP：172.16.0.9
RIP-1：172.16.0.2
RIP-2：172.16.0.3

dr模型中，各主机上均需要配置VIP，解决地址冲突的方式有三步：

(1) 在前端网关做静态绑定
(2) 在各RS使用arptables
(3) 在各RS修改内核参数，来限制arp响应和通告的级别
    限制响应级别：arp_ignore
        0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
        1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应
    
    限制通告级别：arp_announce
        0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告
        1：尽量避免向非直接连接网络进行通告
        2：必须避免向非本网络通告

RS的预配置脚本：

#!/bin/bash
#
vip=172.16.0.10
mask='255.255.255.255'
    
case $1 in
start)
  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    
  ifconfig lo:0 $vip netmask $mask broadcast $vip up
  route add -host $vip dev lo:0
  route add default gw 172.16.0.1
    ;;
        
stop)
    ifconfig lo:0 down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
        
*)
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

VS的配置脚本：

#!/bin/bash
#
vip='172.16.0.10'
iface='eno16777736:0'
mask='255.255.255.255'
port='80'
rs1='172.16.0.2'
rs2='172.16.0.3'
scheduler='wrr'
type='-g'
    
case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables -F
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    ;;
        
stop)
    ipvsadm -C
    ifconfig $iface down
    ;;
        
*)
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

路由器上配置：

ifconfig eno16777736 10.1.43.101/16 up
ifconfig eno33554984 10.1.43.101/16 up
echo 1 > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A PREROUTING -d 10.1.43.101 -p tcp --dport 80 -j DNAT --to-destination 172.16.1.10:80

后记

lvs-dr模型中：vip与dip/rip不在同一网段的实验环境设计及配置实现

提示：在路由器的内网IP接口上配置一个别名IP，此IP同VIP在同一网段

设计要点：

VS上的VIP地址可以直接配置在DIP地址所在的网卡上，Linux主机上，一块网卡可以配置多个地址

RS上的VIP地址必须配置在lo接口上，并且还要关闭arp的响应和通告功能

外网接口：10.1.43.101
内网接口：172.16.0.1 172.16.10.1

VIP：172.16.1.10
DIP：172.16.0.9
RIP-1：172.16.0.2
RIP-2：172.16.0.3

环境

主机：Centos6
主机信息
路由器Centos6
DirectorCentos6
RS1Centos6
RS2Centos6

路由器上的配置：

[ ~]# ifconfig eno16777736 10.1.43.101/16 up 
[ ~]# ifconfig eno33554984 172.16.0.1/24 up
[ ~]# ifconfig eno33554984:0 172.16.1.1/24 up       //配置一个别名，用于同VS主机上的VIP进行通信 

[ ~]# echo 1 > /proc/sys/net/ipv4/ip_forward 
[ ~]# iptables -t nat -A PREROUTING -d 10.1.43.101 -p tcp --dport 80 -j DNAT --to-destination 172.16.1.10:80

RS1上配置：

[ ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[ ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[ ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[ ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    
[ ~]# ifconfig lo:0 172.16.1.10 netmask 255.255.255.255 broadcast 172.16.1.10 up
    
[ ~]# yum -y install httpd
[ ~]# service httpd start
    
[ ~]# cd /var/www/html
[ www]# vim index.html
<h1>172.16.0.2</h1>

RS2上配置：

[ ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[ ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[ ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[ ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    
[ ~]# ifconfig lo:0 172.16.1.10 netmask 255.255.255.255 broadcast 172.16.1.10 up
    
[ ~]# yum -y install httpd
[ ~]# service httpd start
    
[ ~]# cd /var/www/html
[ www]# vim index.html
<h1>172.16.0.3</h1>

VS上配置：

[ ~]# ifconfig eth0:0 172.16.1.10 netmask 255.255.255.255 broadcast 172.16.1.10 up
    
[ ~]# ipvsadm -C
[ ~]# ipvsadm -A -t 172.16.1.10:80 -s rr
[ ~]# ipvsadm -a -t 172.16.1.10:80 -r 172.16.0.2 -g
[ ~]# ipvsadm -a -t 172.16.1.10:80 -r 172.16.0.3 -g

参考文档

https://blog.csdn.net/brad_chen/article/details/47807281

lvs 集群服务器 集群技术

xasdfg

xasdfg

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

LVS+Keepalived实现mysql的负载均衡

现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。LVS

msmysql 2020-06-16

LVS负载均衡策略的部署与应用

2)不足之处是要求负载均衡器与RS在一个物理段上LVS-TUNLVS-TUN模式是通过ip隧道技术减轻lvs调度服务器的压力，很多时候服务器收到的请求包很短小，但应答包通常很大，负载均衡器只负责将请求包分发给后台服务器，后台服务器会直接将应答包返回给用户。

tinydu 2020-06-04

LVS负载均衡

ILVS，是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目。LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作。

zllbirdonland 2020-05-30

kubernetes系列之 service代理模式ipvs

节点： 172.16.20.120 , 集群网络： 10.244.5.0/24 , cni0: 10.244.5.1/24 ，flannel.1: 10.244.5.0/32. Service是由kube-proxy组件实现，而kube-proxy支持多种

薛正华 2020-05-30

Linux技能树

掌握Nginx反向代理、负载均衡等功能掌握Ansible自动化运维工具，熟练使用其常用模块与playbook. 掌握Zabbix监控工具，使用Zabbix监控系统资源及服务检测掌握Git基础操作及GitLab部署

tinydu 2020-04-27

keepalived + LVS DR 构建高可用负载均衡

director server2的搭建类似只需要将keepalived的配置文件中的内容稍作修改state MASTER -> state BACKUPpriority 100 -> priority 90. 启动keepalved服务[[em

快乐de馒头 2020-04-22

搭建LVS DR 负载均衡

三台服务器都关闭防火墙和selinux注:这里仅仅是测试，所以都是暂时关闭，重启将失效。232服务器上安装ipvsadm工具[ ~]# yum -y install ipvsadm编制脚本[ lvs_dir]# cat lvs_dr.sh#!即使vip的端

zllbirdonland 2020-04-20

LVS+keepalived 实现web高可用负载均衡集群

keepalived-1端：[ ~]# [ ~]# yum install keepalived ipvsadm[ ~]# [ ~]# rpm -qa keepalived ipvsadm. virtual_server 192.168.18.110 80

快乐de馒头 2020-04-11

简述LVS（Linux虚拟服务器）

为什么要有负载均衡？因为tomcat后端服务慢。tomcat是位于TCP/IP协议模型的应用层，请求数据传输需要经过完整的七层；在LVS模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS类似，DR模式也叫直接路由

快乐de馒头 2020-04-10

WEB服务器搭建LVS负载均衡集群之DR方式

2）配置路由[ ~]# [ ~]# route add -host 10.0.11.210 dev ens32:1[ ~]#. real_server-2端：[ ~]# [ ~]# ifconfig lo:1 10.0.11.210/32 [ ~]# [

wxthillwill 2020-04-10

负载均衡 lb load balance

HAProxy实现了一种事件驱动,单一进程模型，此模型支持非常大的并发连接数。最新版的已经支持多进程和多线程了。从定位上来说，nginx重点是web服务器，替换的是apache，同时具备lb的作用，haproxy是单纯的lb，可以对照lvs进行比较。从架构

畅聊架构 2020-03-28

LVS基本概念和三种模式

网站架构中，负载均衡技术是实现网站架构伸缩性的主要手段之一。所谓"伸缩性"，是指可以不断向集群中添加新的服务器来提升性能、缓解不断增加的并发用户访问压力。通俗地讲，就是一头牛拉不动时，就用两头、三头、更多头牛来拉。本文所述为LVS，它的

畅聊架构 2020-03-08

CentOS7构建LVS+Keepalived高可用方案

2). 应用范围广，不仅对Web服务做负载均衡，而且可结合其他应用做负载，如LVS+MySQL负载均衡。4). 无流量，LVS只分发请求，而流量并不从它本身出去，这点保证了均衡器IO的性能不会收到大流量的影响。支持上万高并发。负载能力小于LVS。3). 安

魏莉的微 2020-03-08

[转] 四层和七层负载均衡的特点及常用负载均衡Nginx、Haproxy、LVS对比

四层负载均衡工作在 OSI 模型中的四层，即传输层。四层负载均衡只能根据报文中目标地址和源地址对请求进行转发，而无法修改或判断所请求资源的具体类型，然后经过负载均衡内部的调度算法转发至要处理请求的服务器。四层负载均衡单纯的提供了终端到终端的可靠连接，并将请

yungame 2020-03-01

LVS 模式

LC：最少连接---将新的连接请求，分配给连接数最少的服务器 活动连接x256+非活动连接

chenfei0 2020-02-24

LVS（一）

张贺，多年互联网工作经验，担任过网络工程师、系统集成工程师、LINUX系统运维工程师，擅长Web集群架构与自动化运维，曾负责国内某电商运维工作。因为一台服务器性能不足，无法满足大量用户的并发访问需求，有两种解决思路。集群是为了解决某个特定问题将多台计算机组

我爱熊猫 2020-02-23

LVS负载均衡之NAT模式原理及配置详细流程

上篇文章讲述了LVS负载均衡相关理论知识，今天主要来详细地来对LVS工作模式之一的NAT模式进行实验配置。而其最大劣势在于数据的出入口都是在负载均衡器，这样所造成的的后果就是无法支持高并发的数据请求（巨量），并且数据的响应回传过程加剧了这一弊病。

zllbirdonland 2020-02-21

集群--lvs

快一个月没有更新博客了，最近一段时间在忙世界技能大赛网络系统系管理这个项目，没有太多的时间，我百忙之中更新一下。最近赛题中有说到集群这个，lvs这个东西，emm！废话不多说，下面我们就开始讲解一下。集群是一组相互独立的、通过高速网络互联的计算机，它们构成了

zhangwentaohh 2020-01-29

LVS负载均衡DR模式理论讲解

部署LVS_DR群集LVS_DR数据包流向分析为了方便进行原理分析，将Client0与群集机器放在同一网络中，数据包流经路线为1-2-3-41.Client向目标VIP发出请求，Director接收。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信

yungame 2020-01-17

LVS负载均衡群集（三种工作模式原理详解）

在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心。所以我们需要通过一些方法来解决这样的瓶颈。最简单的方法就是使用价格昂贵的大、小型的主机；但这样在大多数企业中显然是不可取或者说不现实的。而LVS是一个虚

zllbirdonland 2020-01-17
xasdfg

xasdfg

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号