背景

这个事情的背景是生产环境的数据采集流程时不时会出问题（这个也是不可避免的），目前的处理手段是：所有的数据接口服务器（也就是存放原始数据等待采集的服务器）都部署一模一样的2台，数据也传的一模一样，然后当采集程序采集当前节点的数据异常的时候，由运维人员去改配置手动的切换。
这样操作面临的问题不用多说，首先就是时效性的问题，就算数据断了能够及时发出告警，等到运维人员处理完成那也是至少几十分钟后了，所以高可用的实现还是很有必要的。
简单调研下来还是只能用Keepalived来做这个软负载，毕竟客户不愿意出钱（铁 公 鸡）去购买F5设备这些东西做硬负载，所以就基于这个目标开干。

1. 由于是做高可用，且我们的使用场景不是主备，应该是角色相同的两个服务器，所以不使用Keepalived的抢占式机制，改为非抢占。

复制代码

准备工作


服务器和VIP

准备2台服务器和一个VIP：

• 服务器A：172.18.0.26，sftp等服务提前装好
  
• 服务器B：172.18.0.27，sftp等服务提前装好
  
• VIP：172.18.0.78，虚拟IP，用于对外访问，在AB之间漂移
  

Keepalived软件

因为官网提供的是源码包的下载，为了方便后续实施人员在环境上做安装操作，做成RPM包更稳妥点，Centos7的官方仓库RPM包也是很老的版本，好像是1.3.X的，最新版已经2.2.8了，所以这里要自己打一下包，先写SPEC文件，保存为

1. keepalived.spec

复制代码

：

1. %bcond_without snmp
   
2. %bcond_without vrrp
   
3. %bcond_without sha1
   
4. %bcond_with profile
   
5. %bcond_with debug
   
6. %if 0%{?rhel} && 0%{?rhel} <= 6
   
7. %bcond_with nftables
   
8. %bcond_with track_process
   
9. %bcond_with libiptc
   
10. %else
    
11. %bcond_without nftables
    
12. %bcond_without track_process
    
13. %bcond_without libiptc
    
14. %endif
    
15. 
    
16. %global _hardened_build 1
    
17. 
    
18. Name: keepalived
    
19. Summary: High Availability monitor built upon LVS, VRRP and service pollers
    
20. Version: 2.2.8
    
21. Release: 1%{?dist}
    
22. License: GPLv2+
    
23. URL: http://www.keepalived.org/
    
24. Group: System Environment/Daemons
    
25. 
    
26. Source0: http://www.keepalived.org/software/keepalived-%{version}.tar.gz
    
27. Source1: keepalived.service
    
28. Source2: keepalived.init
    
29. 
    
30. # distribution specific definitions
    
31. %define use_systemd (0%{?fedora} && 0%{?fedora} >= 18) || (0%{?rhel} && 0%{?rhel} >= 7) || (0%{?suse_version} == 1315)
    
32. 
    
33. %if %{use_systemd}
    
34. Requires(post): systemd
    
35. Requires(preun): systemd
    
36. Requires(postun): systemd
    
37. %else
    
38. Requires(post): /sbin/chkconfig
    
39. Requires(preun): /sbin/chkconfig
    
40. Requires(preun): /sbin/service
    
41. Requires(postun): /sbin/service
    
42. %endif
    
43. 
    
44. BuildRoot: %{_tmppath}/%{name}-%{version}-%{release}-root-%(%{__id_u} -n)
    
45. %if %{with snmp}
    
46. BuildRequires: net-snmp-devel
    
47. %endif
    
48. %if %{use_systemd}
    
49. BuildRequires: systemd-units
    
50. %endif
    
51. BuildRequires: openssl-devel
    
52. BuildRequires: libnl3-devel
    
53. BuildRequires: ipset-devel
    
54. BuildRequires: iptables-devel
    
55. BuildRequires: libnfnetlink-devel
    
56. 
    
57. %if (0%{?rhel} && 0%{?rhel} >= 7)
    
58. Requires: ipset-libs
    
59. %endif
    
60. 
    
61. %description
    
62. Keepalived provides simple and robust facilities for load balancing
    
63. and high availability to Linux system and Linux based infrastructures.
    
64. The load balancing framework relies on well-known and widely used
    
65. Linux Virtual Server (IPVS) kernel module providing Layer4 load
    
66. balancing. Keepalived implements a set of checkers to dynamically and
    
67. adaptively maintain and manage load-balanced server pool according
    
68. their health. High availability is achieved by VRRP protocol. VRRP is
    
69. a fundamental brick for router failover. In addition, keepalived
    
70. implements a set of hooks to the VRRP finite state machine providing
    
71. low-level and high-speed protocol interactions. Keepalived frameworks
    
72. can be used independently or all together to provide resilient
    
73. infrastructures.
    
74. 
    
75. %prep
    
76. %setup -q
    
77. 
    
78. %build
    
79. %configure \
    
80.     %{?with_debug:--enable-debug} \
    
81.     %{?with_profile:--enable-profile} \
    
82.     %{!?with_vrrp:--disable-vrrp} \
    
83.     %{?with_snmp:--enable-snmp --enable-snmp-rfc} \
    
84.     %{?with_sha1:--enable-sha1} \
    
85.     %{!?with_nftables:--disable-nftables} \
    
86.     %{!?with_track_process:--disable-track-process} \
    
87.     %{!?with_libiptc:--disable-libiptc}
    
88. %{__make} %{?_smp_mflags} STRIP=/bin/true
    
89. 
    
90. %install
    
91. rm -rf %{buildroot}
    
92. make install DESTDIR=%{buildroot}
    
93. rm -rf %{buildroot}%{_sysconfdir}/keepalived/samples/
    
94. rm -rf %{buildroot}%{_defaultdocdir}/keepalived/
    
95. %if %{use_systemd}
    
96. rm -rf %{buildroot}%{_initrddir}/
    
97. %{__install} -p -D -m 0644 %{SOURCE1} %{buildroot}%{_unitdir}/keepalived.service
    
98. %else
    
99. rm %{buildroot}%{_sysconfdir}/init/keepalived.conf
    
100. %{__install} -p -D -m 0755 %{SOURCE2} %{buildroot}%{_initrddir}/keepalived
     
101. %endif
     
102. mkdir -p %{buildroot}%{_libexecdir}/keepalived
     
103. 
     
104. %clean
     
105. rm -rf %{buildroot}
     
106. 
     
107. %post
     
108. %if %{use_systemd}
     
109. %systemd_post keepalived.service
     
110. %else
     
111. /sbin/chkconfig --add keepalived
     
112. %endif
     
113. 
     
114. %preun
     
115. %if %{use_systemd}
     
116. %systemd_preun keepalived.service
     
117. %else
     
118. if [ "$1" -eq 0 ]; then
     
119.     /sbin/service keepalived stop >/dev/null 2>&1
     
120.     /sbin/chkconfig --del keepalived
     
121. fi
     
122. %endif
     
123. 
     
124. %postun
     
125. %if %{use_systemd}
     
126. %systemd_postun_with_restart keepalived.service
     
127. %else
     
128. if [ "$1" -eq 1 ]; then
     
129.     /sbin/service keepalived condrestart >/dev/null 2>&1 || :
     
130. fi
     
131. %endif
     
132. 
     
133. %files
     
134. %defattr(-,root,root,-)
     
135. %attr(0755,root,root) %{_sbindir}/keepalived
     
136. %config(noreplace) %attr(0644,root,root) %{_sysconfdir}/sysconfig/keepalived
     
137. %config(noreplace) %attr(0644,root,root) %{_sysconfdir}/keepalived/keepalived.conf.sample
     
138. %doc AUTHOR ChangeLog CONTRIBUTORS COPYING README README.md TODO
     
139. %doc doc/keepalived.conf.SYNOPSIS doc/samples/keepalived.conf.*
     
140. %dir %{_sysconfdir}/keepalived/
     
141. %dir %{_libexecdir}/keepalived/
     
142. %if %{with snmp}
     
143. %{_datadir}/snmp/mibs/KEEPALIVED-MIB.txt
     
144. %{_datadir}/snmp/mibs/VRRP-MIB.txt
     
145. %{_datadir}/snmp/mibs/VRRPv3-MIB.txt
     
146. %endif
     
147. %{_bindir}/genhash
     
148. %if %{use_systemd}
     
149. %{_unitdir}/keepalived.service
     
150. %else
     
151. %{_initrddir}/keepalived
     
152. %endif
     
153. %{_mandir}/man1/genhash.1*
     
154. %{_mandir}/man5/keepalived.conf.5*
     
155. %{_mandir}/man8/keepalived.8*

复制代码

把这个spec文件放在

1. rpmbuild/SPECS

复制代码

下，把官网下载的源码包放在

1. rpmbuild/SOURCES

复制代码

下然后执行编译命令：

1. rpmbuild -bb ~/rpmbuild/SPECS/keepalived.spec

复制代码

该命令成功后会在

1. rpmbuild/RPMS/x86_64/

复制代码

目录下生成这两个rpm包：

我们只需要用

1. keepalived-2.2.8-1.el7.x86_64.rpm

复制代码

包就行了。

实施


安装Keepalived软件

rpm包拷贝到服务器A和服务器B上做安装，或者自己会做yum就做成yum装，要方便些，不用到处scp：

1. rpm -ivh keepalived-2.2.8-1.el7.x86_64.rpm

复制代码

如果报了缺少

1. libnetsnmp

复制代码

之类的依赖，需要安装几个依赖软件：

1. yum install -y net-snmp-libs net-snmp-agent-libs

复制代码

准备健康检查脚本

准备以下健康脚本用来检查服务的状态，这个脚本可以根据实际情况来改动：

1. #!/bin/bash
   
2. 
   
3. # 检查SSH服务是否正在运行
   
4. ssh_status=$(systemctl is-active sshd)
   
5. 
   
6. # 判断SSH服务状态
   
7. if [ "$ssh_status" = "active" ]; then
   
8.     exit 0
   
9. else
   
10.     systemctl stop keepalived
    
11.     exit 1
    
12. fi

复制代码

当sshd服务异常的时候，sftp自然不能用了，keepalived也就没有必要启动了，于是执行stop逻辑

配置服务器

上面说到，我们使用的是非抢占式的模式，所以配置文件这样写，只要注意改动几个特别说明的字段就可以：

1. ! Configuration File for keepalived
   
2. 
   
3. global_defs {
   
4.    router_id LVS_DEVEL
   
5.    vrrp_skip_check_adv_addr
   
6.    vrrp_garp_interval 0
   
7.    vrrp_gna_interval 0
   
8. }
   
9. 
   
10. vrrp_script check_sftp {
    
11.     script "/etc/keepalived/scripts/check_sftp.sh"
    
12.     interval 2
    
13.     timeout 5
    
14.     fall 2
    
15.     rise 1
    
16. }
    
17. 
    
18. 
    
19. # 节点配置内容
    
20. vrrp_instance VI_1 {
    
21.     state BACKUP
    
22.     interface p1p2 # 绑定VIP的网卡
    
23.     nopreempt # 配置为非抢占式
    
24.     virtual_router_id 53
    
25.     mcast_src_ip 172.18.0.26
    
26.     priority 100
    
27.     advert_int 1
    
28.     authentication {
    
29.         auth_type PASS
    
30.         auth_pass 1111
    
31.     }
    
32.     virtual_ipaddress {
    
33.         172.18.0.78
    
34.     }
    
35. 
    
36.     track_script {
    
37.         check_sftp
    
38.     }
    
39. }
    
40. 
    
41. # 注意此处
    
42. virtual_server 172.18.0.78 22 { # 虚拟服务
    
43.     delay_loop 6
    
44.     lb_algo rr
    
45.     lb_kind DR
    
46.     nat_mask 255.255.255.0   
    
47.     persistence_timeout 0
    
48.     protocol TCP
    
49.    
    
50.     real_server 172.18.0.26 22 { # 实际对应的服务，这是A服务器的
    
51.         weight 1
    
52.         TCP_CHECK {
    
53.             connect_timeout 8
    
54.             nb_get_retry 3
    
55.             delay_before_retry 3
    
56.             connect_port 22 # 服务端口
    
57.         }
    
58.     }
    
59. 
    
60.     real_server 172.18.0.27 22 { # 实际对应的服务，这是B服务器的
    
61.         weight 1
    
62.         TCP_CHECK {
    
63.             connect_timeout 8
    
64.             nb_get_retry 3
    
65.             delay_before_retry 3
    
66.             connect_port 22 # 服务端口
    
67.         }
    
68.     }
    
69. }

复制代码

按照上述配置配置好2台服务器，然后分别启动keepalived服务：

1. systemctl start keepalived
   
2. systemctl status keepalived

复制代码

我们可以通过ip addr查看当前vip绑定的机器是服务器B

测试验证

接下来测试验证一下高可用的能力，为了方便区分，首先在两个服务器的root目录下放不同的文件，如果使用别的用户测试就放在对应用户的默认目录下就行，编写以下的测试脚本：

1. import time
   
2. import paramiko
   
3. 
   
4. host = "172.18.0.78"
   
5. username = "root"
   
6. password = "xxxxx"
   
7. 
   
8. print("开始运行测试脚本")
   
9. ssh_client = paramiko.SSHClient()
   
10. print("首次建立ssh和sftp连接")
    
11. ssh_client.set_missing_host_key_policy(paramiko.WarningPolicy)
    
12. ssh_client.connect(hostname=host, username=username, password=password)
    
13. sftp = ssh_client.open_sftp()
    
14. while True:
    
15.     try:
    
16.         tran = ssh_client.get_transport()
    
17.         if tran.is_active():
    
18.             print("检测到ssh连接已经建立，直接执行测试逻辑")
    
19.             # 如果连接已经建立
    
20.             print(sftp.listdir())
    
21.         else:
    
22. 
    
23.             ssh_client.connect(
    
24.                 hostname=host, username=username, password=password)
    
25.             sftp = ssh_client.open_sftp()
    
26.     except Exception as e:
    
27.         print("检测到ssh发生主备切换，重新建立sftp连接")
    
28.         ssh_client.connect(hostname=host, username=username, password=password)
    
29.         sftp = ssh_client.open_sftp()
    
30.     time.sleep(10)

复制代码

脚本会每隔十秒就在sftp上面列出以下当前目录，运行起来：

然后我们后台去停止主节点（当前是服务器B）的keepalived服务：

1. systemctl stop keepalived

复制代码

总结

ok，大功告成
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

来源：互联网
免责声明：如果侵犯了您的权益，请联系站长（1277306191@qq.com），我们会及时删除侵权内容，谢谢合作！