浙江11选5任选走势:Linux基礎教程之cluster集群全講解

浙江11选5任3遗漏 www.ehxis.com ??Linux cluster集群

Linux cluster(集群):

cluster:計算機組合,為解決某個特定問題組合起來形成的單個系統;

 

Linux Cluster類型:

???LB:Load Balancing,負載均衡;

???HA:High Availiablity,高可用;

???A=MTBF(平均無故障時長)/(MTBF+MTTR(平均修復時間))

(0,1):90%, 95%, 99%, 99.5%, ?99.9%, 99.99%, 99.999%

???????A=(0<=1)

???HP:High Performance,高性能;

 

全球計算機性能評測網站:www.top500.org??

 

系統擴展方式:

Scale UP:向上擴展

Scale Out:向外擴展Cluster集群

 

LB Cluster負載均衡集群:

???LB Cluster的實現:

?硬件:

???F5 Big-IP

???Citrix Netscaler

???A10 A10

??軟件:

lvs:Linux Virtual Server

nginx

haproxy

ats:apache traffic server

perlbal

pound

 

基于工作的協議層次劃分:

???傳輸層(通用):(DPORT)主要根據目標端口進行轉發;

lvs:主要工作在傳輸層調度;

nginx:(stream)模擬傳輸層調度;

haproxy:(mode tcp)模擬傳輸層調度;

應用層(專用):(自定義的請求模型分類)

proxy server:

???http:nginx, httpd, haproxy(mode http), …

???fastcgi:nginx, httpd, …

???mysql:mysql-proxy, …

????站點指標:

PV:Page View?頁面入口的瀏覽量;

UV:Unique Vistor?獨立的訪問者;

IP:訪問網站時使用的外網地址;

 

會話保持:

???(1) session sticky:會話粘性;

Source IP

Cookie?追蹤用戶身份;

???(2) session replication;

session cluster

???(3) session server

??主從復制集群;

 

lvs:Linux Virtual Server

VS: Virtual Server

RS: Real Server

lvs在不適用的場合使用會帶來的麻煩:

??lvs太原生態,使得很多輔助性的工具可控性極低,因為它只是為了調度而生。

??lvs不適用小型站點。

 

lvs:四層路由器,四層交換機;

VS:根據請求報文的目標IP和目標協議及端口將其調度轉發至某RealServer,根據調度算法來挑選RS;

 

iptables/netfilter:

iptables:用戶空間的管理工具;

netfilter:內核空間上的框架;

流入:PREROUTING –> INPUT

流出:OUTPUT –> POSTROUTING

轉發:PREROUTING –> FORWARD –> POSTROUTING

 

DNAT:目標地址轉換;?PREROUTING;

 

lvs: ipvsadm/ipvs

ipvsadm:用戶空間的命令行工具,規則管理器,用于管理集群服務及RealServer;

ipvs:工作于內核空間的netfilterINPUT鉤子之上的框架;

注意:一般不建議在lvs調度服務器上做太多的iptables過濾規則。

 

lvs集群類型中的術語:

vs:Virtual Server, Director, Dispatcher, Balancer

rs:Real Server, upstream server, backend server

CIP:Client IP, VIP: Virtual serve ip , DIP: Director IP,RIP: Real server IP

CIP <–> VIP == DIP <–> RIP

 

OS七層模型:

應用層

表示層

會話層

傳輸層

網絡層

數據鏈路層

物理層

 

lvs集群的類型:

lvs-nat:修改請求報文的目標IP;

lvs-dr:重新封裝新的MAC地址,默認使用的類型;

lvs-tun:在原請求IP報文之外新加一個IP首部;

lvs-fullnat:修改請求報文的源和目標IP;

 

lvs-nat:

多目標IP的DNAT,通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現轉發;

(1)RIP和DIP必須在同一個IP網絡,且應該使用私網地址;RS的網關要指向DIP;

(2)請求報文和響應報文都必須經由Director轉發;Director易于成為系統瓶頸;

(3)支持端口映射,可修改請求報文的目標PORT;

(4)vs必須是Linux系統,rs可以是任意系統;

 

lvs-dr:

???Direct Routing,直接路由;

???通過為請求報文重新封裝一個MAC首部進行轉發,源MAC是DIP所在的接口的MAC,目標MAC是某挑選出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目標IP/PORT均保持不變;

???Director和各RS都得配置使用VIP;

(1)?確保前端路由器將目標IP為VIP的請求報文發往Director:

(a)?在前端網關做靜態綁定,此種方案不可行;

(b)?在RS上使用arptables;

????(c)?在RS上修改內核參數以限制arp通告及應答級別;

arp_announce

arp_ignore

(2) RS的RIP可以使用私網地址,也可以是公網地址;RIP與DIP在同一IP網絡;RIP的網關不能指向DIP,以確保響應報文不會經由Director,在RS的lo別名網卡上配置vip地址;

(3) RS跟Director要在同一個物理網絡;

(4)?請求報文要經由Director,但響應不能經由Director,而是由RS直接發往Client;

(5)?不支持端口映射;

 

lvs-tun:

???轉發方式:不修改請求報文的IP首部(源IP為CIP,目標IP為VIP),而在原IP報文之外再封裝一個IP首部(源IP是DIP,目標IP是RIP),將報文發往挑選出的目標RS;

(1)?DIP, VIP, RIP都應該是公網地址;

(2) RS的網關不能,也不可能指向DIP,在RS的lo別名網卡上配置vip地址;

(3)?請求報文要經由Director,但響應不能經由Director;

(4)?不支持端口映射;

(5) RS的OS得支持隧道功能;

客戶端請求:

?client—–CIP VIP——->director——–CIP VIP ?DIP RIP———realserver(在lo別名上配置vip);

服務器響應請求:

?realserver——VIP CIP———client

????

 

lvs-fullnat:

通過同時修改請求報文的源IP地址和目標IP地址進行轉發;

CIP –> DIP

VIP –> RIP

(1) VIP是公網地址,RIP和DIP是私網地址,且通常不在同一IP網絡;因此,RIP的網關一般不會指向DIP;

(2) RS收到的請求報文源地址是DIP,因此,只需響應給DIP;但Director還要將其發往Client;

(3)?請求和響應報文都經由Director;

(4)?支持端口映射;

 

??注意:lvs-fullnat型lvs默認不支持;

 

ipvs scheduler(調度):

根據其調度時是否考慮各RS當前的負載狀態,可分為靜態方法和動態方法兩種:

靜態方法:僅根據算法本身進行調度;

RR:roundrobin,輪詢;

WRR:Weighted RR,加權輪詢;

SH:Source Hashing,實現session sticy,源IP地址hash;將來自于同一個IP地址的請求始終發往第一次挑中的RS,從而實現會話綁定;

????DH:Destination Hashing;目標地址哈希,將發往同一個目標地址的請求始終轉發至第一次挑中的RS;

 

動態方法:主要根據每RS當前的負載狀態及調度算法進行調度;

Overhead=

LC:least connections

Overhead=activeconns*256+inactiveconns

WLC:Weighted LC

Overhead=(activeconns*256+inactiveconns)/weight

SED:Shortest Expection Delay

Overhead=(activeconns+1)*256/weight

NQ:Never Queue

 

LBLC:Locality-Based LC,動態的DH算法;

LBLCR:LBLC with Replication,帶復制功能的LBLC;

?

ipvsadm/ipvs:

ipvs:

??~]# grep -i -C 10 “ipvs” /boot/config-3.10.0-327.el7.x86_64

??支持的協議:TCP,?UDP,?AH,?ESP,?AH_ESP, SCTP;

ipvs集群:

集群服務

服務上的RS

 

ipvsadm命令:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]

ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

 

?管理集群服務:增、改、刪;

增、改:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

 

刪:

ipvsadm -D -t|u|f service-address

 

service-address:

-t|u|f:

-t: TCP協議的端口,VIP:TCP_PORT

-u: TCP協議的端口,VIP:UDP_PORT

-f:firewall MARK,是一個數字;

 

[-s scheduler]:指定集群的調度算法,默認為wlc;

 

管理集群上的RS:增、改、刪;

增、改:

???ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

 

?刪:

ipvsadm -d -t|u|f service-address -r server-address

 

server-address:

rip[:port]

 

選項:

lvs類型:

-g: gateway, dr類型

-i: ipip, tun類型

-m: masquerade, nat類型

-w weight:權重;

 

清空定義的所有內容:

ipvsadm -C

 

查看:

ipvsadm -L|l [options]

?–numeric, -n:numeric output of addresses and ports

?–exact:expand numbers (display exact values)

?–connection,?-c:output of current IPVS connections

?–stats:output of statistics information

–rate?:output of rate information

 

保存和重載:

ipvsadm -S = ipvsadm-save

ipvsadm -R = ipvsadm-restore

 

實驗測試lvs集群:

??實驗環境:準備4臺虛擬機,配置一個lvs-nat的lvs集群;

???client客戶機IP為192.168.3.7

???director調度服務器準備兩塊網卡,network 1?(vip):192.168.3.5 ?network 2(Dip)?:192.168.22.1

???realserver1 httpd服務器rip為192.168.22.2 gateway:192.168.22.1

????????在realserver1 httpd配置訪問主頁realserver 1

???realserver2 httpd服務器rip為192.168.22.3gateway:192.168.22.1

????????在realserver2 httpd配置訪問主頁realserver 2

 

?1)以上實驗測試環境準備好之后,我們就可以配置lvs director調度服務器了。

在director調度服務器上開啟路由轉發功能;

blob.png

2)在director調度服務器上配置調度服務,使用rr輪循調配:

blob.png

3)測試lvs的rr輪循功能:

blob.png

4)修改director調度服務器調度方式為wrr加權輪循:

blob.png

5)測試lvs的wrr加權輪循功能:

blob.png

6)修改director調度服務器調度方式為SH源地址哈希:

blob.png

7)測試lvs的SH源地址哈希功能,將客戶端IP第一次訪問的realserver始終綁定在固定的第一次訪問的realserver上。

blob.png

負載均衡集群的設計要點:

(1)?是否需要會話保持;

(2)?是否需要共享存儲;

共享存儲:NAS,?SAN,?DS(分布式存儲)

數據同步:

課外作業:rsync+inotify實現數據同步,一般不建議使用。

 

lvs-nat:

???設計要點:

(1) RIP與DIP在同一IP網絡, RIP的網關要指向DIP;

(2)?支持端口映射;

實踐作業(博客):負載均衡一個php應用;

測試:(1)?是否需要會話保持;(2)?是否需要共享存儲;

 

lvs-dr:

???dr模型中,各主機上均需要配置VIP,解決地址沖突的方式有三種:

?(1)?在前端網關做靜態綁定;不可用;

?(2)?在各RS使用arptables;比較麻煩;

?(3)?在各RS修改內核參數,來限制arp響應和通告的級別;可行;

限制響應級別:arp_ignore(響應)

0:默認值,表示可使用本地任意接口上配置的任意地址進行響應;

1:?僅在請求的目標IP配置在本地主機的接收到請求報文接口上時,才給予響應;

限制通告級別:arp_announce(通告)

0:默認值,把本機上的所有接口的所有信息向每個接口上的網絡進行通告;

1:盡量避免向非直接連接網絡進行通告;

2:必須避免向非本網絡通告;

實驗測試lvs集群:

??實驗環境:準備4臺虛擬機,配置一個lvs-nat的lvs集群;

 

實驗測試lvs集群:

??實驗環境:準備4臺虛擬機,配置一個lvs-dr的lvs集群;

??client客戶機IP為:192.168.3.7;

??director調度服務器配置一塊網卡,在eno16777736上配置dip:192.168.3.5,在eno16777736:0別名上配置vip:192.168.3.6

 

??realserver1 httpd服務器rip為192.168.3.2,在lo網卡上配置別名vip:192.168.3.6,配置arp_ignore=1 ,arp_announce=2

?????realserver2 httpd服務器rip為192.168.3.8,在lo網卡上配置別名vip:192.168.3.6,配置arp_ignore=1 ,arp_announce=2

 

??1)在director調度服務器上配置eno16777736:0別名上配置vip:192.168.3.6:

blob.png

? 2)在realserver1 lo網卡別名上配置VIP:192.168.3.6,配置arp_ignore=1 ,arp_announce=2配置網頁為<h>realserver1</h>為了方便配置,簡化重復操作,提高效率我們可以編寫腳本setlvs.sh

blob.png

blob.png

3)在realserver2上同樣執行setlvs.sh腳本文件,配置vip在lo網卡別名上,配置arp_ignore=1 ,arp_announce=2,配置網頁為:<h>realserver2</h>

blob.png

blob.png

4)配置director調度服務器為wrr加權輪循,lvs類型為lvs-dr:

?blob.png

 

5)測試lvs-dr加權輪循:

blob.png

FWM:FireWall Mark?(防火墻標記)

借助于防火墻標記來分類報文,而后基于標記定義集群服務;可將多個不同的應用使用同一個集群服務進行調度;

 

????打標記方法(在Director主機):

???# iptables -t mangle -A PREROUTING -d $vip -p $proto –dport $port -j MARK –set-mark NUMBER

 

基于標記定義集群服務:

???# ipvsadm -A -f NUMBER [options]

 

lvs persistence:持久連接

??持久連接模板:實現無論使用任何算法,在一段時間內,實現將來自同一個地址的請求始終發往同一個RS;

 

??ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

 

??port Affinity:

每端口持久:每集群服務單獨定義,并定義其持久性;

每防火墻標記持久:基于防火墻標記定義持久的集群服務;可實現將多個端口上的應用統一調度,即所謂的port Affinity;

每客戶端持久:基于0端口定義集群服務,即將客戶端對所有應用的請求統統調度至后端主機,而且必須使用持久連接進行綁定;

blob.png

保存及重載規則:

保存:建議保存至/etc/sysconfig/ipvsadm

ipvsadm-save > /PATH/TO/IPVSADM_FILE

ipvsadm -S > /PATH/TO/IPVSADM_FILE

systemctl stop ipvsadm.service

 

重載:

ipvsadm-restore < /PATH/FROM/IPVSADM_FILE

ipvsadm -R < /PATH/FROM/IPVSADM_FILE

systemctl restart ipvsadm.service

考慮:

(1) Director不可用,整個系統將不可用;SPoF

解決方案:高可用

keepalived

heartbeat/corosync

(2)?某RS不可用時,Director依然會調度請求至此RS;

解決方案:對各RS的健康狀態做檢查,失敗時禁用,成功時啟用;

keepalived

heartbeat/corosync, ldirectord

檢測方式:

(a)?網絡層檢測;

(b)?傳輸層檢測,端口探測;

(c)?應用層檢測,請求某關鍵資源;

 

ok –> failure

failure –> ok

 

實驗測試:

?搭建lvs-dr類型的MySQL集群做防火墻標記:

?client?客戶機IP:192.168.3.7;

?director調度服務器配置一塊網卡,在eno16777736上配置dip:192.168.3.5,在eno16777736:0別名上配置vip:192.168.3.6

blob.png

realserver1 mysql服務器rip為192.168.3.2,在lo網卡上配置別名vip:192.168.3.6,配置arp_ignore=1 ,arp_announce=2

?????realserver2 mysql服務器rip為192.168.3.8,在lo網卡上配置別名vip:192.168.3.6,配置arp_ignore=1 ,arp_announce=2,創建一個數據庫mydb以表示和realserver的區別;

 

我們就延用以上lvs-dr httpd實驗的配置:

1)在realserver1?服務器上安裝數據庫,授權一個test用戶可以遠程登錄:

blob.png

2)在realserver2服務器上安裝數據庫,授權一個test用戶可以遠程登錄并創建一個mydb的數據庫:

blob.png

創建mydb數據庫:

blob.png

3)配置director調度服務器,添加3306端口的調度和80端口的調度:

blob.png

blob.png

4)測試MySQL的lvs-dr類型的調度:

blob.png

5)測試httpd的lvs-dr類型的調度:

blob.png

由此可以看出MySQL和httpd是分別進行調度的。

5)使用IPvsadm -C清除調度器上的調度規則。并配置防火墻規則進行調度;

blob.png

blob.png

blob.png

6)測試防火墻標記調度:

blob.png

blob.png

使用ipvsadm -S?保存ipvsadm規則到/etc/sysconig/ipvsadm

????ipvsadm ?-S ?> /etc/sysconfig/ipvsadm

使用ipvsadm -R?重載ipvsadm規則

????ipvsadm -R ?< /etc/sysconfig/ipvsadm?

相關新聞

聯系我們

400-080-6560

在線咨詢:點擊這里給我發消息

郵件:[email protected]

工作時間:周一至周日,09:00-18:30

QR code