CommuniGate Pro: балансувальник Навантаження Кластера

1. Linux IPVS

версія 6.2

Кластерна архітектура CommuniGate Pro дозволяє балансувальник навантаження направити будь-яке з'єднання на кожен працюючий Сервер, знімаючи необхідність в складних і ненадійних балансувальник навантаження, що працюють на більш "високому рівні" прикладних протоколів. Для управління трафіком можуть використовуватися недорогі Комутатори, що працюють на Рівні OSI 4.

Додатково, Динамічний Кластер CommuniGate Pro здатний управляти програмними балансувальник навантаження, такими як модуль "ipvs" ядра ОС Linux: Кластер CommuniGate Pro збирає інформацію про працюючих серверів, що належать одній або більш "групам балансування", з'ясовує, які з серверів можуть використовуватися в якості балансувальник , призначає балансувальник один з серверів групи, інформуючи його про інших членів цієї групи, і призначає балансувальник інший сервер, якщо поточний був зупинений.

DSR (Direct Server Response, Прямий Відповідь Сервера) є найкращим методом Балансування Навантаження при великих установках. При використанні цього методу кожен Сервер налаштований для використання VIP (Віртуального адреси IP) в якості локального. Це дозволяє кожному сервера приймати пакети, адресовані на адреси VIP, і відповідати клієнтам, використовуючи VIP в якості адреси відправника.
Сервери не повинні відповідати на запити arp на ці адреси VIP. Замість них на ці запити відповідає балансувальник, і, таким чином, всі вхідні пакети надсилаються на балансувальник, який перенаправляє їх на Сервери. Перепосилаемие пакети адресуються прямо на MAC адресу Сервера, без зміни адреси призначення, яким залишається VIP.

Зверніть увагу: Через те, що для перенаправлення вхідних пакетів використовуються MAC адреси, Балансувальник Навантаження і все балансується сервери (зазвичай - фронтенда-Сервери Кластера CommuniGate Pro) повинні входити в один сегмент мережі; між балансувальник Навантаження і цими серверами не повинно бути ніякого Маршрутизатора.

ifconfig lo0: 1 plumb
ifconfig lo0: 1 VIP netmask 255.255.255.255 up

ifconfig_lo0_alias0 = "inet VIP netmask 255.255.255.255"

ifconfig lo: 0 VIP netmask 255.255.255.255 up

ip address add VIP / 32 dev lo

DEVICE = lo
IPADDR = VIP
NETMASK = 255.255.255.255
ONBOOT = yes

Переконайтеся, що ядро ​​налаштоване так, що воно не розсилає пакети ARP для цього lo інтерфейсу (так що VIP адреси не пов'язані ні з яким фронтенда-Сервером в таблицях ARP). Залежно від версії ядра Linux, в файл /etc/sysctl.conf повинні бути додані наступні команди:

# ARP: reply only if the target IP address is
# A local address configured on the incoming interface
net.ipv4.conf.all.arp_ignore = 1
#
# When an arp request is received on eth0, only respond
# If that address is configured on eth0.
net.ipv4.conf.eth0.arp_ignore = 1
#
# Enable configuration of arp_announce option
net.ipv4.conf.all.arp_announce = 2
# When making an ARP request sent through eth0, always use an address
# That is configured on eth0 as the source address of the ARP request.
net.ipv4.conf.eth0.arp_announce = 2
#
# Repeat for eth1, eth2 (if exist)
# Net.ipv4.conf.eth1.arp_ignore = 1
# Net.ipv4.conf.eth1.arp_announce = 2
# Net.ipv4.conf.eth2.arp_ignore = 1
# Net.ipv4.conf.eth2.arp_announce = 2

Якщо ви плануєте використовувати кілька балансируемого адрес VIP, або якщо ви плануєте використовувати програмний балансувальник IPVS під керуванням CommuniGate Pro, не треба створювати файли / etc / sysconfig / network-scripts / ifcfg-lo: n.
Створіть файл / etc / sysconfig / vipaddrs і запишіть все адреси VIP в нього - як адреси або підмережі, за однією адресою на рядок. наприклад:

# Single addresses
72.20.112.45
72.20.112.46
# A subnetwork
72.20.112.48/29

Зверніть увагу: рядки, що починаються з символу # ігноруються. Їх можна використовувати в якості коментарів.

Зверніть увагу: маски підмереж повинні бути 24 біта або більше.

Створіть наступні конфігураційні сценарії:

#! / Bin / bash
#
# / Etc / sysconfig / network-scripts / ifvip-utils
#
VIPADDRFILE = "/ etc / sysconfig / vipaddrs"
VIPLIST = "" # list of VIP masks: xxx.yy.zz.tt/mm where mm should be> = 24
for xVIP in `cat $ VIPADDRFILE | grep -v '^ #' `; do
if [[$ xVIP! = * / *]]; then xVIP = $ xVIP / 32; fi
if (($ {xVIP ## * /} <24)); then
echo "Incorrect mask: $ xVIP"> 2; exit 1;
fi
VIPLIST = "$ VIPLIST $ xVIP"
done
CURRENT = `ip address show dev lo | egrep '^ + inet [0-9] + \. [0-9] + \. [0-9] + \. [0-9] + \ / 32. * $' | sed -r 's / + inet ([0-9] + \. [0-9] + \. [0-9] + \. [0-9] +). * / \ 1 /' `
function contains () {
local x;
for x in $ 1; do
if [[$ x == $ 2]]; then return 0; fi
done
return 1
}

#! / Bin / bash
#
# / Etc / sysconfig / network-scripts / ifup-lo
#
/ Etc / sysconfig / network-scripts / ifup-eth $ {1} $ {2}
#
# Bring up all addresses listed in the VIPADDRFILE file, as lo aliases
#
. / Etc / sysconfig / network-scripts / ifvip-utils
for xVIP in $ VIPLIST; do
xIP = $ {xVIP% / *} # xx.xx.xx.yy / mm -> xx.xx.xx.yy
xIP0 = $ {xIP%. *} # xx.xx.xx.yy / mm -> xx.xx.xx
xIP1 = $ {xIP ## *.} # xx.xx.xx.yy / mm -> yy
xMask = $ ((2 ** (32 - $ {xVIP ## * /})))
for ((index = 0; index <$ xMask; index ++)); do
thisIP = $ xIP0. $ ((xIP1 + index))
if! $ (Contains "$ CURRENT" "$ thisIP"); then
ip address add $ thisIP / 32 dev lo
fi
done
done

#! / Bin / bash
#
# / Etc / sysconfig / network-scripts / ifdown-lo
#
# Bring down all addresses listed in the VIPADDRFILE file
#
. / Etc / sysconfig / network-scripts / ifvip-utils
for xVIP in $ VIPLIST; do
xIP = $ {xVIP% / *} # xx.xx.xx.yy / mm -> xx.xx.xx.yy
xIP0 = $ {xIP%. *} # xx.xx.xx.yy / mm -> xx.xx.xx
xIP1 = $ {xIP ## *.} # xx.xx.xx.yy / mm -> yy
xMask = $ ((2 ** (32 - $ {xVIP ## * /})))
for ((index = 0; index <$ xMask; index ++)); do
thisIP = $ xIP0. $ ((xIP1 + index))
if $ (contains "$ CURRENT" "$ thisIP"); then
ip address delete $ thisIP / 32 dev lo
fi
done
done
/ Etc / sysconfig / network-scripts / ifdown-eth $ {1} $ {2}

Зверніть увагу: при створенні мережевого "псевдоніма", відкрийте через Веб Інтерфейс Адміністратора в розділі Установки сторінку Загальна -> Інформація та натисніть на кнопку Оновити, щоб сервер міг виявити доданий IP адреса.

DSR метод прозорий для всіх протоколів, що працюють через TCP (включаючи SIP через TCP / TLS) і для нього не потрібні ніякі додаткові настройки Сервера CommuniGate Pro: коли на локальний VIP адреса приймається TCP з'єднання, вихідні пакети для такого з'єднання будуть завжди мати в якості адреси джерела той же самий VIP адресу.

• через Веб Інтерфейс Адміністратора відкрийте область Установки. У розділі Real-Time відкрийте сторінку SIP, потім відкрийте сторінку Прийом
• натисніть на лінк UDP Приймач, для того щоб відкрити сторінку приймача
• за замовчуванням Приймач SIP UDP має один сокет: він приймає "всі адреси" на порту 5060.
• змініть настройку, змінивши значення "все адреси" на значення VIP (VIP адреса має бути доступним для вибору з меню).
• натисніть на кнопку Модифікувати
• створіть додатковий сокет для отримання вхідних пакетів на порт 5060, "всі адреси" і натисніть на кнопку Модифікувати

Балансувальник навантаження зазвичай відправляє деякі запити на сервера в своїх "балансувальних пулах". При неотриманні відповіді Балансувальник Навантаження видаляє сервер з пулу і розподіляє вхідні запити на решту в пулі сервера.

OPTION sip: aaa.bbb.ccc.ddd: 5060 SIP / 2.0
Route: <sip: aaa.bbb.ccc.ddd: 5060; lr>
інші поля пакетів SIP

• Маршрутизатор має адресу 64.173.55.161 (маска мережі 255.255.255.224), DNS Сервер 64.173.55.167.
• 4 фронтенда-Сервера (fe5, fe6, fe7, fe8) з "реальними" IP адресами 64.173.55. {180,181,182,183}
• внутрішньо-кластерна мережа 192.168.10. xxx, з "кластерними" адресами фронтенда-серверів 192.168.10. {5,6,7,8}
• балансувальник навантаження з адресою 64.173.55.164 (VIP адреса).
• на кожному фронтенда-Сервері на інтерфейсі мережевої петлі налаштований псевдонім для адреси 64.173.55.164.

• сторінка Мережа-> LAN-> Загальні для Кластера: IPv4 WAN Адреса: 64.173.55.164
• сторінка Мережа-> LAN-> Загальні для Сервера (на кожному з фронтенда-серверів): IPv4 WAN Адреса: 64.173.55. {180,181,182,183}
• сторінка Real-Time-> SIP-> Пріём-> UDP Приймач (на кожному з фронтенда-серверів): {порт 5060, адреса: 64.173.55.164} і {порт: 5060, адреса: все адреси;}

Конфігурація "без NAT", з "нормальною" балансуванням навантаження для POP, IMAP і "DSR" балансуванням навантаження для SIP (UDP / TCP), SMTP, HTTPU (8100).

Для кожного члена кластера, який здатний створювати вихідні з'єднання TCP (зазвичай це - фронтенда-Сервери), треба вибрати діапазон портів для використання в вихідних з'єднаннях. Ці діапазони не повинні перетинатися. Наприклад, для першого члена кластера виберіть діапазон 33000-33999, для другого - 34000-34999, і так далі.

[Prompt] # cat / proc / sys / net / ipv4 / ip_local_port_range
32768 61000
[Prompt] #

[Prompt] # echo "50000 61000"> / proc / sys / net / ipv4 / ip_local_port_range
cat / proc / sys / net / ipv4 / ip_local_port_range
50000 61000
[Prompt] #

net.ipv4.ip_local_port_range = 50000 61000

На кожному члені Кластера відкрийте настройки Мережі в розділі Встановлення Інтерфейсу Адміністратора і вкажіть обраний діапазон портів TCP. Вимкніть настройку "Використовувати тільки для Медіа Проксі", щоб Сервер CommuniGate Pro використовував порти з цього діапазону для створення вихідних з'єднань TCP з певним адресою джерела.

Налаштуйте Балансувальник Навантаження: всі пакети, адресовані на адресу VIP на порт з номером з обраного діапазону, повинні бути відправлені на відповідний Член Кластера.

Виберіть члени кластера, на які буде розподілятися вхідний трафік. У конфігурації фронтенд-бекенд для цього зазвичай використовуються всі фронтенда.

Переконайтеся, що на всіх обраних членів кластера як аліаса на локальному інтерфейсі (loopback) налаштований адресу VIP (дивіться вище).

Як тільки перша програма-помічник Балансування Навантаження запущена на члені Кластера, Контролер Кластера активізує Балансувальник і направляє весь вхідний трафік на цей член Кластера, який розподіляє цей трафік на сервер Групи Балансування цього члена Кластера.

Якщо член Кластера з активним балансувальник Навантаження зупиняється або перемикається в стан "не готовий", Контролер Кластера запускає інший балансувальник навантаження в цій же групі (якщо такий є).

Linux IPVS

Пакет CommuniGate Pro для Linux включає в себе сценарій оболонки Services / IPVSHelper.sh, який може бути використаний для управління балансувальник навантаження IPVS.

Цей сценарій очікує наявності файлу з адресами VIP в / etc / sysconfig / vipaddrs і налаштування локального інтерфейсу (loopback) з цими адресами (дивіться вище).