Створи свій кластер

1. Відмовостійкі кластери стануть в нагоді і в невеликих організаціях З виходом Windows NT Server 3.51...
2. Побудова тестового кластера
3. Створення кластера і додавання вузлів
4. Створення ресурсу для кластера
5. тестування
6. Коротко про головне
7. Як працює iSCSI
8. Побудова середовища iSCSI
9. додаткові ресурси
10. Служба кластеризації Microsoft

Відмовостійкі кластери стануть в нагоді і в невеликих організаціях

З виходом Windows NT Server 3.51 у адміністраторів з'явилася можливість об'єднувати сервери Windows в кластери за допомогою продуктів Microsoft і незалежних постачальників. Кластеризація завжди вважалася вдалим рішенням, але раніше мало хто міг собі це дозволити. Однак завдяки зниженню цін і вдосконалення технології кластеризация стала набагато більш доступною. Я рекомендую об'єднувати в кластери сервери навіть на малих підприємствах.

Багато хто вважає, що кластер - це група серверів, в якій при несправності одного сервера інші сервери без затримки вживають на себе і виконують ту ж задачу. Однак ця думка вірно лише частково. Дане визначення підходить лише для одного різновиду кластерів, званих кластерами з високим рівнем відмовостійкості. Кластери іншого виду забезпечують балансування мережевого навантаження (Network Load Balancing, NLB, згідно з термінологією Microsoft) і можуть бути визначені як група спільно функціонуючих комп'ютерів, які забезпечують виконання загального набору додатків або служб.

Функції організації кластерів з високим рівнем відмовостійкості реалізовані в Windows Server 2003 Datacenter Edition, Windows Server 2003 Enterprise Edition, Windows 2000 Advanced Server і Windows 2000 Datacenter Server. У даній статті основна увага приділяється характеристикам і функціональності Windows 2003. Windows 2003 підтримує кластери з високим рівнем відмовостійкості, що містять до 8 вузлів. У NLB-кластери, які можна організувати з використанням всіх версій Windows 2003, може входити до 32 вузлів.

Не можна сформувати безперервно функціонуючу обчислювальну середу з балансуванням навантаження, з'єднавши технології кластерів високої відмовостійкості і NLB компанії Microsoft. Одночасно можна застосовувати тільки одну технологію кластеризації. Щоб отримати середу з балансуванням навантаження і високої стійкістю до відмов, необхідно звернутися до рішень незалежних постачальників.

NLB використовується в середовищах з інтенсивним трафіком і в великих організаціях для формування ферм Web-серверів і Web-ферм термінальних служб. Але багатьом підприємствам можуть підійти саме кластери з високою стійкістю до відмов - наприклад, бірж, системам попереднього замовлення авіаквитків, лікарням, банкам і казино. Уявіть, якою буде реакція директора казино, якщо попросити його зупинити гру на кілька хвилин для застосування пакета оновлень і перезавантаження сервера. Не всі підприємства пред'являють до своєї інформаційної інфраструктури такі жорсткі вимоги, але кластери з високим рівнем відмовостійкості доречні при використанні файл-і принт-серверів, систем Microsoft Exchange Server і Microsoft SQL Server, а також спеціальних серверів додатків.

Як працює Microsoft Cluster Service

На перший погляд організувати кластер просто: достатньо підключити кілька комп'ютерів до загальної мережі і загального жорсткого диска. Однак кластеру необхідно присвоїти єдиний унікальний IP-адреса, а призначати декільком машинам один IP-адреса не можна. Крім того, Windows кешируєт дискову інформацію, в тому числі вміст файлів, в оперативній пам'яті, щоб збільшити швидкість дискових операцій. Windows «не бачить» оперативну пам'ять іншого комп'ютера, тому при запису даних на диск декількома комп'ютерами може бути зіпсований диск або втрачені дані. Для усунення цієї та інших проблем фахівці Microsoft розробили службу Microsoft Cluster Service.

Служба Microsoft Cluster Service генерує фантомний IP-адреса, який представляє кластер і може бути призначений будь-якого з його вузлів. Проте кожен комп'ютер в кластері має унікальний IP-адресою. Служба Microsoft Cluster виділяє захищеної частини диска (інакше звану диском кворуму - quorum disk), через яку вузли обмінюються параметрами реєстру та інформацією про стан кластера. Служба Microsoft Cluster Service також використовує мережу для передачі даних про стан вузлів між серверами групи.

Служба Microsoft Cluster Service - в повному обсязі відмовостійке, а кластерне рішення з високою стійкістю до відмов. Різниця полягає в тому, що в середовищі з високою стійкістю до відмов користувачі вичікують «секундну паузу» (згідно з термінологією Microsoft) при перемиканні завдання з відмовив вузла на справний. У повністю відмовостійкої середовищі пауз при перемиканні немає. При роботі з типовим додатком для сфери бізнесу моментальні паузи не уявляють серйозної проблеми, але адміністратор зможе самостійно оцінити тривалість «моментальної» затримки в своєму тестовому кластері.

Побудова тестового кластера

Зазвичай адміністратори сервера намагаються швидше відкласти в сторону тому технічної документації і відразу приступити до експериментів. У даній статті наводиться інформація, необхідна для організації тестового кластера, а також деякі рекомендації і вказівки з питань, недостатньо повно викладеним в документації. Хочу попередити, що ці рекомендації призначені для домашньої або тестової мережі. Не слід застосовувати їх на виробничих системах Exchange або SQL Server.

Необхідно мати принаймні чотири комп'ютери; три з Windows 2003 Enterprise Edition і четвертий - з Windows XP або інший клієнтської операційною системою. Можна задіяти VMware, але деякі речі просто неможливо виконати за допомогою віртуальної машини (VM). Я б рекомендував спільно з колегами провести експерименти з кластерами в вихідні дні. Так буде легше виконати вимоги до апаратних засобів.

Крім чотирьох комп'ютерів (кожен з яких оснащений мережевою платою), будуть потрібні два додаткових мережевих адаптера, дві плати SCSI (я використовував модель Adaptec AHA-2940), зовнішній SCSI-диск будь-якої ємності, Y-подібний кабель SCSI і два 10-Мбіт / с або 100-Мбіт / с концентратора. Крім того, знадобляться кілька кабелів Ethernet і файл MP3. Якщо якихось апаратних пристроїв не вистачає, їх краще всього купити на онлайновому аукціоні. Заплативши в цілому менше 100 дол., Там можна придбати SCSI-диск, SCSI-плати і SCSI-кабель.

На рис. 1 показана схема тестового кластера: контролер домену (DC), два сервера з високою стійкістю до відмов і робоча станція; всі ці комп'ютери підключені до загальнодоступної мережі, що іменується Public. Обидва сервера з високою стійкістю до відмов оснащені другим мережевим адаптером і підключаються до приватної мережі, званої Private. Я вважаю, що бажаючі зможуть самостійно встановити всі серверні програми, виправлення і драйвери. За замовчуванням Windows 2003 Enterprise Edition встановлює службу Microsoft Cluster. Перед установкою серверного програмного забезпечення на двох серверах з високою стійкістю до відмов слід встановити другий мережевий адаптер і плату SCSI. За допомогою Device Manager можна переконатися, що плати SCSI і другі мережеві адаптери функціонують коректно. SCSI-диск підключати поки не слід.

Всім мережевим адаптерам призначаються статичні IP-адреси - за відсутності DHCP-сервера зручно використовувати жорстко задані IP-адреси серверів. Клацнувши правою кнопкою миші на My Network Places, слід вибрати пункт Properties і позначити мережеві адаптери в серверах високої відмовостійкості як Public і Private, щоб в подальшому без праці розрізняти їх. Для адреси Private не потрібен шлюз, який обирається за замовчуванням, так як маршрутизації трафіку не потрібно. IP-адреса DC потрібно вказати в якості кращого сервера DNS на серверах з високою стійкістю до відмов і робочої станції. Порти FireWire (IEEE 1394) на серверах з високою стійкістю до відмов слід відключити, інакше при створенні кластера система видасть відповідне попередження.

Робоча станція потрібна для перегляду і створення текстових файлів, а також відтворення файлів MP3 з сервера. На системі DC можна запустити Dcpromo, призначити її контролером домену і організувати ліс і домен. До складу домену можна ввести робочу станцію, але поки не слід додавати в домен два сервера з високою стійкістю до відмов.

За допомогою Y-образного кабелю SCSI потрібно підключити SCSI-диск до SCSI-платам в серверах. SCSI-диск не повинен отримувати харчування ні від однієї з машин з високою стійкістю до відмов: один з тестів, які належить виконати, полягає у відключенні комп'ютера від мережі. Потім слід видалити термінатор на диску SCSI і переконатися, що адаптери SCSI терминировать правильно. У більшості SCSI-дисків ID встановлений в значення 0, що цілком прийнятно. Однак ID однієї з плат SCSI, ймовірно, доведеться змінити. За замовчуванням ідентифікатори SCSI-плат встановлюються рівними 7. Один з них слід змінити на 6, а інший залишити рівним 7, інакше обидві плати виявляться на одній шині SCSI і виникне конфлікт. Включаючи комп'ютери по одному, можна переконатися, що кожен з них розпізнає диск SCSI.

Потім слід ввести обидва комп'ютера до складу домену і дати їм імена. Я назвав свої d34 і d35, вони увійшли до складу домену dog.attbi.com. Нарешті, необхідно створити обліковий запис для кластера. Я назвав свою обліковий запис CSerAct-1 (скорочення від Cluster Services Account-1) і призначив їй локальні адміністративні повноваження. У облікового запису слід скасувати режим User must change password at next logon і встановити прапорець Password never expires.

Створення кластера і додавання вузлів

Створюючи кластер, необхідно спочатку дати йому ім'я. Потім в новий кластер вводяться сервери або вузли. Далі з кластером асоціюється ресурс, наприклад додаток або служба. Всю процедуру можна виконати приблизно за годину.

• Спочатку один з серверів відключений, а інший запущений. На включеному сервері слід клацнути на кнопці Start і вибрати з меню пункти Administrative Tools, Cluster Administrator.
• Необхідно переконатися, що в списку Open Connection to Cluster обраний варіант Create new cluster, і клацнути на кнопці OK, щоб запустити майстра New Server Cluster Wizard. Потім слід клацнути на кнопці Next.
• Підтвердивши, що домен обраний, потрібно дати ім'я першому кластеру. Я вибрав ім'я Cluster-1. Після цього необхідно клацнути на кнопці Next.
• На наступному екрані потрібно ввести ім'я комп'ютера - потрібно вказати ім'я першого сервера і клацнути на кнопці Next.
• Служба Microsoft Cluster аналізує конфігурацію (екран 1). Цей процес запускається автоматично і має бути завершений за одну-дві хвилини. Після його закінчення слід заглянути в файл журналу, щоб з'ясувати, які параметри відзначені службою Microsoft Cluster.
• На наступному екрані потрібно ввести дійсний невикористаний IP-адреса загальнодоступної мережі для інструментів управління (цей віртуальний IP-адреса відрізняється від адреси сервера високою відмовостійкості). Натисніть Next.
• Слід ввести ім'я облікового запису для кластера (в моєму випадку CSerAct-1). Цього облікового запису надані повноваження локального адміністратора на всіх вузлах в кластері. Потім потрібно клацнути на кнопці Next.
• Майстер виводить на екран рекомендовану конфігурацію кластера, яка представляє собою зведення обраних користувачем параметрів. Натисніть Next.
• Служба Microsoft Cluster створює кластер, і Cluster Administrator надає ще одну можливість переглянути файл журналу. Клацніть на кнопці Finish, щоб закрити майстер.
• Приділіть деякий час вивченню Cluster Administrator і його меню.

Таким чином створюється одноузловой кластер. Щоб додати до нього другий вузол, необхідно вибрати пункт Add nodes to cluster із списку Open Connection to Cluster і запустити майстер Add Nodes Wizard. Цей майстер проводить користувача по тим же кроків, що і New Server Cluster Wizard. У відповідь на запит імені та IP-адреси комп'ютера слід ввести ім'я та адреса другого сервера. Альтернативний метод створення другого вузла - вибрати пункти New, Node з меню File програми Cluster Administrator. на екрані 2 показаний двовузлового кластер у вікні Cluster Administrator.

Створення ресурсу для кластера

Наступне завдання після створення кластера - зв'язати кластер з ресурсом. Ресурс може бути спільно використовуваних файлом, принт-спулер, службою DHCP, WINS або таким додатком, як Exchange або SQL Server. Щоб створити розділяється файловий ресурс з високим рівнем відмовостійкості на диску SCSI, необхідно створити групу, ресурси фізичного диска, IP-адреси, мережеве ім'я і загальний файл, а потім зробити файловий ресурс доступним через мережу.

Щоб сформувати групу, потрібно виконати наступні кроки.

• На кожному вузлі кластера або на DC відкрити Cluster Administrator і підключитися до кластеру.
• В одному з вузлів натиснути правою кнопкою миші на Active Groups і вибрати з меню пункти New, Group.
• На першому екрані майстра New Group Wizard призначити ім'я загального файлового ресурсу (я використовував ім'я FileShare-Group-1) і дати йому опис. Потім слід клацнути на кнопці Next.
• Як власників ресурсів вибрати два сервера з високою стійкістю до відмов, призначити їм повноваження (тобто визначити порядок роботи) і клацнути на кнопці Finish.

Щоб створити ресурс на фізичному диску, необхідно виконати наступні операції.

• Клацнувши правою кнопкою миші на новоствореної групи, потрібно вибрати пункти New, Resource. Цей та інші ресурси будуть складовою частиною нової створеної групи.
• Необхідно ввести ім'я і опис фізичного диска. В якості типу ресурсу слід вибрати Physical Disk, а в якості групи - щойно сформовану групу (FileShareGroup-1). Потім потрібно клацнути на кнопці Next.
• Як власників слід вказати два кластерних вузла і натиснути Next.
• Не потрібно вказувати ніяких залежностей. Фізичний диск незалежний від інших ресурсів. Клацніть на кнопці Next.

Потім необхідно створити ресурс з IP-адреси. Цей IP-адреса являє собою віртуальний IP-адреса для SCSI-диска; з його допомогою служба Microsoft Cluster виявляє SCSI-диск, який обслуговується одним з серверів з високим рівнем відмовостійкості. Віртуальний IP-адреса дозволяє будь-якому вузлу з високою стійкістю до відмов направляти запити до диска.

• Клацнувши правою кнопкою миші на групі, необхідно вибрати пункти New, Resource.
• Потрібно ввести ім'я та опис для IP-адреси. Вибравши IP-адреса для типу ресурсу, слід вибрати групу, а потім клацніть на кнопці Next.
• Необхідно вказати два вузла в якості власників та клацнути на кнопці Next.
• Не слід задавати залежностей. Клацніть на кнопці Next.
• Потрібно ввести дійсний (віртуальний) IP-адреса в загальнодоступній мережі, вказати маску підмережі і вибрати мережу, а потім клацніть на кнопці Finish.

Щоб задати ім'я мережевого ресурсу, необхідно виконати наступні кроки.

• Клацнувши правою кнопкою миші на групі, вибрати пункти New, Resource.
• Ввести ім'я та опис. Для типу ресурсу необхідно вибрати Network Name, потім вказати групу і клацнути на кнопці Next.
• Вибрати два вузла в якості власників та клацнути на кнопці Next.
• Мережеве ім'я ресурсу залежить від його IP-адреси, тому слід додати ресурс IP-адреси в поле в правій частині екрану і клацнути на кнопці Next.
• Потім необхідно ввести ім'я віртуального сервера і клацнути на кнопці Finish.

Тепер все готово для створення ресурсу, що розділяється файлу.

• Необхідно натиснути правою кнопкою миші на групі і вибрати пункти New, Resource.
• Слід ввести ім'я та опис. Вибравши IP-адреса для типу ресурсу, потрібно вибрати групу і натиснути Next.
• Вкажіть два вузла в якості власників та клацніть на кнопці Next.
• Загальний файл як ресурс залежить від коректного функціонування фізичного диска, IP-адреси і мережевого імені, тому названі три ресурсу слід ввести в праве поле екрану. Клацніть на кнопці Next.
• Введіть ім'я, шлях і опис загального ресурсу.
• Клацніть на кнопці Permissions. За замовчуванням надається дозвіл Read Only. Дозволи слід змінити таким чином, щоб мати можливість оновлювати файли в ході тестування кластера. Натисніть OK.
• Клацнувши на кнопці Advanced, необхідно вибрати режими Share Subdirectories і Hide Subdirectories, а потім послідовно клацнути на кнопках OK і Finish.

Останній крок - зробити загальний файл доступним.

• Клацніть правою кнопкою миші на групі і виберіть пункт Bring Online.

Тепер розділяється ресурс готовий до використання.

тестування

Приступаємо до найцікавішого етапу. Слід зареєструватися в домені з робочої станції і скопіювати файл MP3 на диск SCSI, підключений до серверів з високим рівнем відмовостійкості. Тепер можна почати досліди з файлом і відключити мережевий кабель одного з вузлів. Чи продовжується відтворення пісні без перерви або сталася затримка? Потім слід знову підключити кабель і подивитися, що буде далі. Чи спостерігаються якісь відмінності при відключенні різних серверів? Після цього можна експериментувати (відключати інші кабелі, в тому числі кабель живлення) з кластером, освоюючи тонкощі технології. Щоб визначати активний і пасивний вузли в ході тестування, можна використовувати Cluster Administrator або утиліту командного рядка cluster.exe.

Після виконання першого набору тестів слід запустити програму Microsoft NetMon для аналізу трафіку як приватного, так і загальнодоступного сегмента в ході подальших експериментів. Постарайтеся ідентифікувати пакети «я живий» (heartbeat packet), які посилає активний сервер, і пакет, який свідчить про переключення вузлів (fail-over packet). Можна запустити і System Monitor (раніше ця утиліта називалася Performance Monitor) на обох вузлах з високою стійкістю до відмов для наочного зіставлення продуктивності.

Цікаво доповніті кластер третім и четвертим Вузли. У цьом випадка проблеми вінікають з кабелем SCSI, и Microsoft Офіційно підтрімує только Вузли, что Працюють з операційною системою, но НЕ кабель або накопичувачі SCSI, тому діяті доводитися на свой страх и ризики. Було б цікаво дізнатіся про результати експеріментів з ще більшім числом вузлів. Найпростіший спосіб збільшити число вузлів - задіяти Internet SCSI (iSCSI). Я побудував 8-вузловий кластер з використанням iSCSI і підключав більше 60 серверів до одного приймача iSCSI через 100-Мбіт / с мережу Ethernet. Я рекомендую приділити деякий час вивченню iSCSI. Для початку можна прочитати врізку «Принципи iSCSI» .

Отже, ми зробили великий крок на шляху до освоєння кластерів. Я був би радий запропонувати читачам джерела більш докладної інформації, але, на жаль, мені не вдалося знайти жодного. У книгах по Windows 2003 розповідається про Windows Server 2003 Standard Edition і згадується лише про дискових кластерах. Інший ресурс - форуми і поштові списки розсилки, в першу чергу в Web і Google.

Дуглас Спиндлер ( [email protected] ) - консультант і викладач, президент групи San Francisco Networking Technologies Users Group. Має сертифікат Microsoft MVP

Коротко про головне

• Сьогодні кластери з високим рівнем відмовостійкості доступні навіть для малих підприємств.
• Гарна документація для кластерів відсутня.
• Дотримуючись докладним інструкцій, викладених в даній статті, можна налаштувати просту тестову середу і створити двовузлового кластер.

принципи iSCSI

Стандарт Internet SCSI (iSCSI), прийнятий IETF, забезпечує інкапсуляцію команд SCSI в пакетах TCP / IP. Це економічне рішення для кластеризації і балансування навантаження. iSCSI дозволяє використовувати існуючу мережеву інфраструктуру для пересилання даних SCSI.

Сервер може бути розташований в Нью-Йорку, а дискова система в Сан-Франциско - від користувача потрібно лише терпіння, так як з'єднання через Internet працює повільно. Microsoft реалізувала iSCSI в Windows Server 2003, Windows XP і Windows 2000 Server. Специфікацію підтримують і інші постачальники, такі як Cisco Systems. iSCSI відрізняється невисокою вартістю в порівнянні з SAN (Storage Area Network - мережа пристроїв пам'яті) і простотою реалізації, до того ж вона вбудована в добре знайому технологію TCP / IP.

Як працює iSCSI

Принцип роботи iSCSI нескладний. Сервер, званий ініціатором (initiator), надсилає запит до диску. Операційна система і драйвер ініціатора iSCSI перехоплюють запит і інкапсулюють його в пакеті IP. Замість того щоб передавати запит по шині SCSI, драйвер направляє запит в мережевий адаптер, який передає його за адресою призначення приймача (target) iSCSI (можливо, з шифруванням) точно так же, як будь-який інший пакет IP. Отримавши пакет, приймач iSCSI «розгортає» його і передає команду SCSI в приєднаний диск. Слід звернути увагу, що iSCSI, як і SAN, передає дані блоками, а пристрої NAS (Network Attached Storage - система зберігання даних, що підключається до мережі) передають дані на файловому рівні.

Стандарт iSCSI не призначений для заміни високорівневих SAN, але легко замінить SAN початкового або середнього класу. Пропускна здатність в мережі 1000Base-T близька до Fibre Channel. iSCSI підійде для серверів з помірним трафіком, наприклад внутрішніх Web-вузлів, файл-і принт-серверів, а також малих додатків для роботи з базами даних.

Побудова середовища iSCSI

Для iSCSI необхідні мережу, сервер або робоча станція (які будуть служити ініціатором), драйвери ініціатора і приймач. Мережа та комп'ютер-ініціатор у адміністратора вже є; комп'ютер повинен працювати з Windows 2003, Windows XP Professional Service Pack 1 (SP1), Windows 2000 SP3 або більш пізніми версіями. Драйвери ініціатора - невеликі програми, які можна безкоштовно завантажити з Web-вузла Microsoft за адресою http://www.microsoft.com/downloads/ details.aspx? familyid = 12cb3c1a-15d6-4585-b385-befd1319f825 & displaylang = en . Їх установка займає одну-дві хвилини, і перезавантажувати машину не потрібно. В процесі установки завантажуються служба Microsoft iSCSI Initiator і панель управління iSCSI Initiator Control Panel, ярлик для якої розміщується на робочому столі. За допомогою цієї утиліти можна налаштувати декілька параметрів - IP-адреса або ім'я DNS-приймача iSCSI, а також деякі параметри безпеки.

Для повного вирішення не вистачає одного компонента, приймача iSCSI: в даний час Microsoft не випускає програм, які дозволяли б сервера виконувати роль приймача. Кілька постачальників пропонують приймачі та спеціалізовані шлюзи iSCSI. Компанія EqualLogic випускає приймач, Cisco надає шлюз, а Novell поставляє приймач і ініціатор разом з NetWare 6.5. Існують ініціатори та приймачі Linux. Оскільки стандарт iSCSI підготовлений комітетом IETF, при використанні ініціатора і приймача від різних виробників проблем виникнути не повинно. Думка фахівців, які вже мають досвід роботи з iSCSI, і мої тести підтверджують успішність взаємодії.

iSCSI - розвивається технологія, але вона вже успішно застосовується на практиці. Кілька адміністраторів серверів розповідали мені, що використовують iSCSI на основних виробничих серверах і за більш ніж дворічний період цілодобової експлуатації без вихідних днів не стикалися з жодними проблемами. iSCSI побудований на базі двох широко застосовуваних протоколів: TCP / IP і SCSI. Технологія не вимагає великих витрат, проста для впровадження і допоможе розширити функціональність центру обробки даних. Питання про застосування технології iSCSI на конкретному підприємстві заслуговує найпильнішої уваги.

Немає необхідності у вказівці шлюзу для приватного адреси, оскільки дані ніколи не маршрутизируются.

додаткові ресурси

основи iSCSI

http://www.microsoft.com/downloads/ details.aspx? familyid = 12cb3c1a-15d6-4585-b385-befd1319f825 & displaylang = en

Служба кластеризації Microsoft

http://www.microsoft.com/windowsserver2003/ technologies / clustering / default.mspx