Головною перевагою використання виключно зовнішніх систем зберігання даних є підвищена готовність серверів. Незважаючи на те, що ви можете налаштувати декілька RAID-масивів різних рівнів на дисках, встановлених в одному blade-сервері, в разі виходу диска з ладу ви повинні будете зупинити систему для його заміни. Використовуючи зовнішнє сховище і диски з "гарячої" заміною, ви можете замінювати вийшли з ладу диски, не перериваючи роботу служб. Нещодавно IBM анонсувала blade-сервери BladeCenter HS12 і JS12, що підтримують використання SAS-дисків з "гарячої" заміною, проте обидва цих сервера є однопроцесорними.
Нижче перераховані шість кроків цього керівництва по інтеграції сервера і зовнішньої системи зберігання даних (СЗД):
- Підготовка шасі BladeCenter і збір інформації про SAS-модулях і системі DS3200.
- Підготовка підсистеми зберігання.
- Конфігурація BIOS SAS-контролера.
- Установка операційної системи.
- Включення багатоколійні введення / виведення.
- Розширення файлової системи додатковими номерами LUN.
Крок 1. Підготовка шасі BladeCenter і збір інформації
Переконайтеся, що SAS-комутатори правильно встановлені і підключені до обох контролерам системи зберігання DS3200. Будемо припускати, контролер A (він розташований зліва, якщо дивитися на DS3200 ззаду) підключений до SAS-комутатора в відсіку 3, а контролер B - до SAS-комутатора в відсіку 4. До тих пір, поки ви не міняєте зонування за замовчуванням в модулі BladeCenter Management Module, неважливо, до якого порту підключено - кожен blade-сервер має доступ до всіх зовнішніх портів.
За замовчуванням всі зовнішні порти відключені. Їх можна включити двома способами - через Web-інтерфейс або через інтерфейс командного рядка.
Включення через Web-інтерфейс. Підключіться до Web-інтерфейсу модуля Management Module і виберіть посилання Admin / Power / Restart в розділі I / O Module, розташованому зліва. Виберіть пристрій I / O module з номером 3, включите зовнішні порти і натисніть кнопку Save. розташовану праворуч.
Малюнок 1. Включення зовнішніх портів
Включення через командний рядок. Підключіться до модуля Management Module за допомогою telnet або SSH. Виконайте наступні команди для включення зовнішніх портів відсіків 3 і 4, в які встановлені два SAS-комутатора:
Лістинг 1. Включення зовнішніх портів комутаторів
Для зіставлення розділу дискового сховища з blade-сервером вам буде потрібно використовувати WWN-ім'я (world wide name) дочірньої плати SAS. Це ім'я однозначно ідентифікує інтерфейс в SAS-домені. Дізнайтеся ім'я WWN, використовуючи Web-інтерфейс або командний рядок.
Використання Web-інтерфейсу. У Web-інтерфейсі модуля Management Module клацніть посилання Hardware VPD. розташовану в лівій панелі.
Малюнок 2. Отримання WWN-імені SAS-комутатора
Використання командного рядка. Підключіться до модуля Management Module за допомогою telnet або SSH. Ви можете отримати список доступних blade-пристроїв за допомогою команди list -l 2. Щоб включити в список встановлені дочірні плати, виконайте наступну команду:
Лістинг 2. Отримання докладної інформації про обладнання
Дізнайтеся WWN-ім'я за допомогою команди info. вказавши слот дочірньої плати вашого blade-пристрої (в даному прикладі слот 4).
Лістинг 3. Отримання WWN-імені SAS-комутатора
Значення SAS ID 1 - це WWN-ім'я порту 1, зіставлене відсіку 3 комутатора, а значення SAS ID 2 - WWN-ім'я порту 2, зіставлене відсіку 4.
Крок 2. Підготовка підсистеми зберігання
Визначте пристрої, що запам'ятовують і зіставте їх з blade-сервером в якості номерів LUN (номер логічного пристрою LUN є просто номером, призначеним логічного пристрою; логічний пристрій є єдиним об'єктом SCSI-протоколу, до якого можуть фактично виконуватися звернення з боку операцій введення / виводу). Як програмне забезпечення можна використовувати як DS3000 Storage Manager, так і DS4000 Storage Manager. Первісна конфігурація виконується на вкладці Configure. зміни - на вкладці Modify.
Малюнок 3. DS3000 Storage Manager
Тепер створіть область зберігання даних для вашого blade-сервера за допомогою меню Create Logical Drives. Після цього зіставте логічний диск з blade-сервером за допомогою меню Create Host-to-Logical Drive Mappings. Переконайтеся, що при зіставленні використовується номер LUN 0 (і в нумерації не виникають прогалини - деякі системи припиняють сканування при виявленні невикористаного номера).
Крок 3. Конфігурація BIOS SAS-контролера
Перевірте, що дочірня плата включена і присутній в списку завантаження утиліти конфігурації LSI, переважно в якості першого завантажувального пристрою. SAS1064 - це дочірня плата, а SAS1064E - це вбудований контроллер нашого blade-сервера.
Малюнок 4. Налаштування BIOS SAS-контролера
Далі переконаєтеся, що параметр Boot Support у властивостях дочірньої плати має значення Enabled BIOS OS. а BIOS сканує всіх номерів LUN. Це можна перевірити, вибравши пункт Advanced Adapter Properties. а потім пункт Advanced Device Properties. Якщо ви не впевнені, відновіть значення за замовчуванням.
Перевірте, що слот дочірньої плати не відключений BIOS blade-сервера.
Малюнок 5. Налаштування BIOS blade-сервера
Залежно від пріоритетного шляху вашого логічного пристрою (контролер A або B) ви можете вказати в якості першого завантажувального пристрою blade-сервера або hd0. або hd1. Якщо ви призначаєте його в розподільній скриньці (як показано в лістингу 4) і отримуєте помилку I9990301 Disk failure or disk reset failed. значить, вам необхідно змінити послідовність завантаження і вказати в якості першого завантажувального пристрою hd1. У наших налаштуваннях контролер A підключений до третього відсіку введення / виведення, який зіставляє його з пристроєм hd0. Контролер B підключений до відсіку 4 і зіставлений з пристроєм hd1.
Лістинг 4. Установка послідовності завантаження для blade-сервера, розташованого в слоті X
Крок 4. Установка операційної системи
Примітка до системи Fedora
У деяких ситуаціях програма інсталяції Fedora 9 зависає при спробі установки зовнішнього SAS-сховища. У таких ситуаціях допомагає використання текстового режиму установки ОС.
Програма Anaconda автоматично визначає шлях з надмірною резервом за допомогою функції device-mapper multipath. Перший номер LUN зіставляється пристрою / dev / mapper / mpath0.
В цьому випадку додатковий драйвер RDAC не потрібно.
Під час установки операційної системи Red Hat Enterprise Linux 5.2 програма установки виявить два пристрої: / dev / sda і / dev / sdb. Хоча фактично це одне і те ж дисковий простір, програма установки нічого не знає про надмірності шляхів і, таким чином, двічі показує один і той же номер LUN. Це ніяким чином не перешкоджає нормальній роботі вашої системи, оскільки ви встановлюєте її тільки на пристрій / dev / sda. Для пристрою / dev / sdb ви отримаєте наступне повідомлення про помилку, яке ви можете спокійно проігнорувати, натиснувши клавішу Cancel:
Малюнок 6. Помилка програми установки ОС
По завершенні установки операційної системи ви будете отримувати помилки введення / виводу для пристрою / dev / sdb. Запустіть програму dmesg або загляньте в файл / var / log / messages. Єдиним способом позбутися від цих повідомлень є установка драйвера багатоколійні введення / виведення.
Лістинг 5. Помилки, пов'язані з відсутністю драйвера багатоколійні введення / виведення
Крок 5. Включення багатоколійні введення / виведення
Існує два способи включення багатоколійні введення / виведення в Linux: використання офіційного драйвера RDAC від IBM / LSI і використання open-source інструментів компонента device-mapper. У цьому прикладі використовується драйвер RDAC, який можна завантажити з Web-сайту компанії LSI.
Переконайтеся, що у вашій системі встановлено такі додаткові пакети:
- gcc,
- glibc-devel,
- kernel-headers,
- glibc-headers,
- libgomp,
- kernel-devel або kernel-xen-devel (в разі використання ядра Xenified).
Завантажте вихідний код RDAC з Web-сайту компанії LSI і скомпілюйте його в папку / usr / src, як зазвичай - make make install.
Після закінчення ви отримаєте наступне повідомлення:
Лістинг 6. Установка драйвера RDAC від LSI
Як говориться в цьому повідомленні, відредагуйте ваш файл / boot / grub / grub.conf для використання нового псевдодіска. Для системи RHEL5.2 під управлінням ядра з підтримкою Xen внесіть наступні зміни:
Лістинг 7. Файл grub.conf з підтримкою використання багатоколійні псевдодіска
Команда mppUtil -a (лістинг 8) показує всі виявлені масиви; в даному випадку тільки один масив Infra-sas2.
Лістинг 8. Базова multipath-інформація
Для отримання базової інформації про порівняннях LUN виконайте команду / opt / mpp / lsvdev.
Лістинг 9. Базова інформація про порівняннях LUN
Команда mppUtil -a [array name] показує детальну інформацію про масив:
Лістинг 10. Детальна multipath-інформація
Останні два розділи показують, що в даний момент трафік обробляється контролером A (RoundRobinIndex: 1). Обидва шляхи присутні і знаходяться в оптимальному стані (LUNPathDevice present. DevState optimal).
Лістинг 11. Multipath-інформація з директорії / proc
MPP налаштовується через файл /etc/mpp.conf. Після кожного внесення змін в цей файл необхідно запускати команду mppUpdate. щоб виконати перестроювання псевдодіска з новими конфігураційними параметрами. Для вступу змін в силу необхідне перезавантаження.
Крок 6. Розширення додатковими номерами LUN
Якщо вам необхідно виділити додатковий дисковий простір для потреб операційної системи, ви можете легко зробити це, призначивши додаткові пристрої зберігання blade-сервера, додавши їх в менеджері логічних томів (LVM, Logical Volume Manager) і розширивши файлову систему на цей додатковий обсяг.
Але перш ніж перейти до визначення нових пристроїв і їх використання, скажемо кілька слів про менеджера логічних томів (LVM). Менеджер логічних томів надає собою систему, абстрагується від фізичних пристроїв. LVM групує один або кілька фізичних томів (дисків) в одну групу томів. Ця група томів служить логічним контейнером для одного або декількох логічних томів, які відображаються в системі Linux як SCSI-пристрій (як видно з малюнка 7).
Малюнок 7. Менеджер логічних томів
Тепер давайте приступимо.
Визначення нового пристрою в програмі Storage Manager
Створіть нові пристрої зберігання за допомогою програми Storage Manager (див. Крок 2).
Використання нових пристроїв в Linux за допомогою менеджера логічних томів
Використання нових пристроїв зберігання в Linux є двохетапним процесом. Перш ніж ви зможете збільшити простір файлової системи Linux, ви повинні додати пристрої зберігання в менеджер логічних томів.
Лістинг 12. Виявлення нових номерів LUN
Операційна система Linux виявила одне нове логічне пристрій і зіставили його з пристроєм / dev / sdb. Зверніть увагу на те, що новий пристрій автоматично було оброблено драйвером багатоколійні введення / виведення.
Щоб підготувати пристрій для менеджера LVM, створіть основний LVM-розділ (тип розділу 8e), що займає весь диск:
Лістинг 13. Підготовка нового логічного пристрою
Тепер інтегруйте новий пристрій в існуючу групу томів. У лістингу 14 показано, як можна виконати перевірку за допомогою команди vgdisplay -s до і після розширення:
Лістинг 14. Розширення групи томів VLM
Далі збільште логічний тому всередині цієї групи томів. Перевірку можна виконати за допомогою команди lvdisplay. порівнявши значення параметра LV Size.
Лістинг 15. Розширення логічного тому LVM
Тепер все готово, щоб змінити розмір файлової системи (для SAS-дисків розміром 50 ГБ це займає близько двох хвилин). Якщо ви міняєте розмір кореневої файлової системи, то онлайнове розширення (без зупинки операційної системи) можливо тільки для файлової системи ext3.
Лістинг 16. Зміна розміру файлової системи Linux
висновок
Я показав вам, як налаштувати завантаження шасі BladeCenter з системи зберігання даних IBM BladeCenter Boot Disk System (DS3200), керованої SAS-контролером. Також ви дізналися, як:
- Включити технологію багатоколійні введення / виведення для ефективного забезпечення відмовостійкості.
- Розширювати файлову систему відповідно до зростаючих вимог до дискового простору, використовуючи функцію «гарячої» установки менеджера LVM.
Пам'ятайте, що використання виключно зовнішніх систем зберігання забезпечує підвищену готовність вашого blade-сервера; в цій статті ми зосередилися на розгляді переваги, пов'язаного з можливістю не переривати роботу вашого сервера при заміні або додаванні дисків.