Установка великого linux-кластера частина 4

Дана серія статей призначена для використання системними розробниками і системними інженерами при плануванні та впровадженні Linux-кластера за допомогою інтегрованого середовища IBM eServer Cluster 1350 (посилання на додаткову інформацію по даному середовищі наведені в розділі "Ресурси"). Деякі статті можуть бути корисні адміністраторам як в якості навчальних матеріалів, так і при використанні в процесі експлуатації кластера. Кожна частина даної серії статей посилається на один і той же приклад установки.

У першій частині даної серії наведені докладні інструкції по установці апаратного забезпечення кластера. У другій частині розглядаються наступні після конфігурації обладнання дії: установка програмного забезпечення за допомогою програми управління системами IBM Cluster Systems Management (CSM) і установка вузлів.

В даному розділі деталізуються специфічні питання управління сервером кластера (cluster server management - CSM), пов'язані з системою зберігання даних прикладу кластера. До них відносяться установка GPFS-коду на кожному вузлі і настройка адаптерів Qlogic для вузлів системи зберігання. Звертаємо увагу на те, що ця установка не обов'язково повинна виконуватися з використанням CSM; її можна зробити і вручну. У прикладі даної статті використовується CSM для практично повної автоматизації установки нового сервера, в тому числі і сервера зберігання даних.

Установка в потрібному порядку є обов'язковою умовою для усунення проблеми переповнення ROM, описаної пізніше, оскільки використовувані в даній конфігурації системи xSeries ™ 346 не мають карт RAID 7K. Виконайте наступні дії в зазначеному порядку:

  1. Виконайте команду csmsetupks -vxn на керуючому сервері.
  • Вимкніть сервер системи зберігання даних від SAN, для того щоб уникнути установки операційної системи на SAN-дисках, які виявляються першими.

  • Виконайте команду installnode -vn на керуючому сервері.

  • Натисніть F1 в консолі після перезавантаження вузла системи зберігання даних для входу в BIOS.

  • Перейдіть в розділ Start Options і змініть PXEboot з disabled на enabled for planar ethernet 1.

  • Перезавантажте вузол; почнеться установка.

  • Слідкуйте за установкою через термінальний сервер; нехай вузол повністю завершить початкове завантаження.

  • Перезавантажте вузол після завершення завдання post reboot.

  • Натисніть F1 на консолі після перезавантаження вузла для входу в BIOS.

  • Перейдіть в розділ Start Options і змініть PXEboot на disabled.

  • Підключіть SAN-кабелі і почекайте завершення початкового завантаження вузла.

    GPFS вимагає, щоб всі вузли в GPFS-кластері були здатні звертатися один до одного, використовуючи root ID без надання пароля. GPFS використовує цей межузловой доступ, щоб дозволити будь-якого вузла в GPFS-кластері виконувати відповідну команду на інших вузлах. У наведеному в цій статті прикладі для надання доступу використовується ssh (secure shell), проте можна використовувати також rsh (remote shell). Для цього створіть ключ, що відноситься до всього кластеру, і відповідні конфігураційні файли, які розподіліть за допомогою CSM, виконавши такі дії:

    1. Створіть два нових каталогу в /cfmroot/root/.ssh і / cfmroot / etc / ssh.
  • Створіть пару RSA-ключів, відкритий і закритий ключі для аутентифікації, виконавши команду


  • Створіть пару DSA-ключів, відкритий і закритий ключі для аутентифікації, виконавши команду

  • Ім'я виходить NSD

    Використовуючи описані вище файли, визначте наступні три аварійні групи в конфігурації:

    • Диски в першому контролері DS4500, тобто disk01.
  • Диски в другому контролері DS4500, тобто disk02.

  • Диск сервера вирішення конфліктів на вузлі кворуму.

    • Наступний крок - запуск GPFS-кластера шляхом виконання наступних дій:

    1. Запустіть GPFS на всіх NSD-серверах одночасно для запобігання маркування NSD як знаходяться в неактивному стані. Використовуйте наступну команду: mmstartup -w stor001_s, stor002_s, stor003_s, stor004_s.
  • Запустіть GPFS на всіх інших вузлах, які не є NSD-серверами (в тому числі на вузлі сервера вирішення конфліктів). Використовуйте наступну команду: mmstartup -w quor001_s, mgmt001_s.

  • Запустіть GPFS на всіх обчислювальних вузлах з керуючого вузла. Використовуйте наступну команду: dsh -N ComputeNodes / usr / lpp / mmfs / bin / mmstartup.

  • Перевірте стан всіх вузлів, переглядаючи файл /var/adm/log/mmfs.log.latest поточного менеджера файлової системи (що виявляється за допомогою команди mmlsmgr ) І виведену інформацію з наступної команди: mmgetstate -w dsh -N ComputeNodes / usr / lpp / mmfs / bin / mmgetstate.

    • Цей метод може здатися надмірно завбачливим, але він обраний як масштабується методу, який буде працювати для дуже великого кластера. Альтернативою зазначеному вище методу є використання команди mmstartup -a. Це працює для кластерів меншого розміру, але може пройти чимало часу до повернення з команди для великого кластера, в якому вузли можуть бути недоступні з різних причин, наприклад, при проблемах в мережі.

    Для прикладу створюється одна велика файлова система GPFS з використанням всіх NSD, визначених для GPFS. Зверніть увагу на те, що використана команда, на відміну від зазначеної вище команди mmcrnsd. приймала як аргумент змінені файли дескрипторів дисків. Це вимагає об'єднання в один файл інформації, виведеної на кожному кроці при створенні NSD.

    Приклад кластера використовує такі налаштування:

    • Все NSD (встановлюється за допомогою -F).
  • Точка монтування: / gpfs

  • Автоматичне монтування: yes (встановлюється за допомогою -A).

  • Розмір блоку: 256KB (встановлюється за допомогою -B).

  • Реплікація: дві копії даних і метаданих (встановлюється за допомогою -m. -M. -r. -R).

  • Очікувана кількість вузлів, що вмонтовують файлову систему 1200 (встановлюється за допомогою -n).

  • Квоти дозволені (встановлюється за допомогою -Q).

    • Ось повна команда:

    У перший раз після створення / gpfs ​​вона монтується вручну. Потім, з дозволеним параметром automount, вона монтується автоматично при запуску вузлом GPFS.

    Можна змінити окремі квоти для користувача або групи, використовуючи команду mmedquota -u . Користувач може відобразити свою квоту за допомогою команди mmlsquota. Користувач superuser може відобразити стан квот файлової системи за допомогою команди mmrepquota gpfs.

    Даний кластер налаштований так, щоб GPFS запускався автоматично при кожному початковому завантаженні сервера, шляхом додавання запису в / etc / inittab за допомогою команди mmchconfig autoload = yes.

    Використовуйте pagepool (пул сторінки) GPFS для кешування даних користувача і метаданих файлової системи. Механізм pagepool дозволяє GPFS реалізувати запити на читання (а також запис) асинхронно. Збільшення розміру pagepool збільшує обсяг даних або метаданих, які GPFS може кешувати, не вимагаючи синхронних операцій введення / виводу. За замовчуванням pagepool є 64 MB. Максимальне значення GPFS pagepool одно 8 GB. Мінімальна дозволене значення дорівнює 4 MB. На Linux-системах максимальний розмір pagepool дорівнює половині фізичної пам'яті комп'ютера.

    Оптимальний розмір pagepool залежить від вимог програми та ефективного кешування його даних, до яких проводиться повторний доступ. Для систем з додатками, що звертаються до великих файлів, повторно використовує дані, які використовують переваги функціональності GPFS передвибірки (prefetching) даних або працюють за схемою випадкових операцій введення / виводу, збільшення значення pagepool може підвищити ефективність. Однак, якщо значення занадто велике, GPFS не запуститься.

    Для нашого прикладу кластера використовуйте значення pagepool 512 MB для всіх вузлів в кластері.

    Для оптимізації продуктивності мережі і, отже, GPFS, дозвольте jumbo-фрейми шляхом установки розміру MTU для адаптера мережі зберігання даних в 9000. Залиште параметр / proc / sys / net / ipv4 / tcp_window_scaling дозволеним, оскільки це налаштування за замовчуванням. Налаштування TCP-вікна підганяються за допомогою CSM-сценаріїв під час установок, що додають наступні рядки в файл /etc/sysctl.conf як на NSD-серверах, так і на NSD-клієнтів:

    Налаштування кешу сервера зберігання даних при неправильній їх установці можуть вплинути на продуктивність GPFS. Приклад використовує такі настройки контролерів DS4500, рекомендовані в документації по GPFS:

    • Read cache: enabled
    • Read ahead multiplier: 0
    • Write cache: disabled
    • Write cache mirroring: disabled
    • Cache block size: 16K

    Усе! Ви повинні були успішно встановити великий Linux-кластер, наслідуючи приклад з даної серії статей. Застосуйте ці принципи для успішної установки вашого власного великого Linux-кластера.

  • Довідкові матеріали по системі IBM TotalStorage DS4500:
    • Web-сторінка IBM TotalStorage DS4500.
    • Сторінка підтримки IBM DS4500.

  • Довідкові матеріали по модулю розширення системи зберігання даних з оптоволоконним кабелем IBM TotalStorage DS4000 EXP710:
    • Загальна сторінка продукту IBM EXP710.
    • Сторінка підтримки IBM EXP710.

  • Довідкові матеріали по комутаторів IBM TotalStorage SAN Switch H16:
    • Загальна сторінка продукту IBM SAN Switch H16.
    • Сторінка підтримки IBM SAN Switch H16.

  • Хочете знати більше? У розділі developerWorks IBM Systems розміщено безліч інформативних статей та навчальних посібників початкової, середньої і підвищеної складності.

    Отримати продукти і технології

    • Остання версія Storage Manager для вашого обладнання на сторінці файлів для завантаження DS4500.
  • Розробіть ваш наступний проект з використанням пробного програмного забезпечення IBM. доступного для завантаження безпосередньо на сайті developerWorks.

    Схожі статті