Рекомендації по настройці сховищ Fibre Channel, NFS і iSCSI, використовуваних для віртуальних машин VMware ESX Server / ESXi.
У тих, хто тільки недавно став придивлятися до віртуалізації на платформі VMware Virtual Infrastructure, одним з перших постає питання - яку систему зберігання використовувати, і які можливості для неї будуть доступні.
На малюнку нижче наведена сумісність різних функцій VMware ESX Server з типами систем зберігання.
А по посиланню нижче наведено порівняння швидкодії протоколів Fibre Channel, iSCSI і NAS / NFS для VMware ESX Server:
Тут читаємо про обмеження для систем зберігання в ESX Server:
Тепер "/>
Плюси: гарантована смуга пропускання, висока продуктивність, підтримка всіх можливостей VMware (включаючи кластер MSCS в віртуальних машинах).
Мінуси: висока вартість систем зберігання і фабрики SAN.
Плюси: відносно низька вартість, гарна продуктивність, можливість завантаження з iSCSI SAN.
Мінуси: немає гарантованої смуги пропускання, присутні всі недоліки, властиві IP-мереж.
Плюси: дуже низька вартість (можна реалізувати на Linux або Windows сервері), при цьому ми отримуємо повнофункціональну загальну систему зберігання з функціями HA і DRS.
Мінуси: низька продуктивність, додаткове навантаження на процесори хостів ESX і сервер-сховище.
Плюси: низька вартість, не потрібно додаткової ланки - томів VMFS, хороша продуктивність.
Мінуси: знову-таки IP-мережу, немає підтримки MSCS, не можна завантажувати ESX з SAN, навантаження на процесор.
Плюси: дешево (локальні диски самого ESX), не потрібно додаткових інвестицій, гарну швидкодію.
Мінуси: не працює VMware HA, DRS + DPM, VMotion, VCB.
Основні кращі практики для всіх типів систем зберігання
- Презентуйте томи LUN для всіх серверів ESX Server з однаковим LUN ID. Інакше ваші VMFS-томи можуть перетворитися в снапшоти і можуть виявитися недоступними.
- Правильно вибирайте розмір блоку для томи VMFS. Як це зробити описано тут.
- Дотримуйтеся правила «1 LUN per 1 VMFS Volume»
- Використовуйте уніфіковані правила іменування VMFS-томів, створюйте, по можливості, LUN однакового розміру. Найбільш оптимальний розмір LUN - від 250 Гб до 2 Тб.
- Не використовуйте «розширення» (Extents) для томів VMFS.
- Зберігайте ISO-образи на дешевому сховище, наприклад NFS, і монтують його в режимі Read-Only для ESX.
- Використовуйте RDM-диски з обережністю. Переваг в продуктивності вони не дають. Використовуйте їх тільки тоді, коли потрібно їх функціональність (наприклад, для кластерів MSCS).
- Тримайте 30% томи VMFS вільним. Це зменшить ризик необхідності його розширення при створенні снапшотов і інших непередбачених обставин.
- Не ставте більше 30 віртуальних машин на одному VMFS-томі. LUN може почати відчувати проблеми з продуктивністю. Хороші консультанти рекомендують від 5 до 15 віртуальних машин на LUN.
- VMkernel Core Dump зберігайте локально. При відключенні ESX від SAN ви не зможете зрозуміти в чому справа.
- Робіть менше «снапшотов» віртуальних машин, а краще зовсім не робіть. Краще використовуйте ПО для створення резервних копій.
- Для гостьової ОС віртуальної машини виставляйте параметр Disk TimeOutValue в значення 60 секунд для того, щоб дати час SCSI-пристроїв і механізму вибору шляху на придбання стійкого стану під час фізичних проблем в компонентах мережі зберігання. Для цього в ОС Windows необхідно в ключі реєстру «HKEY_LOCAL_MACHINE \ System \ CurrentControlSet \ Services \ Disk \ TimeOutValue» виставити значення 60.
- Переконайтеся, що довжина черги (Queue Size) в гостьовій системі для драйверів BusLogic і LSI Logic відповідає значенню не менше 30.
Практики для різних типів загальних систем зберігання віртуальних машин
- Зонується фабрику SAN так, щоб кожен HBA-адаптер ESX Server потрапляв в окрему зону. При цьому всі хости ESX повинні бачити все LUN з віртуальними машинами для коректної роботи HA і VMotion.
- Переконайтеся, що доступ до одного LUN для масивів, сконфигурированних як «active-passive», організований через активний контролер з усіх хостів. Інакше може виникнути явище Path Thrashing.
- Для хостів ESX Server налаштовуйте зонування типу "hard zoning" (за номером порту). Зонування типу "soft zoning" (за номером WWN) - не застосовуйте.
- В налаштуваннях типів хостів для системи зберігання вказуйте правильний тип хоста - «VMware» (якщо такий є). Якщо такого немає, використовуйте рекомендацію виробника.
- Встановлюйте політику шляхів як Fixed для систем зберігання, контролери яких налаштовані як «active-active» і MRU (Most Recently Used) для систем зберігання з контролерами «active-passive». Не використовуйте політику балансування по шляхах Round Robin, так як вона не підтримується у виробничому середовищі.
- При проблемах з продуктивністю, можливо має сенс збільшити глибину черзі HBA-адаптера. Для цього в файлі /etc/esx.conf знайдіть рядок, на зразок /device/002:02.0/options = "ql2xmaxqdepth =" для вашого HBA, і додайте після останнього дорівнює значення Queue Depth. За умовчанням встановлено значення 32. Значення задається відповідно до формули: