Чому гальмує glusterfs

  • Linux
  • CentOS
  • GlusterFS

Доброго дня.
Налаштував гластер між двома серверами в режими реплікації. кожен сервер подключется клієнтом до себе.

Поверх цього живе самба з кулями цих папок.
У папках близько 200 тисяч дрібних файлів (по 10-20кб).
Швидкість скачування через самбу порядку 20Кб. швидкість заливки начебто непогана. (Проблем не помічав). Швидкість відкриття папок через самбу жахлива.
Іноді виникає input \ output error при читанні локалхостом з папки гластера. (Рідко)
P.S. самба зі звичайною ФС (НЕ гластер) працює на ура.

Підкажіть будь ласка. у чому може бути проблема з такою поведінкою гластера?

Перевірялося без тюнінгу і з тюнінгом.

gluster volume set vol nfs.enable-ino32 on
gluster volume set vol nfs.addr-namelookup off
gluster volume set vol nfs.disable on
gluster volume set vol performance.cache-max-file-size 10MB
gluster volume set vol performance.cache-refresh-timeout 5
gluster volume set vol performance.write-behind-window-size 10MB
gluster volume set vol performance.io-thread-count 64
gluster volume set vol performance.cache-size 5G

Провело тут невеличкий тест на запис через rsync (не питайте чому саме їм. Захотілося =))

#### SSD TO SSD
sent 7672190769 bytes received 797076 bytes 180540890.47 bytes / sec
total size is 7668399515 speedup is 1.00

#### SSD TO GLUSTER (on ssd) with FUSE mount REPLICATED 2 блоки на двох серваках
sent 7672133481 bytes received 796791 bytes 18737314.46 bytes / sec
total size is 7668343095 speedup is 1.00

#### SSD TO GLUSTER (on ssd) with NFS mount REPLICATED 2 блоки на двох серваках

sent 7672401667 bytes received 799223 bytes 19207010.99 bytes / sec
total size is 7668603097 speedup is 1.00

#### SSD TO GLUSTER (on ssd) with FUSE DEPRICATED-REPLICATED з 4х блоків на двох серваках

швидкість така ж як і в випадку з реплікайтед.

Між гластерсерверамі оптика.

Що то дуже дивують мене дані результати. в інеті натикався на статті де люди стверджують що гластер у них качає зі швидкістю сітки (1 ГБ в їхньому випадку був).

Схожі статті