Ladění ZFS ARC: limity, omezení a co měřit

ZFS si ve výchozím nastavení tiše zabere zhruba polovinu systémové RAM pro svou čtecí cache, a na nevhodném typu serveru to znamená aktivitu swapování, ukončování procesů kvůli nedostatku paměti (OOM) nebo situaci, kdy databáze soupeří o paměť s souborovým systémem. Ladění ARC v ZFS spočívá v rozhodnutí, kolik z této RAM smí ARC skutečně zabrat a čeho se vzdáte, abyste nastavili tento limit. Tento příspěvek popisuje, jak ARC využívá paměť, co je třeba změřit, než začnete cokoli měnit, několik parametrů, které stojí za to upravit, a rozumné výchozí hodnoty pro souborové servery, hypervizory, databáze a cíle zálohování. Pokud jde o snapshoty v ZFS, podívejte se na náš průvodce po ZFS snapshotách.

Změřte ARC, než začnete cokoli ladit

Neměňte ani jeden nastavitelný parametr, dokud nebudete mít základní hodnoty z běžného období s vysokým zatížením. Snímky z období s nízkým zatížením vás nasměrují špatným směrem. Noční zálohy, týdenní zprávy a dávkové úlohy jsou obvykle místy, kde se chování ARC stává zajímavým, proto sbírejte data v průběhu několika dní.

Většinu toho, co potřebujete, pokryjí tři nástroje:

• arcstat 1 poskytuje živý posuvný přehled počítadel hitů a missů, aktivity poptávky versus přednačítání a aktuální velikosti ARC. Používejte jej během zátěžových testů a zálohovacích oken.
• arc_summary vytiskne jeden snímek: velikost ARC a cílovou hodnotu, rozdělení MFU/MRU, poměry metadat a aktivní laditelné parametry. Spusťte příkaz arc_summary -s arc pouze pro sekci ARC.
• Surové počítadla jsou k dispozici /proc/spl/kstat/zfs/arcstats na Linuxu a pod kstat.zfs.misc a vfs.zfs stromech sysctl ve FreeBSD. Získejte je z monitorování, místo abyste parsovali formátovaný výstup.

Počítadla, která je vhodné zaznamenat před jakoukoli změnou:

V této souvislosti se lidé často mýlí ve dvou věcech. Sledujte dostupnou paměť, nikoli volnou paměť; Linux bez problémů hlásí nízkou hodnotu volné RAM jako stabilní stav a to samo o sobě není problém. Důležitým signálem je dostupná paměť blížící se nule v kombinaci s trvalou aktivitou odkládacího prostoru (důvody vysvětluje úvod do správy paměti v Linuxu). A poměr zásahů berte jako trend, ne jako cíl. Poměr zásahů 99 % na stroji, který využívá odkládací prostor, je selháním ladění, nikoli úspěchem.

Čtyři důležité nastavitelné parametry ARC

Většina ladění v produkčním prostředí se omezuje na čtyři nastavení. Nastavení přizpůsobte tlaku, který jste skutečně naměřili v základní linii. Aktivity výměny poukazují na zfs_arc_max. Znovuzískání odchodů, které neustále vymazávají „hot cache“, ukazuje na zfs_arc_min. Pomalé procházení adresářů ukazuje na limit metadat.

Začněte s nejmenší změnou, která vyřeší tlak, který pozorujete. zfs_arc_max, správná horní hranice závisí na pracovním zatížení (to bude popsáno v další části). Pro zfs_arc_minje dolní hranice 25 % až 50 % zfs_arc_max je rozumným výchozím bodem, pokud vůbec nějaký potřebujete. U metadat poskytují nejnovější výchozí nastavení OpenZFS metadatům již 75 % ARC prostřednictvím zfs_arc_meta_limit_percent, což je pro většinu pracovních zátěží velkorysé; zasahujte do toho pouze tehdy, jsou-li chyby v metadatech jasně viditelné v arcstat.

Aplikace změn v systémech Linux a FreeBSD

V systému Linux otestujte změnu za běhu zápisem do parametrického souboru sysfs. Není třeba restartovat:

echo 17179869184 > /sys/module/zfs/parameters/zfs_arc_max

Tím se zfs_arc_max hodnotu na 16 GiB. Chcete-li, aby změna přetrvala restart, přidejte ji do /etc/modprobe.d/zfs.conf:

options zfs zfs_arc_max=17179869184

Ve FreeBSD se pro změny za běhu používá sysctl:

sysctl vfs.zfs.arc_max=17179869184

Uchovejte stejnou hodnotu v /boot/loader.conf:

vfs.zfs.arc_max="17179869184"

Měňte vždy jen jedno nastavení, v malých krocích o velikosti přibližně 10 % celkové RAM. Sledujte okno s problémy. Změnu ponechte pouze v případě, že swap zůstane na nule a latence je stabilní. Změnu uložte trvale až po úspěšném absolvování testu za běhu.

Nastavení ARC podle pracovního zatížení

Celková velikost RAM není správným výchozím bodem. Dimenzování ARC by mělo vycházet ze skladby pracovních zátěží na daném zařízení.

Host virtuálního stroje musí sdílet paměť se svými hosty, takže limit 30 % až 40 % je bezpečným výchozím nastavením a 50 % je u většiny sestavení již příliš vysoké. Databáze jako PostgreSQL a MySQL spravují své vlastní vyrovnávací paměti, takže nejprve rezervujete paměť pro engine a ARC necháte to, co zbývá. Cíle zálohování z toho těží primarycache=metadata protože načtená data se zřídka znovu potřebují a nechcete, aby noční záloha procházela celý pool a přitom vyprázdňovala zbytek mezipaměti. U všech typů zátěže platí, že pokud je aktivita swapování při fixaci ARC na zfs_arc_max znamená, že limit je nastaven příliš vysoko; toto pravidlo se nemění.

Diagnostika problémů a rozpoznání, kdy přestat

Příliš malá velikost ARC se projevuje vysokým počtem IOPS při čtení, nízkou mírou úspěšnosti požadavků a pomalým procházením adresářů, zatímco systém má stále volnou RAM. Příliš velká velikost ARC je méně zřejmá. Míra úspěšnosti vypadá v pořádku, ale systém začne swapovat, průměrné zatížení stoupá, procesy se blokují ve D stavu, zatímco jádro uvolňuje stránky ARC na vyžádání, a v nejhorším případě začne OOM killer vybírat oběti. Cache vypadá v pořádku, ale server funguje příšerně.

Tlak na metadata se projeví, když demand_metadata_bytes je mnohem vyšší než demand_data_bytes v arc_summary. To znamená, že metadata soupeří o místo s daty, a v takovém případě se vyplatí zvýšit procentuální limit pro metadata.

Porovnejte to, co vidíte, s prvním nastavením, které je třeba zkontrolovat:

L2ARC není bez nákladů. Index pro položky L2ARC je uložen v primárním ARC a pokud tato režie překročí přibližně třetinu celkové kapacity ARC, sekundární mezipaměť přináší více škody než užitku. Používejte L2ARC pouze tehdy, když je pracovní sada větší než RAM, ale stále se vejde na rychlé zařízení NVMe, a pouze tehdy, když je poměr zásahů v primární ARC již v pořádku.

Správný čas na ukončení ladění nastává, když se latence ustálí, swap zůstává na nule i během stejného období vysokého zatížení, které původní problém způsobilo, a další změny již nic nezlepšují. Vysoká úspěšnost přístupů k ARC nemá žádný význam, pokud server provádí swapování. Po dosažení tohoto bodu přestaňte nastavení upravovat a vraťte se k nim pouze v případě, že se stejný problém znovu objeví při stejném pracovním zatížení.

Pokud potřebujete server s dostatečnou rezervou RAM, aby systém ZFS běžel správně, aniž by se o paměť musel přetahovat s vašimi virtuálními stroji nebo databázemi (nejprve si přečtěte, kolik RAM vlastně potřebujete), podívejte se na dedikované servery FDC.