Kuidas optimeerida salvestusruumi Linuxis

Aastate jooksul oli täis kettale lihtne vastus: lisada rohkem salvestusruumi. Salvestusruum oli odav. Nüüd pole see enam nii. NAND-välkmälude hinnad on alates 2025. aasta lõpust tõusnud, kuna AI-infrastruktuuri nõudlus tarbib kogu maailma tootmisvõimsust. Ettevõtete SSD-lepinguhinnad tõusid ainuüksi 2026. aasta esimeses kvartalis 85–90%, tarbijatele mõeldud NVMe-kettad on jaemüügihinnas ligikaudu kahekordistunud ning uue NAND-tootmisvõimsuse kasutuselevõttu ei ole oodata enne 2027. aastat.

Tulemus: iga gigabait teie serveris maksab rohkem kui aasta tagasi, mistõttu on olemasoleva optimeerimine palju parem investeering kui uue ostmine. Käesolevas postituses käsitletakse, kuidas leida, mis teie kettaruumi täidab, seda puhastada ja konfigureerida failisüsteem salvestusruumi tõhusamaks kasutamiseks.

Selle leidmine, mis kasutab teie kettaruumi

Alustage käskuga df -h , et saada ülevaade kõigist ühendatud failisüsteemidest, sealhulgas kogumahust, kasutatud ruumist ja kasutamise protsendist. Iga partitsioon, mis on üle 90% täis, vajab tähelepanu. Kontrollige vajadusel konkreetseid partitsioone eraldi:

df -h /
df -h /boot

Ärge unustage inode'e. Failisüsteemil võib olla vaba ruumi, kuid puuduvad vabad inode'ed, mis põhjustab samu vigu. Kontrollige df -i.

Kui df näitab 100% kasutust, kuid numbrid ei klapi, on teil tõenäoliselt kummitusfailid. Need on failid, mis on kustutatud, kuid mida töötav protsess hoiab endiselt avatuna. Ruumi ei vabastata enne, kui protsess vabastab faili käepideme. Leidke need järgmiselt:

sudo lsof / | grep deleted

Kui teate, millised failisüsteemid on koormatud, uurige katalooge käsuga du või ncdu. Kiireks kontrollimiseks või skriptide kirjutamiseks on du on õige tööriist:

du -h --max-depth=1 /var

Lisage -x juurkaustast skannimisel, et jääda ühe failisüsteemi piires ja vahele jätta virtuaalsed mount'id nagu /proc. Kaugserveri interaktiivseks uurimiseks ncdu pakub navigeeritavat tekstiliidest, kus saate faile suuruse järgi sorteerida ja neid otse kustutada.

Pakettide vahemälude, logifailide ja dubleeritud failide puhastamine

Kolm valdkonda moodustavad järjekindlalt kõige enam vabastatavat ruumi: pakettide vahemälud, logifailid ning suured või dubleeritud failid.

Pakettide vahemälud ja orvuks jäänud sõltuvused

Iga installimine või uuendamine jätab maha pakettide vahemälud. Aja jooksul kogunevad need märkamatult. Puhasta need vastavalt oma distributsioonile:

Vaata muudatusi eelnevalt üle sudo apt autoremove --dry-run. Vanad tuumad võivad Ubuntu süsteemides võtta 1,5 GB või rohkem ruumi. Säilita alati töötav tuum ja üks varukoopia enne vanemate versioonide eemaldamist.

Kui kasutad Snapi või Flatpaki, kogunevad ka nende versioonid ja käivitusajad:

sudo snap set system refresh.retain=2
flatpak uninstall --unused

Logifailid kataloogis /var/log

Logifailid on kõige tavalisemad märkamatud kettaruumi raiskajad. Leidke esmalt ülemõõdulised logifailid:

du -xhd1 /var/log | sort -h
find /var/log -type f -size +100M

Systemd-päevikute puhul kasuta sisseehitatud vacuum-tööriista, selle asemel et faile käsitsi kustutada:

sudo journalctl --vacuum-size=500M

Püsiva piirangu seadmiseks redigeerige /etc/systemd/journald.conf:

SystemMaxUse=500M
MaxRetentionSec=14day

Teenuse poolt endiselt avatuna hoitavate aktiivlogifailide puhul ärge kasutage rm. Ruumi ei vabastata, kuni protsess hoiab faili deskriptorit. Kasutage selle asemel käsku truncate:

sudo truncate -s 0 /var/log/syslog

Suured ja dubleeritud failid

Leidke kogu süsteemist üle 500 MB suurused failid:

sudo find / -type f -size +500M -exec ls -lh {} +

Duplikaatide puhul rmlint kasutab hash-põhiseid võrdlusi, et tuvastada dubleeritud faile, tühje katalooge ja katkenud sümbolilinke. Vaadake selle väljundit hoolikalt läbi enne midagi eemaldamist, eriti serverites, kus identsed failid võivad täita erinevaid ülesandeid.

Failisüsteemi tasandi optimeerimine

Pärast failide puhastamist saate sama riistvara abil rohkem kasutatavat ruumi välja pigistada, häälestades oma failisüsteemi.

Ext4 reserveeritud ruumi vähendamine

Vaikimisi reserveerib ext4 5% failisüsteemist juurkaustale. 2 TB andmepartitsioonil tähendab see 100 GB kasutamata ruumi. Pühendatud serveril, kus andmepartitsioon ei ole juurkaust, saate seda ohutult vähendada:

sudo tune2fs -m 1 /dev/sdXn

See seab reserveeritud ruumi suuruseks 1%, mis on enamiku kasutuse juhtude jaoks piisav. Kontrollige muudatust käsuga tune2fs -l /dev/sdXn.

Btrfs läbipaistev pakkimine

Btrfs toetab läbipaistvat failide pakkimist, mida ext4 ja XFS ei paku. Kinnitage compress=zstd , et andmeid kirjutamisel automaatselt pakkida. ZSTD pakub head tasakaalu kiiruse ja suhte vahel. Segatud failide koormuste puhul compress-force=zstd võib pakkuda täiendavat 10–20% kokkuhoidu, pakkides faile, mida heuristika tavaliselt vahele jätaks.

Olemasolevate andmete pakkimiseks Btrfs-mahul:

btrfs filesystem defragment -czstd /path/to/dir

Olge sellega ettevaatlik mahtudel, millel on hetktõmmised või reflinkid. Defragmenteerimine katkestab Copy-on-Write suhted, mis võib tegelikult suurendada kettaruumi kasutust.

Reflinkid kiirkopiate jaoks

Nii XFS kui ka Btrfs toetavad reflinke, mis loovad failikoopiaid, mis jagavad füüsilisi plokke, kuni ühte koopiat muudetakse. See on kasulik virtuaalmasina kettakuvade või konteinerikihtide kloonimisel ilma salvestusruumi tarbimist kahekordistamata:

cp --reflink=always source.img clone.img

LVM-i õhuke eraldamine

LVM-i õhuke eraldamine võimaldab eraldada rohkem loogilist ruumi, kui füüsiliselt olemas on, kasutades tegelikku kettaruumi ainult andmete kirjutamisel. See on väärtuslik, kui käitatakse mitut virtuaalmasinat või konteinerit, millest igaüks vajab oma loogilist mahtu, kuid mis ei täida neid kõiki korraga.

Et vältida õhukeste poolide tühjenemist, lubage automaatne laiendamine /etc/lvm/lvm.conf , seadistades thin_pool_autoextend_threshold ja thin_pool_autoextend_percent.

Salvestusruumi hoolduse automatiseerimine

Käsitsi puhastamine toimib üks kord. Automaatne puhastamine hoiab teie kettad korras kuni järgmise sisselogimiseni. Kasutage systemd ajastajaid cron võimaluse korral. Need logivad väljundi journalctl automaatselt ning Persistent=true jõuab pärast taaskäivitamist järele vahelejäänud käivitused.

Docker väärib erilist tähelepanu. Konteinerite logid võivad kasvada ilma nähtava hoiatuseta. Piirata logi suurust globaalselt, muutes /etc/docker/daemon.json. Määra max-size ja max-file all log-opts võtme all, et vältida üksikute konteinerite poolt ketta täitmist.

Proaktiivseks seireks seadistage kaheastmeline hoiatussüsteem: hoiatus 80% kettakasutuse juures ja kriitiline hoiatus 90% juures. Logige kettakasutust iga tunni järel, et saaksite jälgida kasvutrende ja ennustada, millal partitsioon jõuab täis:

0 * * * * df --output=source,size,used,pcent >> /var/log/disk_usage.csv

Veel üks ettevaatusabinõu: ühendage /var, /tmpja /home eraldi partitsioonidele. See takistab logifailide või kasutajaandmete kontrollimatut kasvu, mis võiksid täita juurkaustasüsteemi ja põhjustada kogu süsteemi kokkujooksmist.

Iga gigabaiti väärtustamine

Kuna salvestusruumi hinnad tõusevad ja leevendust ei ole oodata enne uue NAND-tootmise käivitumist 2027. aastal, ei ole olemasoleva optimeerimine lihtsalt hea tava. See säästab reaalset raha. Lähenemine on lihtne:

• Kontrollige oma kettaruumi kasutust df, duja ncdu enne muudatuste tegemist.
• Tühjendage pakettide vahemälud, vahetage logifaile ja eemaldage dubleeritud failid, et vabastada ruumi kohe.
• Häälestage oma failisüsteem. Vähendage ext4 reserveeritud plokke, lubage Btrfs-i pakkimine või kasutage LVM-i õhukest eraldamist, et saada samast riistvarast rohkem välja.
• Automatiseerige hooldus systemd-ajastitega, et teie kettad püsiksid kontrollide vahel puhtad.
• Jälgige kasutustrende ja seadke hoiatused 80% ja 90% tasemele, et avastada probleemid varakult.

Kui vajate pühendatud serveri infrastruktuuri koos suure jõudlusega NVMe-salvestusruumiga, on FDC pühendatud serverid just selleks loodud.