Točke vpenjanja

Sistem HPC Vega uporablja in integrira tehnologije za shranjevanje podatkov z različnimi lastnostmi, ki nudijo raznovrstne datotečne sisteme. Ti omogočajo uporabnikom SLING in EuroHPC kapaciteto shranjevanja in predhodno določene direktorije.

Ime	Opis	Tip
exa5	Visokozmogljivi pomnilnik	Lustre
ceph	Pomnilnik z veliko kapaciteto	Ceph

Visokozmogljivi pomnilnik – Lustre

HPC Vega uporablja Lustre kot vzporedno razporejen datotečni sistem. Lustre je namenjen učinkovitemu vzporednemu vnosu/izvozu večjih datotek. Zato uporabnikom priporočamo naslednje:

Izogibajte se shranjevanju večjega števila datotek v en direktorij, bolje je, da datoteke razdelite na več direktorijev.
Na sistemu Lustre se izogibajte dostopanju do večjega števila manjših datotek.
Prepričajte se, da je število segmentov za manjše datoteke 1.
Izogibajte se uporabi standardnih ukazov za Linux rm in ls -l.
Namesto ls uporabite lfs find. Primere uporabe najdete spodaj:

Iskanje v drevesu direktorijev

Ukaz lfs find išče po drevesu direktorijev trenutnega direktorija / ime datoteke za datoteke, ki so skladne z določenimi parametri. Za pregled seznama vseh možnosti, ki jih lahko uporabite z lfs find, zaženite pomoč lfs find ali man lfs.

Ko iščete datoteke v sistemu Lustre, je včasih bolj učinkovito, da namesto find uporabite lfs find.

Spodaj najdete nekaj najpogosteje uporabljenih možnosti lfs find:

Parameter	Opis
–atime	Dostop do datoteke je bil nazadnje pred N*24 urami. (Ni zagotovila, da se atime beleži koherentno po celotni gruči.)
–mtime	Status datoteke je bil nazadnje modificiran pred N*24 urami.
–ctime	Status datoteke je bil nazadnje spremenjen pred N*24 urami.
–maxdepth	Omeji iskanje na padajoče na najbolj N ravneh drevesa direktorija.
–print /–print0	Natisne celotno ime datoteke, ki mu ustrezno sledi nova vrstica ali znak NIČ.
–size	Datoteka ima velikost v bajtih ali kilo, mega, giga, tera, peta oz. exabajtih, če je dana predpona.
–type	Datoteka ima tip (block, character, directory, pipe, file, symlink, socket ali Door [Solaris]).
–gid	Datoteka ima specifični ID skupine.
–group	Datoteka pripada specifični skupini (dovoljen numerični ID skupine).
–uid	Datoteka ima specifični numerični uporabniški ID.
–user	Lastnik datoteke je specifični uporabnik (dovoljen numerični ID uporabnika).

$ lfs find /exa5/scratch/user/ -mtime +20 -type f -print

lfs find se uporablja za identifikacijo datotek, starejših od 20 dni.

Za več možnosti glejte glavno stran za pripomočka lfs.

Preverjanje uporabe prostora na disku

Ukaz lfs df prikaže uporabo diska datotečnega sistema. Določijo se lahko dodatni parametri za prikaz uporabe inod za vsak MDT/OST ali podmnožico OST-jev. Uporaba ukaza lfs df je naslednja:

lfs df [-i] [-h] [path]

pri čemer je:

-i: Seznami uporabe inoda na OST in MDT.

-h: Izvoz se natisne v človeku berljivem formatu z uporabo pripon SI base-2 za mega, giga, tera, peta ali exabajte.

Privzeto se prikaže uporaba za vse vpete datotečne sisteme Lustre. Če pa je določena pot, se prikaže uporaba določenega datotečnega sistema.

Namesto rm uporabite munlink, ukaz, specifičen za Lustre, ki preprosto izbriše datoteko. Spodaj je primer priporočenega pristopa, sestavljenega iz dveh korakov.

Prvi korak izbriše vse datoteke in simbolne povezave znotraj direktorija (in njegovih poddirektorijev) z uporabo unlink (ali munlink):

lfs find  ./mydir -print0 -type f -o -type l | xargs -0 unlink

Tukaj je pregled posameznih korakov tega ukaza:

find je ukaz, ki bo poiskal določen direktorij (in njegove poddirektorije). Sintaksa definira iskanje datotek in simbolne povezave.
-P je možnost, ki omeji iskanje znotraj drevesa določenega direktorija in zagotovi, da NI dereference simbolnih povezav. S tem se zagotovi, da ukaz za iskanje ne išče datotek znotraj povezav.
./mydir je argument direktorija, kjer se začne iskanje.
print0 je možnosti, ki nakaže format ukaza "find". Ta format lahko išče neznana imena datotek in zagotovi, da so berljive za naslednji ukaz (xargs), ki je bil spojen z navpičnico.
type f -o -type l so možnosti, ki nakažejo, da bo ukaz za iskanje iskal karkoli s tem tipom datoteke (-type f) ali (-o), simbolna povezava (-type l, to je malo pisana črka l).
Ukaz navpičnice (predstavlja ga ena navpičnica: |) spoji dva ukaza. S tem rezultat prejšnjega ukaza "iskanje" služi kot vnos naslednjega ukaza (v tem primeru xargs).
xargs -0 xargs nato konvertira prejet seznam datotek, vrstica po vrstica, v argument za kateri koli ukaz, določen na koncu (v tem primeru: munlink). Zastavica -0 je povezana s formatom naštetih datotek; če uporabite -print0 v ukazu za iskanje, morate uporabiti -0 v ukazu xargs.
unlink izbriše vsako datoteko in simbolno povezavo na seznamu, brez da bi preobremenil strežnik z metapodatki. V tem primeru je seznami tisti, ki ga prejme xargs.

Za seznam vseh datotek v vašem direktoriju uporabite ukaz:

lfs find . -type f -print

Drugi korak je odstranjevanje praznih direktorijev in poddirektorijev v drevesu. Ko so vsa polja in simbolne povezave izbrisane, lahko odstranite prazne direktorije s podobnim ukazom:

find -P ./mydir -type d -empty -delete

Datotečni sistemi

Uporabnikom so na voljo naslednji datotečni sistemi:

Območje	Pot	Opis
tmp	/tmp	Lokalni začasni direktorij na računskih vozliščih za vse uporabnike
home	/ceph/hpc/home/$USER	Domači direktorij za uporabnike na datotečnem sistemu v skupni rabi, vpetem na računskih in prijavnih vozliščih
scratch	/exa5/scratch/user/$USER	Delovni direktorij na visokozmogljivem pomnilniku – Lustre – na zahtevo vpetem na računskih in prijavnih vozliščih
scratch	/ceph/hpc/scratch/user/$USER	Delovni direktorij na pomnilniku z veliko kapaciteto – Ceph – na zahtevo vpetem na računskih in prijavnih vozliščih
Local scratch	/scratch/slurm/jobid	Začasni lokalni pomnilnik na vozlišču za posle, dosegljiv s pomočjo spremenljivke $WORKDIR/ (ustvarjen samodejno s skripto prolog sistema Slurm in izbrisan po zaključku posla)

Domači direktorij je uporabnikov domači direktorij s privzeto kvoto 100 GB . Vsi domači direktoriji so na datotečnem sistemu v skupni rabi in nudijo interne posnetke (varnostne kopije), ki se hranijo 30 dni.

Delovni direktoriji:

Na visoko zmogljivem pomnilniku – Lustre /exa5/scratch/user/

Na pomnilniku z veliko kapaciteto – Ceph /ceph/hpc/scratch/user/

Ti direktoriji se ustvarijo na zahtevo uporabnika in se priporočajo za shranjevanje velikih količin netrajnih podatkov. Datoteke v teh datotečnih sistemih se odstranijo po enem mesecu, zato podatke, ki jih želite shraniti, kopirajte na domači direktorij. Kvote so nastavljene v delovnem direktoriju. Podrobne informacije o kvotah so na voljo na tej povezavi.

Uporabniki lahko preverijo svoje kvote prostora na disku z naslednjimi ukazi:

Za uporabo na datotečnem sistemu Lustre:

lfs quota -h -u $USER /exa5/scratch/user/$USER/

Za uporabo na datotečnem sistemu Ceph:

Domači direktorij uporabnika:

getfattr --absolute-names -n ceph.dir.rbytes /ceph/hpc/home/$USER | tr -dc '0-9' | awk '{print $1/1024^3 " GB "}'

Skupni direktorij projekta (zamenjajte <ime_direktorija>):

 getfattr --absolute-names -n ceph.dir.rbytes /ceph/hpc/data/<ime_direktorija> | grep -v "file" | tr -dc '0-9' | awk '{print $1/1024^3 " GB "}'

Če potrebujete trajni pomnilnik za večje količine podatkov, se obrnite na našo podporo: support@sling.si

Kvote

Kvote	Kapaciteta	Opis
home	100GB	Velikost domačega direktorija za vsakega uporabnika
scratch	20GB	Velikost delovnega direktorija za vsakega uporabnika

Povečanje kvot

Za dodatni prostor se obrnite na našo podporo: support@sling.si