Skip to content

Upravljanje podatkov prek porazdeljenega pomnilnika za znanstvene podatke (dCache)

Ravnanje s podatki

Vmesna programska oprema Nordugrid ARC podpira različne dostopovne protokole, kot so ftp, gsiftp, http, https, httpg, dav, davs, ldap, srm, root, rucio in s3. Za vhodne podatke uporablja predpomnilnik in lahko optimizira prenose z uporabo samo enega prenosa za opravila, ki uporabljajo isti nabor podatkov, in drugo.

Shranjevanje podatkov na oddaljeni dCache

  • Na voljo je uporabnikom SLING, članom gen.vo.sling.si in ostalim VO.
  • Primerno za standardne vhodne in izhodne podatke o opravilih kot začasno shranjevanje (ARC), z omejeno kvoto.
  • Privzeta nastavitev ni primerna za zaupne nešifrirane podatke, člani istega VO lahko berejo podatke drugih članov.
  • Kratkoročno in dolgoročno shranjevanje na strežniku dCache in bazenih znotraj SLING.
  • Brez varnostne kopije!
  • Več o rešitvah za shranjevanje podatkov HPC Vega na povezavi

Odjemalec ARC ponuja ukaze za neposredno rokovanje s podatki, dokumentacijo in uporabne ukaze najdete tukaj.

S3 Object Storage

HPC Vega ponuja shranjevanje objektov. Za pridobitev poverilnic je potreben odjemalec OpensSack. Za upravljanje podatkov bi moral delovati kateri koli odjemalec S3, na primer s5cmd, libs3 ali boto3. Uporabniki Vega HPC lahko uporabljajo odjemalca na prijavnih vozliščih. Začetna uporabniška kvota je nastavljena na 100 GB.

Pridobitev ključa in skrivnosti za dostop do projekta v objektnem pomnilniku S3:

openstack --os-auth-url https://keystone.sling.si:5000/v3 --os-ime-domene-projekta sling --ime-uporabniške-domene os sling --ime-os-projekta <ime_projekta > --os-username <uporabniško_ime> poverilnice ec2 create

Spremenljivke okolja:

OS_AUTH_URL=https://keystone.sling.si:5000/v3
OS_PROJECT_NAME=<ime_projekta>
OS_PROJECT_DOMAIN_NAME=sling
OS_USER_DOMAIN_NAME=sling
OS_IDENTITY_API_VERSION=3
OS_URL=https://keystone.sling.si:5000/v3
OS_USERNAME=<uporabniško_ime>

Ukaz za pridobitev ključa in skrivnosti:

ustvari poverilnice openstack ec2

odjemalec s5cmd

Prenos podatkov s stranko. Spremenljivke okolja, kot sta aws_access_key_id in secret_access_key, so shranjene v datoteki ~/.aws/credentials.

mkdir ~/.aws
chmod 700 ~/.aws
dotaknite se ~/.aws/credentials
chmod 600 ~/.aws/poverilnice
cat >~/.aws/credentials <<EOF
[privzeto]
aws_access_key_id = <dostop>
aws_secret_access_key = <skrivnost>
EOF

Navedite vsebino:

s5cmd --endpoint-url https://ceph-s3.vega.izum.si ls

Ustvari vedro:

s5cmd mb mybucket01

Preverite, ali je vedro ustvarjeno:

s5cmd glava s3://mybucket01/

Kopiraj datoteko v vedro:

s5cmd --endpoint-url https://ceph-s3.vega.izum.si cp <podatki> s3://mybucket01/

Prenesi datoteko(e) iz vedra:

s5cmd cp s3://mybucket01/data01.tar.gz.

Odstrani datoteko(e) iz vedra:

s5cmd rm s3://mybucket01/data01.tar.gz

Več ukazov na s5cmd.