Vaihtoehtoreitti tutkimusaineiston pitkäaikaissäilytykseen

Fairdata PAS-palvelu on tarkoitettu tutkimusaineistojen pitkäaikaissäilyttämiseen. Löydät lisätietoa siitä, mitä pitkäaikaissäilyttäminen tarkoittaa digitalpreservation.fi-sivustolta. Palvelua tarjotaan maksuttomasti Suomen yliopistoille, ammattikorkeakouluille ja valtion tutkimuslaitoksille. Ennen aineistojen vientiä pitkäaikaissäilytykseen organisaatiolla on oltava PAS-sopimus ja aineistokohtainen säilytyspäätös. Sopimuksesta ja säilytyspäätöksestä löydät lisätietoa sivulta Fairdata PAS-palvelun käyttöönotto organisaatioissa.

Tällä sivulla kuvatussa ohjeessa oletetaan, että data viedään PAS-hallintaliittymän kautta sekä kuvaillaan Metax API -rajapinnan avulla, ennen kuin se viedään Fairdata PAS-palveluun pitkäaikaissäilytykseen. Alla on vertailu kaikista siirtotavoista.

Siirtoreittien vertailu

Aineiston siirtoreitti	IDA, Qvain, PAS-Hallintaliittymä (ohje)	PAS-Hallintaliittymä ja Metax API (ohje tällä sivulla)	Aineiston paketointi itse (ohje räätälöidysti)
Helppokäyttöisyys	Helppo, ei erityisosaamista	Edistynyt käyttäjä, komentorivikäyttö ja JSON	Vaativa, python-ohjelmointi, komentorivikäyttö
Käyttöliittymät	Graafiset selainpohjaiset. Datan siirto IDAan mahdollista myös komentorivikomennoin.	Datan siirto graafisen selainkäyttöliittymän kautta Hallintaliittymässä, kuvailu ei-graafisen rajapinnan kautta Linux-komentorivityökalulla	Ohjelmistokirjastot, komentorivityökalut
Sopivat käyttötapaukset	Kertaluonteiset siirrot, suhteellisen pienet (max n. muutaman kymmenen TiB) aineistot. Aineistosta voi jättää julkaistun käyttökopion IDAan.	Automatisoidumpi metatietojen tuotto tai toistuva siirto. Aineistosta ei haluta julkaistua käyttökopiota.	Suuret datamäärät, automatisoitu prosessi, räätälöidyt vaatimukset paketointiin. Aineistosta ei haluta julkaistua käyttökopiota.
Julkisesti näkyvä aineisto	Aineistosta muodostuu yksi versio Etsimen IDA-katalogiin (käyttökopio), joka linkittyy kuvailutietoihin Etsimen PAS-katalogissa	Kuvailutiedot Etsimen PAS-katalogissa	Kuvailutiedot Etsimen PAS-katalogiin erikseen muiden siirtoreittien avulla
Aineiston saatavuus	Käyttökopio mahdolista jättää julkisesti tai rajoitetusti saataville. PAS-aineisto noudettavissa vain aineistoa hallinnoivalle organisaatiolle Hallintaliittymän tai PAS-palvelun ei-graafisen rajapinnan kautta.	Noudettavissa vain aineistoa hallinnoivalle organisaatiolle Hallintaliittymän tai PAS-palvelun ei-graafisen rajapinnan kautta.	Noudettavissa vain aineistoa hallinnoivalle organisaatiolle PAS-palvelun ei-graafisen rajapinnan kautta.

0. Ennen kuin aloitat PAS-siirtoprosessin

Noudata ”Pikaopas tutkimusaineiston pitkäaikaissäilytykseen”-ohjeen kohtaa 0.
Asenna tarvittava metax_access-työkalu kuvailutietojen lähettämiseksi Metax-tietovarantoon
- Lataa työkalu ja katso asennusohjeet Githubista
- Asennuksen jälkeen luo Metax access token
- Luo kotihakemistoosi ~/.metax.cfg-tiedosto ja lisää sinne Metax access token seuraavasti:
```
[metax]
host=https://metax.fairdata.fi
token=**************
```

1. Koosta tiedostosi Hallintaliittymässä

Tiedostojen koonti Hallintaliittymässä edellyttää, että käyttäjällä on ehdottaja-rooli ja erillinen pääsyoikeus Hallintaliittymän ”Tiedostot” (Files) -näkymään. Oikeudet haetaan olemalla yhteydessä PAS-palvelun ylläpitoon: pas-support (a) csc.fi. Lisätietoa Hallintaliittymän rooleista ja niiden asettamisesta.

Kirjaudu sisään Hallintaliittymään.
Valitse ”Tiedostot” (Files) -välilehti.
Valitse ”Data”-riviltä kolme päällekkäistä pistettä. Tämä avaa valikon, jossa on seuraavat vaihtoehdot:
- ”Lähetä arkisto” (Upload archive): Lähetä ZIP- tai TAR-muodossa oleva aineisto hakemistorakenteineen palveluun.
  - Anna uuden hakemiston nimi, johon aineisto puretaan.
  - Lisää purettava ZIP- tai TAR-tiedosto.
  - Voit valita, tarkastetaanko aineistokokonaisuuden eheyden säilyminen siirrossa. Jos valitset tämän vaihtoehdon, syötä ZIP- tai TAR-tiedoston tarkistesumma SHA256-, SHA1- tai MD5-muodossa.
- ”Uusi hakemisto” (New directory): Luo uusi hakemisto.
  - Anna hakemiston nimi
Jos loit uuden hakemiston, voit lisätä siihen tiedostoja, kokonaisen aineiston ja/tai alihakemistoja valitsemalla kyseisen hakemiston kohdalta kolme päällekkäistä pistettä ja valitsemalla vastaavan valinnan.
- Ks. ”Lähetä arkisto” (Upload archive) ja ”Uusi hakemisto” (New directory) -vaihtoehdot kuten edellä Data-rivin kohdalla.
- ”Lähetä tiedostoja” (Upload files):
  - Valitse lähetettävät tiedostot.
  - Voit valita, tarkastetaanko aineistokokonaisuuden eheyden säilyminen siirrossa. Jos valitset tämän vaihtoehdon, syötä tiedostojen tarkistesummat SHA256-, SHA1- tai MD5-muodossa tiedostokohtaisesti antamalla summa ja tiedostonimi välilyönnillä erotettuna, jokainen tiedosto omalle rivilleen. Muoto tukee Linuxin tarkistussummakomentojen tulostetta, jonka voit antaa kenttään suoraan.
Jos sinun tarvitsee poistaa hakemistoja tai tiedostoja kokonaisuudesta, valitse kyseisen tiedoston/hakemiston kohdalta kolme päällekkäistä pistettä ja avautuvasta valikosta ”Poista” (Delete).
Valitse lopuksi aineistosi juurihakemiston kohdalta kolme päällekkäistä pistettä ja avautuvasta valikosta ”Lisätiedot” (Details).
Kopioi avautuvista lisätiedoista aineiston juurihakemiston tunniste itsellesi talteen. Tarvitset sitä kuvailutiedoissa seuraavassa kohdassa (2).

Huomaa, että tässä kohdassa lisätty aineisto ei ole vielä pitkäaikaissäilytyksessä, vaan vasta koostettu lähetettäväksi pitkäaikaissäilytykseen.

2. Kuvaile tiedostot aineistoksi Metax API -rajapinnan kautta

Kuvailutiedot viedään Metax API:n kautta JSON-muodossa metax_access-työkalulla.

Kun aloitat metax_access-työkalun käytön, aktivoi asennuksessa luomasi Python-virtuaaliympäristö komennolla:
```
source venv/bin/activate
```
Nouda mallipohja kuvailutietojen JSON-tiedostosta ja tallenna se tiedostoon dataset.json seuraavasti:
```
metax_access get template dataset --output dataset.json
```
Editoi kuvailutiedot dataset.json-tiedostosta.
- Katso esimerkki yksinkertaisen kuvailun laatimisesta
- Huomioi seuraavat asiat kuvailutietojen editoinnissa:
  - Käytä mallipohjan data_catalog-kentässä arvoa: urn:nbn:fi:att:data-catalog-pas
  - Lisää aineiston juurihakemiston tunniste directories-listan identifier-kenttään. Tunnisteen tähän sait edellisessä vaiheessa (1) Hallintaliittymästä.
Lähetä kuvailutiedot Metaxiin komennolla:
```
metax_access post dataset dataset.json
```
Python-virtuaaliympäristön voit deaktivoida komennolla:
```
deactivate
```

Aineiston metatiedot ovat nyt valmiina ja voit palata Hallintaliittymään.

3. Vie aineistosi pitkäaikaissäilytykseen Hallintaliittymässä

Noudata ”Pikaopas tutkimusaineiston pitkäaikaissäilytykseen”-ohjeen kohtaa (3).

4. Poista aineiston tiedostot Hallintaliittymästä tiedostojen koontisivulta

Varmista Hallintaliittymästä, että aineisto on pitkäaikaissäilytyksessä: Etsi aineisto Hallintaliittymän ”Aineistot” (Datasets) -välilehdeltä ja varmista, että sen tila on ”Pitkäaikaissäilytyksessä” (In Digital Preservation).
Kun aineisto on pitkäaikaissäilytyksessä, sitä ei tarvitse enää pitää Hallintaliittymän tiedostojen koontisivulla: Poista aineiston tiedostot Hallintaliittymän ”Tiedostot” (Files) -välilehdeltä. Valitse kyseisen aineiston juurihakemiston kohdalta kolme päällekkäistä pistettä ja avautuvasta valikosta ”Poista” (Delete).

5. Nouda aineistosi pitkäaikaissäilytyksestä

Noudata ”Pikaopas tutkimusaineiston pitkäaikaissäilytykseen”-ohjeen kohtaa (4).

PAS-tuki

Fairdata PAS-palvelun tukipyynnöt koko prosessin ajan osoitteeseen pas-support (a) csc.fi.