Ajankohtaista

Tilannetiedotus Fairdata-kokonaisuuden käyttöönotosta

Hyvään tieteelliseen käytäntöön kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen. Fairdata-kokonaisuus varmistaa tutkimuksen todennettavuuden ja toistettavuuden, sekä turvaa tietoaineistojen pitkäaikaisen saatavuuden. Fairdata-kokonaisuus tukee omalta osaltaan tulevan Datanhallinnan ja laskennan kehittämisohjelman tavoitteita. Kokonaisuus koostuu seuraavista osapalveluista:

IDA – Tutkimusdatan säilytyspalvelu mahdollistaa tutkimusdatan turvallisen säilytyksen.

Etsin – Tutkimusaineistojen hakupalvelu sisältää tutkimusaineistoja kuvailevia tietoja eli metatietoja. Etsimen avulla voi etsiä tutkimusaineistoja käyttöön.

Qvain – tutkimusaineistojen kuvailutyökalu auttaa oikean ja riittävän kuvailutiedon liittämisen aineistoon. Tarkka metadata mahdollistaa aineiston löydettävyyden ja varmistaa Fairdata-palveluiden yhteentoimivuuden.

Fairdata PAS -palvelu huolehtii tutkimusaineistojen pitkäaikaissäilytyksestä. Pitkäaikaissäilytys tarkoittaa datan säilyttämistä ja luettavana pitämistä kymmenien tai satojen vuosien ajan.

IDA ja Etsin ovat käytössä. Qvain-käyttöönotto on viivästynyt,  ja se otetaan käyttöön vuoden 2019 alussa. Tämä vaikuttaa Etsimen uuden version sekä Fairdata PAS -palvelun käyttöönottoon. Nämä voidaan ottaa käyttöön, kun Qvain on toiminnassa vuoden 2019 tammikuussa. Nyt siirtymävaiheessa IDAssa olevia tiedostoja ei voi linkittää aineistokuvailuihin Etsimessä, mutta niitä voi jakaa väliaikaisin jakolinkein. Metatietovaranto Metaxin rajapinta avataan marraskuun aikana myös yksittäisille loppukäyttäjille, jolloin sitä kautta voi luoda aineistoja myös tiedostolinkityksineen.

Lisätietoja aiheesta:

Qvain: Esa-Pekka Keskitalo, esa-pekka.keskitalo@helsinki.fi

Muut Fairdata-palvelut: Anssi Kainulainen, anssi.kainulainen@csc.fi

Fairdata PAS-palvelulla toimivia ratkaisuja tutkimusdatan pitkän tähtäimen säilytykseen

Suomalaisten korkeakoulujen ja tutkimuslaitosten tutkimusaineistojen digitaalinen pitkäaikaissäilytys käynnistyi joulukuussa 2019, kun Helsingin yliopisto tallensi ensimmäiset aineistopaketit CSC:n ylläpitämään pitkäaikaissäilytyspalveluun. Pitkäaikaissäilytys (PAS) tarkoittaa digitaalisen informaation luotettavaa säilyttämistä useiden kymmenien tai jopa satojen vuosien ajan. Laitteet, ohjelmistot ja tiedostomuodot vanhenevat, mutta informaation täytyy säilyä. Luotettava pitkäaikaissäilyttäminen edellyttää sisällön eheyden aktiivista valvontaa ja monenlaisiin riskeihin varautumista. Tässä ovat keskeisessä asemassa metatiedot, jotka kuvailevat mm. aineiston sisällön, historian ja alkuperän sekä tiedot siitä, miten informaatiota voidaan käyttää.

Ensimmäiset Fairdata PAS-palveluun viedyt aineistot olivat SMEAR-mittausasemien jatkuva data vuosilta 1992—2018 sekä täpläverkkoperhosten metapopulaatiotutkimusta koskeva data. Näiden aineistojen viemisessä säilytykseen hyödynnettiin laajasti Fairdata-palvelukokonaisuutta. Data tallennettiin ensin tutkimusdatan säilytyspalvelu IDAan, aineisto kuvailtiin tutkimusaineistojen kuvailutyökalu Qvaimella, paketoitiin Fairdatan paketointipalvelulla, hyväksyttiin Helsingin yliopiston kiintiöön hallintaliittymällä ja lopuksi validoitiin ja tallennettiin Fairdata PAS -palveluun.

Fairdata PAS-palveluun viety kolmas aineisto on Geologian tutkimuskeskus GTK:n röntgentomografialaitteiston tuottamaa dataa. Laitteisto mahdollistaa esimerkiksi kolmiulotteisen kopion taltioinnin kappaleesta esim. kappaleen tuhoutumisen varalta. Tämä data on määrällisesti suurta ja siirtoja tehdään toistuvasti, joten siirto PAS-palveluun tapahtuu käyttämällä IDAn sijaan PAS-palvelun tarjoamaa väliaikaista tiedostojen säilytyspalvelua. Metatietojen tuottamiseen käytetään Metax-metatietovarannon rajapintaa. Aineistoista tuotetaan myös esikatseluversioita, jotka tallennetaan tavalliseen tapaan IDAan ja julkaistaan Etsimeen. Lue uutinen GTK:n röntgentomografialaitteiston datan pitkäaikaissäilytyksestä Digitalpreservation.fi-sivustolta.

Lue lisää:

2020-05-05: päivityksiä Etsin, Metax ja Qvain Light -palveluihin

Viimeisimmät päivitykset Etsin, Metax ja Qvain Light -palveluihin sisältävät mm. seuraavat muutokset:

Metax:

  • Url metax.fairdata.fi käännetty osoittamaan Metaxin dokumentaatiosivulle metax.fairdata.fi/docs
  • Tuki Metax APIn käytölle siten, että aineistot luodaan organisaation omaan data catalogiin (haravoinnin tapaan)

Etsin:

  • Virheenkorjaus: viestin lähettäminen aineiston julkaisijalle
  • Poistetut aineistot näkyviin uudemman aineistoversion ”Tunnisteet ja tapahtumat” -välilehdelle

Qvain Light:

  • DOI-tunnisteen saaminen aineistolle (uutinen aiheesta: https://www.fairdata.fi/doi-fairdata-palveluissa/)
  • Julkaisupäivämäärän muokkausmahdollisuus
  • Ulkoisten datojen sisältö- ja latauslinkkien erottaminen omiksi kentikseen (aikaisemmin vain 1 yhteinen url)
  • Useamman tieteenalan lisääminen (aikaisemmin max 1 tieteenala)
  • Pitkäaikaiseen tallennukseen (Fairdata PAS) menevien aineistojen muokkausmahdollisuus, jos vientiprosessi päätyy aineiston sisältöön liittyvän virheeseen
  • Vanhentuneiden (deprekoituneiden) aineistojen metadatan muokkausmahdollisuus

DOI Fairdata-palveluissa

Fairdata tarjoaa julkaistuille tutkimusaineistoille pysyvän tunnisteen ja laskeutumissivun. Päivityksen yhteydessä 5.5.2020 otettiin käyttöön URN-tunnisteen rinnalle myös DOI-tunniste Fairdata IDA-säilytyspalvelussa oleville aineistoille. DOI-tunnistetta käytetään yleisesti tutkimusaineistoihin viittaamisessa. DataCiten DOI-tunniste tekee tutkimusaineiston metatiedosta kansainvälisesti helpommin yhteentoimivan ja antaa myös lisää näkyvyyttä. Pysyvänä tunnisteena on Fairdatassa tähän asti käytetty Kansalliskirjaston hallinnoimia URN-tunnisteita (Uniform Resource Name), joka edelleen säilyy vaihtoehtoisena tunnisteena.

DOI-tunnisteen voi tässä vaiheessa saada vain uusille, IDAssa säilytettävää dataa sisältäville aineistoille. DOI-tunnisteen voi hankkia aineiston kuvailun yhteydessä Qvain Light -kuvailutyökalussa.

DOI-tunnisteen saaminen Fairdata Etsin-palvelussa jo julkaistulle aineistolle olemassa olevan URN-tunnisteen rinnalle ei toistaiseksi ole mahdollista.

DOI-tunnisteen tarjoaa Fairdata-palvelukokonaisuudelle DataCite, jonka jäsen Fairdatan palvelutuottaja CSC on.

Lue lisää:

2020-03-18: Päivityksiä IDA-palveluun ja komentorivityökaluihin

Viimeisin päivitys IDA-palveluun sisältää useita korjauksia ja parannuksia:

  • Mahdollisuus tuottaa komentorivityökaluilla listaus projektin jäädytetyllä ja valmistelualueella olevien tiedostojen metatiedoista. Lisätietoa uudesta ’inventory’-toiminnosta sivulla https://github.com/CSCfi/ida2-command-line-tools.
  • Parannuksia palvelun ylläpito- ja auditointityökaluihin.
  • Useita parannuksia ja tietoturvapäivityksiä palvelun sisäisiin komponentteihin.

2020-03-09: päivityksiä Qvain -palveluun

Viimeisin Qvain -päivitys pitää sisällään mm. seuraavat muutokset:

  • Saavutettavuuteen liittyviä parannuksia ja saavutettavuusseloste
  • Korjaus ulkoisen tiedoston linkkien muokkaamiseen (kentät eivät näkyneet muokkauslomakkeella oikein)
  • Ulkoisen tiedoston linkkien pakollisuuden poistaminen
  • Kasvavan aineiston tuki (ensimmäinen versio, ilman kansion päivitystoimintoa)

2020-03-03: päivityksiä Etsin ja Qvain Light -palveluihin

Viimeisimmät päivitykset Etsin ja Qvain Light -palveluihin sisältävät mm. seuraavat muutokset:

Etsin

  • Painike, jolla aineiston voi ladata Metaxin JSON -muodossa
  • Poistetut aineiston versiot poistettu näkyvistä aineiston kuvailusivun versio-alasvetovalikosta (tulevat näkyviin ”Tunnisteet ja Tapahtumat” -välilehdelle seuraavassa päivityksessä )
  • Poistetun ja deprekoituneen aineiston kuvailusivulle lisätty näkyviin linkki aineiston ehjään versioon, jos sellainen on

Qvain Light

  • Tiedostojen PAS-metatietojen syöttömahdollisuus
  • Tiedostojen määrä näkyviin hakemistoissa (kun valitaan IDA-tiedostoja aineistoon)
  • Ulkoisen tiedoston linkkien pakollisuuden poistaminen
  • Kasvavan aineiston tuki (ensimmäinen versio)

Miten Fairdata-palvelut tukevat tutkijaa? Katso uusi video!

Hyvään tieteelliseen käytäntöön kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen. Fairdata-palvelukokonaisuus helpottaa tätä tehtävää. Fairdata-kokonaisuus koostuu palveluista, jotka tukevat aineistojen löydettävyyttä, säilyttämistä ja hallintaa. Yllä oleva video tutustuttaa sinut Fairdata-palveluihin.

Palvelut tarjoavat useita hyötyjä. Aineistot ovat turvassa jatkokäyttöä varten ja niillä on pysyvät tunnisteet viittauksia varten. Aineistojen jakaminen ja aineistojen etsiminen omaan käyttöön on helppoa. Myös tutkimusrahoittajien avoimuuden vaatimuksien toteuttaminen on helppoa ja esimerkiksi Suomen Akatemia ohjeistaa käyttämään Fairdata-palveluita. Lue lisää Fairdata-palvelujen hyödyistä. Fairdata-palvelukomponentit ovat

Palveluja tarjotaan maksuttomasti Suomen yliopistoille, ammattikorkeakouluille, valtion tutkimuslaitoksille sekä Suomen Akatemian rahoittamalle tutkimukselle. Fairdata PAS-palvelun hyödyntäminen perustuu sopimukseen. Fairdata-palvelut ovat opetus- ja kulttuuriministeriön järjestämiä. Palvelut tuottaa CSC – Tieteen tietotekniikan keskus Oy.

2020-01-15: Päivityksiä IDA-palveluun ja komentorivityökaluihin

Viimeisin päivitys IDA-palveluun sisältää useita korjauksia ja parannuksia:

  • Jäädytettyjen tiedostojen tarkistussumma esitetään nyt aina URI-muodossa ”sha256:”-prefiksillä.
  • Jäädytetyltä alueella voi nyt poistaa tyhjiä kansioita.
  • Piilotetut tiedostot ovat nyt aina näkyvissä selainkäyttöliittymässä, niiden näyttämiseen liittyvä toiminto poistettu käyttöliittymästä.
  • Useita käyttöliittymäparannuksia ja pieniä ulkoasumuutoksia.
  • Useita palvelun sisäisiä korjauksia ja optimisointeja.

Päivitys sisältää muutoksia selainkäyttöliittymään, jotka eivät välttämättä joissakin selaimissa päivity automaattisesti. Jos huomaat palvelun toiminnassa jotakin epätavallista, suosittelemme tyhjentämään selaimen välimuistin.

Kysymyksiä ja vastauksia Fairdata-palveluista

CSC:llä pidettiin koulutus datanhallinnan palveluista 15.11.2019. Koulutustilaisuus oli tarkoitettu IDA- ja Fairdata-yhteyshenkilöille sekä organisaatioiden datatuen asiantuntijoille. Tapahtumassa oli 21 osallistujaa paikan päällä ja etäosallistujia oli 23. Tilaisuudessa tutustuttiin uudistuneen Fairdata-palvelukokonaisuuden käyttöön Fairdatan demoympäristössä. Lisäksi päivän ohjelmassa oli esitys Fairdata PAS-palvelusta sekä tilannekatsaus Allas- ja ePouta-palveluista sekä palveluista arkaluonteisille palveluille. Koulutustilaisuuden tallenteet löydät Fairdata.fi:n koulutussivuilta. Tapahtuman videotallenteet ovat nähtävissä Youtubessa. Pyrimme järjestämään vastaavia tilaisuuksia myös jatkossa ja tarjoamaan tietoa palveluiden käyttäjämääristä niitä hyödyntäville organisaatioille.

Tapahtuman osallistujilta kerättiin nimettömästi kehitysehdotuksia ja kommentteja. Kiitämme kaikkia palautetta antaneita hyvistä huomioista ja erinomaisista kehitysehdotuksista. Alla esiin nousseita kysymyksiä ja niiden vastauksia. Lisää usein kysyttyjä kysymyksiä löydät Fairdata-palvelujen FAQ:sta.

Voit antaa palveluista nimetöntä palautetta verkossa milloin tahansa osoitteessa https://webropol.com/s/fairdata-palaute.

Palveluissa jo tehdyistä muutoksista ja parannuksista löydät tietoa Fairdatan muutoslokista.

Kysymyksiä IDAsta

Kysymyksiä Qvain Lightista/Qvaimesta

Kysymyksiä Etsimestä

Yleisiä kysymyksiä Fairdata-palveluista

Jos haluat henkilökohtaisen vastauksen kysymykseesi, ole hyvä ja ota yhteyttä Fairdata-palvelujen käyttäjätukeen osoitteessa asiakaspalvelu (a) csc.fi