Ajankohtaista

Tilannetiedotus Fairdata-kokonaisuuden käyttöönotosta

Hyvään tieteelliseen käytäntöön kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen. Fairdata-kokonaisuus varmistaa tutkimuksen todennettavuuden ja toistettavuuden, sekä turvaa tietoaineistojen pitkäaikaisen saatavuuden. Fairdata-kokonaisuus tukee omalta osaltaan tulevan Datanhallinnan ja laskennan kehittämisohjelman tavoitteita. Kokonaisuus koostuu seuraavista osapalveluista:

IDA – Tutkimusdatan säilytyspalvelu mahdollistaa tutkimusdatan turvallisen säilytyksen.

Etsin – Tutkimusaineistojen hakupalvelu sisältää tutkimusaineistoja kuvailevia tietoja eli metatietoja. Etsimen avulla voi etsiä tutkimusaineistoja käyttöön.

Qvain – tutkimusaineistojen kuvailutyökalu auttaa oikean ja riittävän kuvailutiedon liittämisen aineistoon. Tarkka metadata mahdollistaa aineiston löydettävyyden ja varmistaa Fairdata-palveluiden yhteentoimivuuden.

Fairdata PAS -palvelu huolehtii tutkimusaineistojen pitkäaikaissäilytyksestä. Pitkäaikaissäilytys tarkoittaa datan säilyttämistä ja luettavana pitämistä kymmenien tai satojen vuosien ajan.

IDA ja Etsin ovat käytössä. Qvain-käyttöönotto on viivästynyt,  ja se otetaan käyttöön vuoden 2019 alussa. Tämä vaikuttaa Etsimen uuden version sekä Fairdata PAS -palvelun käyttöönottoon. Nämä voidaan ottaa käyttöön, kun Qvain on toiminnassa vuoden 2019 tammikuussa. Nyt siirtymävaiheessa IDAssa olevia tiedostoja ei voi linkittää aineistokuvailuihin Etsimessä, mutta niitä voi jakaa väliaikaisin jakolinkein. Metatietovaranto Metaxin rajapinta avataan marraskuun aikana myös yksittäisille loppukäyttäjille, jolloin sitä kautta voi luoda aineistoja myös tiedostolinkityksineen.

Lisätietoja aiheesta:

Qvain: Esa-Pekka Keskitalo, esa-pekka.keskitalo@helsinki.fi

Muut Fairdata-palvelut: Anssi Kainulainen, anssi.kainulainen@csc.fi

Tilannetiedote Fairdata-palveluista

Hyvään tieteelliseen käytäntöön ja jokaisen tutkimusorganisaation intressiin kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen ja niiden elinkaaren hallinta. Opetus- ja kulttuuriministeriön tarjoama ja CSC:n tuottama Fairdata-palvelukokonaisuus auttaa avoimen tieteen edistämisessä sekä turvaa tutkimuksen tietoaineistojen elinkaaren hallinnan ja pitkäaikaisen saatavuuden. Fairdata-palvelukokonaisuutta on uudistettu käyttäjien tarpeisiin muun muassa kuvailun yksikäsitteisyyttä edistämällä. Sen käyttöönotto etenee vaiheittain:

Vaiheessa 1 vuonna 2018 otettiin käyttöön uudistunut tutkimusdatan säilytyspalvelu IDA. IDA on normaalisti loppukäyttäjien käytettävissä. Vanha tutkimusaineistojen hakupalvelu Etsin on edelleen käytössä tutkimusaineistojen kuvailuun, mutta IDAssa olevia tiedostoja ei voi linkittää tai jakaa Etsimen kautta. Siirtymäkauden aikana tiedostoja voi jakaa IDAsta käyttämällä väliaikaisia jakolinkkejä. Uuteen Etsin-palveluun voi jo tutustua ja se näyttää toistaiseksi pääasiassa muualta haravoitujen tutkimusaineistojen metatietoja.

Vaiheessa 2 uusi kuvailupalvelu ja sen integraatio kokonaisuuteen ja sekä Fairdata PAS -palvelu otetaan käyttöön.

Qvain-työkalun yhteentoimivuudessa on ollut haasteita Fairdata-palvelun tietomallin ja muiden kokonaisuuden komponenttien kanssa. Tämän vuoksi Qvain-kehitys Kansalliskirjastossa on edennyt suunniteltua hitaammin, ja sen tuotantokäytön aikataulu on epävarma. Arvion mukaan Qvain otetaan käyttöön kesän 2019 aikana, ja edetään pilotointien ja jatkuvan kehittämisen kautta. Edellä mainittujen haasteiden vuoksi CSC on alkanut kehittää kuvailutyökalun ns. Light-versiota, jolla aineistoja voi kuvailla tärkeimpien metatietojen osalta. Kuvailutyökalun kevytversion käyttöönoton tarkempi aikataulu täsmentyy kevään aikana. Aineistojen kuvailu tulee olemaan mahdollista myös metatietovaranto Metaxin rajapinnan kautta. Vuoden 2019 alussa Qvain-palvelu on siirtynyt CSC:n vastuulle Kansalliskirjastolta, jonka vastuulla on kuitenkin vielä saattaa se tuotantovalmiiksi. CSC arvioi millä työkaluversiolla lopulta mennään tuotantoon.

Kuvailutyökalun käyttöönoton yhteydessä vanhan Etsimen metatiedot siirretään uuteen Etsimeen, ja uusi Etsin otetaan täysimittaiseen käyttöön.

Fairdata PAS -palvelu on käytettävissä OKM:n osoittamille organisaatioille sopimuksen allekirjoituksen jälkeen. Käyttöönotot etenevät organisaatioiden pyyntöjen ja OKM:n päätösten mukaisessa järjestyksessä.

Vaiheessa 3 Fairdata-palvelukokonaisuuden integraatiot ja pilotoinnit on tehty, ja kokonaisuuden hienosäätö käyttäjien tarpeisiin on tehty. Vaiheessa kolme ollaan vuoden 2019 lopulla.

Lisätietoja uudistuneista palveluista löytyy:

Vuoden 2019 aikana tullaan järjestämään avoimen tieteen koordinaation kautta tilaisuuksia Fairdata-palvelukokonaisuuteen liittyen.

Yhteydenotot:

Avoimen tieteen koordinaatio:  avointiede@tsv.fi

Palvelujen tuotantoon ja kehitykseen liittyvät asiat: CSC asiakaspalvelu@csc.fi

2019-01-23: Päivityksiä IDAn komentorivityökaluihin

Päivitetyt komentorivityökalut lisätty Taidolle ja ladattavissa GitHubista: https://github.com/CSCfi/ida2-command-line-tools

 

2019-01-16: Päivityksiä IDA-palveluun

  • Parannuksia palvelun suorituskykyyn ja vakauteen.

Päivitys on voinut sisältää muutoksia selainkäyttöliittymään, jotka eivät välttämättä joissakin selaimissa päivity automaattisesti. Jos huomaat palvelun toiminnassa jotakin epätavallista, suosittelemme tyhjentämään selaimen välimuistin.

2018-12-12: Päivityksiä IDA-palveluun

Päivityksen sisältämät selainkäyttöliittymän muutokset eivät välttämättä joissakin selaimissa päivity automaattisesti. Jos huomaat palvelun toiminnassa jotakin epätavallista, suosittelemme tyhjentämään selaimen välimuistin.

Tuen ja osaamisen yhteistyön kehittäminen

Perjantaina 26.10. yli kaksikymmentä tutkimusorganisaatioiden IDA- ja Fairdata-yhteyshenkilöä kokoontui CSC:lle kuulemaan uudistuneesta Fairdata-palvelukokonaisuudesta, sen toiminnallisuuksista ja koko palvelukokonaisuuden käyttöönoton aikatauluista.

Jessica Parland-von Essen kertoi miten Fairdata-palveluiden avulla on helpompi huolehtia aineistoista ja toteuttaa FAIR-periaatteita. Lisäksi näimme koosteen erilaisista tutkimuksen tuen malleista, joihin eri tutkimusorganisaatioissa on päädytty.

Anssi Kainulainen esitti kokonaiskuvan uudistuvasta palvelukokonaisuudesta. Fairdata-kokonaisuus koostuu palveluista, jotka tukevat aineistojen löydettävyyttä, säilyttämistä ja hallintaa. Erilliset, mutta keskenään yhteentoimivat palvelut on tarkoitettu aineistonhallintaan, aineistojen kuvailuun ja turvalliseen säilytykseen sekä merkittävien tietoaineistojen pitkäaikaissaatavuuden turvaamiseen.

Fairdata PAS-sopimusten tilannekuvauksen antoi Pirjo-Leena Forsström. Kattavampi sopimusuudistus on tarkoitus tehdä vuonna 2019 ja tästä järjestetään erillinen tiedotustilaisuus joulukuussa 2018.

Iltapäivällä oli mahdollisuus osallistua työpajaan, jossa keskusteltiin tuen ja osaamisen yhteistyön kehittämisestä pääasiassa CSC:n tuottamiin palveluihin liittyen.

Keskustelu oli vilkasta ja ilmeni, että organisaatioissa ollaan valmiita kertomaan Fairdata-palveluista. Datanhallinnasta jaetaan tietoa organisaatioiden aineostonhallinnan oppaissa ja koulutuksissa. Organisaatioissa toivotaan, että tietoa palveluista löytyisi yhdestä paikasta kootusti. Toiveina esitettiin mm. videomuotoista materiaalia päivittyvinä videosarjoina, jolloin kukin voisi katsoa sen osan, johon sillä hetkellä on tarvetta. Lisäksi toivottiin valmiita ppt-esityksiä sekä eritasoisia kuvallisia käyttöoppaita verkkoon. Myös tukihenkilöt itse toivoivat heille suunnattua materiaalia, esim. webinaari- ja FAQ-muodossa. Palvelujen käytön tilastojen katseluun ja käytön hallintaan toivottiin avuksi palveluportaalia.

Haastavaksi organisaatioiden tukihenkilöt kokivat mm. sen, että kaikki projektit ovat erilaisia ja tutkimusryhmien johtajat ovat kiireisiä, mikä tuottaa datanhallinnan tuelle paljon työtä. Aineistoihin liittyvät sopimusasiat koettiin myös haasteellisiksi ja niihin toivottiin valmiita sopimuspohjia yhteiselle alustalle. Organisaatioissa on koettu hyväksi käytännöksi IT-puolen ja kirjaston yhteistyö, joka näkyy myös tutkijalle sujuvampana palveluna. Yhteyshenkilöt pitivät tärkeänä yhdistää CSC:n tuottamat palvelut oman organisaationsa palvelutarjoomaan. Pohdimme myös sitä, miten CSC:hen yhteyttä ottanut tutkija voitaisi ohjata tarvittaessa ottamaan yhteyttä myös oman organisaationsa datatukeen. Yhteenvetona työpajasta jäi kuva, että yhteistyötä kaivataan sekä CSC – tutkimusorganisaatio ‑akselilla että vertaistukea tutkimusorganisaatioiden kesken.

Iltapäivän toisessa työpajassa käytiin läpi Metaxin rakennetta ja mahdollisia tietovirtoja/rajapintojen käyttötapauksia. Työpajasta voit lukea kuvauksen täältä.

Millainen on uudistunut IDA?

IDA on opetus- ja kulttuuriministeriön järjestämä turvallinen ja jatkuva Fairdata-kokonaisuuteen kuuluva palvelu. Palvelu on tarkoitettu tutkimusaineistoihin liittyvän datan säilytykseen ja jakamiseen. IDAan tallennettu data voidaan kuvailla, julkaista ja avata muiden ladattavaksi muilla Fairdata-kokonaisuuteen kuuluvilla palveluilla.

IDA tarjoaa projektikohtaista säilytystilaa tutkimusdatalle

Fairdata-kokonaisuuteen kuuluva IDA-säilytyspalvelu tarjoaa määritellylle käyttäjäryhmälle yhteistä säilytystilaa tutkimusdatalle. IDAn käyttäjä kuuluu aina johonkin IDAa käyttävään projektiin. Samassa IDAa käyttävässä projektissa voi olla jäseniä useista eri korkeakouluista tai tutkimusorganisaatioista. Projektilla on vastuuhenkilö, joka vastaa jäsenten projektiin liittämisestä ja poistamisesta. Projektin aineistoista ja niiden käytöstä on tärkeä sopia jo projektia perustettaessa. Kaikilla projektin jäsenillä on yhtäläiset tekniset oikeudet lisätä, poistaa ja tehdä toimenpiteitä kaikelle sille projektin datalle, joka on tallennettu projektin IDA-tilaan.

IDA on suunniteltu tiedostojen säilytykseen, ei niiden aktiiviseen käsittelyyn. Käyttäjät eivät voi siis muokata IDAssa olevien tiedostojen sisältöä niiden ollessa palvelun sisällä. IDA ei myöskään ole tarkoitettu salassapidettävän datan, kuten arkaluonteisten henkilötietojen säilytykseen.

Uudistunut IDA on yhteentoimiva muiden Fairdata-palvelujen kanssa

IDAn palvelu-uudistuksen myötä sen käyttöliittymät ovat uudistuneet kesällä 2018. IDAa voi nyt käyttää helppokäyttöisen selainkäyttöliittymän lisäksi komentorivityökaluin. Uusi selainkäyttöliittymä sisältää myös ohjeita palvelun käyttöön. Palvelun verkkosivuilta löytyy myös kattava palvelun käyttöopas ja ohjeet IDA-tilan hakemiseen.

IDA soveltuu tutkimusvaiheen aikaiseen datan tallettamiseen, sen jakamiseen käyttäjäryhmän kesken, sen säilyttämiseen muuttumattomassa tilassa sekä sen julkaisuun. Data, jonka käyttäjä on merkinnyt säilytettäväksi muuttumattomassa tilassa eli jäädyttänyt IDAssa, voidaan julkaista muilla Fairdata-kokonaisuuteen kuuluvilla palveluilla. Ennen julkaisemista jäädytetylle datalle lisätään kuvailutietoja Qvain-palvelussa. Qvaimella julkaistu aineisto saa pysyvän tunnisteen ja kuvailusivun. Näin aineisto on löydettävissä Etsin-hakupalvelusta. Julkaistun tutkimusaineiston tiedostot voidaan asettaa muiden ladattavaksi avoimesti tai käyttöluvalla, tai aineistosta voidaan julkaista vain metadata.

IDA on yksi väylä aineiston viemiseksi säilytykseen Fairdata PAS -palveluun

Tutkimusaineistojen pitkäaikaissäilytys Fairdata PAS (http://digitalpreservation.fi/) on IDAsta erillinen palvelu, vaikka IDAlla on monia samoja ominaisuuksia. IDA tarjoaa bittitason säilytystä. Pitkäaikaissäilytys taas tähtää datan säilyttämiseen periaatteessa ikuisesti ja voi tehdä myös teknologisia muutoksia, jotta datan ymmärrettävyys säilyy pitkällä aikavälillä. IDA on integroitu Fairdata PAS -palveluun niin, että IDAssa säilytettävät ja Qvaimella kuvaillut aineistot on mahdollista siirtää säilytettäväksi Fairdata PAS -palveluun.

Video tutustuttaa IDAn keskeisiin ominaisuuksiin

Yllä oleva IDAn esittelyvideon toinen osa tutustuttaa palvelun tärkeimpiin ominaisuuksiin. Alta löydät videon ohjeet tekstimuodossa. Lisätietoa löydät IDAn pikaoppaasta ja käyttöoppaasta. Jos jokin jää askarruttamaan, ota yhteyttä asiakaspalvelu (a) csc.fi.

Käyttöönotto ja kirjautuminen

  • Kun tutkimusryhmä on sopinut kuka on projektin vastuuhenkilö, vastuuhenkilö luo itselleen CSC-tunnuksen ja projektin CSC:n asiakasportaalissa.
  • Tilaa haetaan sähköisellä hakemuksella, joka löytyy myös CSC:n asiakasportaalista. Hakemuksen käsittelee ja tilan myöntää oma organisaatio tai sen voi saada Suomen Akatemian rahoituspäätökseen perustuen. Projektin vastuuhenkilö voi kutsua IDA-projektiinsa muita jäseniä, ja myös heidän on luotava itselleen CSC-tunnus.
  • IDAn selainkäyttöliittymä löytyy osoitteesta ida.fairdata.fi.
  • Voit kirjautua IDAan CSC-tunnuksellasi tai Hakalla.

Datan tallennus

  • Kirjauduttuasi palveluun näet projektikansiot niille projekteille, joiden jäsen olet. Jokaisella projektilla on kaksi kansiota, toinen tiedostojen palveluun tuomiseen ja järjestelyyn ja toinen datan säilyttämiseen muuttumattomassa tilassa.
  • Dataa lisätään aina siihen kansioon joka päättyy +merkkiin. Se on projektisi valmistelualue. Sen jälkeen kun tuon kansion on napsauttanut auki, voi dataa lisätä joko yläreunan plus-ikonin kautta tai yksinkertaisesti pudottamalla dataa selainikkunaan drag and drop -toiminnolla. Näin palveluun voi siirtää kokonaisia kansioita sisältöineen.
  • Toinen tapa siirtää palveluun koko kansion sisältö on luoda + merkin takaa uusi kansio ja valita tiedostoselailunäkymästä esimerkiksi kaikki tiedostot painamalla crtl+a

Datan järjestely

  • Tiedostot kannattaa järjestää palvelussa kansioiden sisään, datan ymmärrettävyydelle mielekkäällä tavalla. Käytä tarkoituksenmukaisia ja uniikkeja tiedostonnimiä. Miettikää yhdessä aineistojen ja kansioiden nimeämiskäytäntöjä. Huomaa, että kun aineistot julkaistaan, tiedostojen nimistä tulee aina julkisia.
  • Jos projektin data koostuu esimerkiksi tuhansista pienistä tiedostoista, kannattaa ne paketoida eli zipata isommiksi tiedostoiksi ennen palveluun siirtämistä. Toisaalta kymmenien tai satojen gigojen kokoisten tiedostopakettien tekeminen voi myös hankaloittaa aineistojen palveluun siirtoa ja niiden käyttöä. Kannattaa miettiä minkä kokoista dataa on kätevää ladata palvelusta ulos ja muutenkin käyttää.

Datan jäädytys

  • Kun data on mielestäsi valmista säilytettäväksi palvelussa read-only-tilassa, voit jäädyttää sen valitsemalla lumihiutale-ikonin halutun tiedoston tai kansion kohdalta ja valitsemalla oikeasta reunasta ”Freeze” tai ”Jäädytä”. Näin valittu data siirtyy toiseen projektikansioosi, jonka nimi on vain projektin tunniste ilman + merkkiä. Tämän jälkeen tiedostoa ei voi enää esimerkiksi ylikirjoittaa tai siirtää toiseen kansioon.
  • Samalla palvelu tekee tiedostoille säilytystoimenpiteitä, eli mm. datasta replikan toiselle tallennusmedialle ja laskee tiedostoille tarkistussummat, joilla tiedostojen eheys ja säilyvyys voidaan varmistaa. Tämä taustaoperaatio saattaa viedä pitkään riippuen jäädytetyn datan määrästä. Prosessin etenemistä voi seurata ”Toiminnot” tai ”Actions” välilehdellä.
  • Jäädytetty data voidaan kuvailla Qvaimella ja julkaista Etsimessä, jolloin aineisto saa pysyvän tunnisteen. Julkaistu data voidaan asettaa avoimesti tai käyttöluvalla ladattavaksi, tai julkaista siitä vain metatiedot. Muista aina että pysyvä tunniste on lupaus muille tutkijoille että aineistoa ei enää muuteta vaan siihen voi turvallisesti viitata.

Miten väliaikainen jakolinkki toimii

  • Tiedostoja voi jakaa myös väliaikaisesti palvelun ulkopuolelle. Jakolinkki on voimassa määräajan, korkeintaan 30 päivää. Jakolinkki on henkilökohtainen eli muut projektin jäsenet eivät näe muiden tekemiä jakolinkkejä.
  • Jos haluat pysyvän linkin dataasi, sinun tulee kuvailla se Qvaimella ja julkaista Etsimessä, jolloin määrittelemäsi datasetin pysyvään tunnisteeseen voidaan viitata.

Mitä jäädyttäminen on

  • Huomaa, että tiedostot ovat varsinaisessa säilytyksessä IDAssa vasta kun ne on jäädytetty. Tällöin niille tehdään toimenpiteitä niiden säilyvyyden varmistamiseksi. Muilla palvelukokonaisuuteen kuuluvlla palveluilla on tieto jäädytetyistä IDA-tiedostoista ja ne voidaan siksi kuvailla kuvailutyökalulla tutkimusaineistoiksi.

Mitä tapahtuu kun palauttaa tiedoston valmistelualuelle tai poistaa sen

  • Jos palautat jäädytettyä dataa projektisi IDA-tilan valmistelualueelle, niin se peruu palvelussa tehdyt jäädytykseen liittyvät toimenpiteet. Tämä tarkoittaa myös sitä, että jos olet kuvaillut ja julkaissut jäädytettyä dataa, niin kun data palautetaan valmistelualueelle, tekemäsi aineistokuvailu menee rikki. Sille annettu pysyvä tunniste vanhenee pysyvästi ja mahdolliset aineistoon tehdyt viittaukset eivät ole enää täydellisiä, koska aineiston data ei ole enää saatavilla. Jos siis olet saanut Qvaimella kuvaillulle aineistokuvailullesi esim. URN-tunnisteen, älä tee muutoksia siihen kuuluvalle datalle IDAssa, koska aineiston hajoaminen on aina peruuttamatonta.
  • Huomaathan dataa poistaessasi, että poistettu data ei mene roskakoriin vaan poistuu palvelusta pysyvästi.