Ajankohtaista

Tilannetiedotus Fairdata-kokonaisuuden käyttöönotosta

Hyvään tieteelliseen käytäntöön kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen. Fairdata-kokonaisuus varmistaa tutkimuksen todennettavuuden ja toistettavuuden, sekä turvaa tietoaineistojen pitkäaikaisen saatavuuden. Fairdata-kokonaisuus tukee omalta osaltaan tulevan Datanhallinnan ja laskennan kehittämisohjelman tavoitteita. Kokonaisuus koostuu seuraavista osapalveluista:

IDA – Tutkimusdatan säilytyspalvelu mahdollistaa tutkimusdatan turvallisen säilytyksen.

Etsin – Tutkimusaineistojen hakupalvelu sisältää tutkimusaineistoja kuvailevia tietoja eli metatietoja. Etsimen avulla voi etsiä tutkimusaineistoja käyttöön.

Qvain – tutkimusaineistojen kuvailutyökalu auttaa oikean ja riittävän kuvailutiedon liittämisen aineistoon. Tarkka metadata mahdollistaa aineiston löydettävyyden ja varmistaa Fairdata-palveluiden yhteentoimivuuden.

Fairdata PAS -palvelu huolehtii tutkimusaineistojen pitkäaikaissäilytyksestä. Pitkäaikaissäilytys tarkoittaa datan säilyttämistä ja luettavana pitämistä kymmenien tai satojen vuosien ajan.

IDA ja Etsin ovat käytössä. Qvain-käyttöönotto on viivästynyt,  ja se otetaan käyttöön vuoden 2019 alussa. Tämä vaikuttaa Etsimen uuden version sekä Fairdata PAS -palvelun käyttöönottoon. Nämä voidaan ottaa käyttöön, kun Qvain on toiminnassa vuoden 2019 tammikuussa. Nyt siirtymävaiheessa IDAssa olevia tiedostoja ei voi linkittää aineistokuvailuihin Etsimessä, mutta niitä voi jakaa väliaikaisin jakolinkein. Metatietovaranto Metaxin rajapinta avataan marraskuun aikana myös yksittäisille loppukäyttäjille, jolloin sitä kautta voi luoda aineistoja myös tiedostolinkityksineen.

Lisätietoja aiheesta:

Qvain: Esa-Pekka Keskitalo, esa-pekka.keskitalo@helsinki.fi

Muut Fairdata-palvelut: Anssi Kainulainen, anssi.kainulainen@csc.fi

2019-07-18: Päivityksiä Qvain-työkaluun

  • Sivun yläosan välilehtirakenne siirretty vasempaan reunaan listaksi.
  • Tekstikentissä luovuttu viivatyyppisistä kentistä ja palattu ”normaaleihin” tekstikenttiin.
  • Pakolliset kentät on merkitty selkeämmin.
  • Kenttäkohtaisia ohjeita on parannettu, ja ohjeet on muutettu suoraan näkyviin (ei erillistä i -ikonia). Fairdata.fi -sivustolle on lisäksi lisätty kenttäkohtaiset ohjeet (linkki löytyy käyttöohjeista).
  • Tallennus ja Julkaisu on selkeämmin erotettu toisistaan, ja käyttöliittymä kertoo selkeästi, milloin on tallennettavia muutoksia ennen julkaisumahdollisuutta.

Qvain päivittyy 18.7.2019

Qvaimen uusi versio julkaistaan 18.7.2019.
Asennus tuotantoon tehdään klo 12-16 välisenä aikana, ja siitä johtuen palvelussa voi olla lyhyitä käyttökatkoja. Pahoittelut häiriöstä! (Normaalisti Qvain -palvelun huoltokatko on joka kuun ensimmäinen tiistai.)

Qvaimen uusi versio tuo parannusta etenkin käyttöliittymään. Suurimpana muutoksena on se, että sivun yläosan välilehtirakenne siirtyy vasempaan reunaan listaksi. Tämä helpottaa siirtymistä eri sivujen välillä ilman, että tarvitsee aina skrollata auki olevan sivun yläreunaan nähdäkseen välilehtilinkit. Ulkoasua on muutenkin selkiytetty, esimerkiksi:

  • Tekstikentissä olemme luopuneet viiva -tyyppisistä kentistä, ja palanneet ”normaaleihin” tekstikenttiin.
  • Pakolliset kentät on merkitty selkeämmin.
  • Kenttäkohtaisia ohjeita on parannettu, ja ohjeet on muutettu suoraan näkyviin (ei erillistä i -ikonia). Fairdata.fi -sivustolle on lisäksi lisätty kenttäkohtaiset ohjeet (linkki löytyy käyttöohjeista).
  • Tallennus ja Julkaisu on selkeämmin erotettu toisistaan, ja käyttöliittymä kertoo selkeästi, milloin on tallennettavia muutoksia ennen julkaisumahdollisuutta.
Qvain käyttöliittymä 18.7.2019. Aineiston muokkausnäkymä.

Toivomme, että muutos miellyttää!

Fair(y)data käyttäjätarina

Tämä käyttäjätarina julkaistiin alun perin englanniksi MetaX-blogissa maaliskuussa 2018. Tuolloin tarinalla kuvattiin Fairdata-kokonaisuuden tavoitetilaa. Nyt tarinan kuvaamat toiminnot ovat tuotannossa ja käytössä. Alla hieman päivitetty käyttäjätarina uusintajulkaisuna.

Olipa kerran…

1. Kolme viisasta tutkijaa Turun ja Tampereen yliopistosta sekä Jyväskylän ammattikorkeakoulusta ovat keränneet hämmästyttävää dataa eräästä tietystä varpusia kiusaavasta lintukirppulajista. He (tutkijat, eivät kirput) ovat nyt viimeistelemässä julkaisuaan ja haluavat liittää artikkeliinsa viitteen tutkimusdataan, jotta se saa ansaitsemansa näkyvyyden. Tämän vuoksi he tarvitsevat tutkimusaineistolleen pysyvän tunnisteen.

Tutkijoilla on yhteinen säilytystila IDA-palvelussa ja he käyttävät IDAn valmistelualuetta datansa keräämiseen. Valmistelualueella heillä kaikilla on yhtäläiset oikeudet muokata palvelussa olevaa dataa. Jokainen tutkijoista noudattaa yhdessä sovittuja hyviä käytäntöjä tiedostojen nimeämisessä ja kansiorakenteiden luomisessa, jotta he kaikki tietävät missä mikäkin tiedosto sijaitsee.

Hyvistä käytännöistä huolimatta tutkijoista tuntuu, että data pitäisi järjestellä vielä kertaalleen ennen sen julkaisemista. Ei hätää: valmistelualueella kaikilla projektin jäsenillä on oikeus nimetä tiedostoja ja kansioita uudelleen ja siirtää tiedostoja kansiosta toiseen. Niinpä tutkijat järjestävät datan yhden juurikansion sisään valmistelualueelle. Datan rakenne ja tiedostonimet näyttävät nyt hyviltä, joten yksi tutkijoista valitsee valmiin datan juurikansion ja klikkaa IDAssa painiketta, jossa lukee ”Jäädytä”.

Kuva: Dollar Gill / Unsplash

2. Jäädyttämistoiminto siirtää kaiken kyseisen kansion alla olevan datan projektin jäädytetylle alueelle IDAssa ja muuttaa sen read only-tilaan. Samalla tiedostojen tekninen metatieto tallentuu Metaxiin taustaoperaationa. Tämä metatiedon tallennus tekee tiedostot näkyviksi muille palveluille Fairdata-kokonaisuudessa. Kaksi muuta tutkijaa menevät tarkistamaan tiedostot projektin jäädytetyllä alueella ja lataavat ne IDAsta omalle koneelleen. He näkevät, että kyseessä on datan lopulliseksi sovittu versio. Data on nyt valmista julkaisemista varten. Jihuu!

3. Yksi tutkijoista kirjautuu Qvain-työkaluun. Kyseessä on työkalu, jolla hän voi luoda tarvittavat metatiedot julkaistavaan tutkimusaineistoon. Hän täyttää vaaditut kentät ja liittää myös paikkatiedot niistä kohteista, jossa data on kerätty. ”Onpas näppärää”, hän miettii ja siirtyy viimeiseksi Qvaimen ”Files”-valikkoon.

4. Tutkija näkee nyt tiedostonäkymän, joka näyttää samalta kuin IDAn tallennustila. IDAsta poiketen hän kuitenkin näkee ainoastaan projektin jäädytetyn datan. Ne tiedostot, jotka tutkijat ovat tallentaneet ainoastaan valmistelualueelle eivät ole näkyvissä. Kyseessä ei oikeastaan ole näkymä IDA-palveluun, vaan Qvain näyttää sitä tiedostometatietoa (tiedostopolku, nimi, tiedostokoko jne…), joka tallentui Metaxiin silloin kun tiedosto jäädytettiin IDAssa. Tutkija valitsee jäädytetyn datan juurikansion, mikä automaattisesti valitsee kaikki tiedostot ja alihakemistot sen alla. Tutkija on aiemmin valinnut Qvaimen ”Rights and Licenses”-välilehdellä kohtaan ”Access type” vaihtoehdon ”Open”. Tämä tarkoittaa sitä, että kun työn alla oleva tutkimusaineisto on julkaistu, kuka vain julkaistua tutkimusaineistoa katseleva voi ladata siihen linkitetyt tiedostot omalle koneelleen.

5. Tutkija jää pohtimaan tutkimusaineiston lisenssin valintaa. Hän klikkaa Qvaimessa ”Save” (ei siis ”Publish”), jolloin aineiston kuvailusta tallentuu paikallinen kopio Qvaimeen. Hän juttelee kollegalleen lisenssiasiasta. Kollega kertoo hänelle, että Qvaimen oletuslisenssi CC-BY-4.0 on hyvä ja suositeltu lisenssi tutkimusaineistolle.

6. Tutkija on nyt tyytyväinen tutkimusaineistokuvailuun, joten hän painaa Qvaimessa ”Publish”. Hänelle näytetään linkki Etsin-palveluun, jossa hän voi katsella julkaisemaansa tutkimusaineistoa. Taustalla on tapahtunut muutakin: tutkimusaineiston metatieto ja sen sisältämät linkit IDA-tiedostojen metatietoihin on nyt tallennettu Metaxiin. Etsin oikeastaan vain näyttää Metaxiin tallennettua metatietoa. Etsin, tai mikään muukaan palvelu IDAn lisäksi, ei kuitenkaan näytä metatietoja niistä jäädytetyistä IDA-tiedostoista, joita ei ole linkitetty tutkimusaineistoihin. Ne ovat vain IDAa käyttävän projektiryhmän saatavilla.

7. Tutkija klikkaa Qvaimessa linkkiä, joka vie hänet Etsimeen. Hän näkee sivun, jota kutsutaan tutkimusaineiston kuvailusivuksi. Sivu näyttää sen metatiedon ja ne tiedostolinkit, jotka tutkija loi Qvaimella. Tiedostotietojen vieressä on nappi, jossa lukee ”Download all”. Tutkija klikkaa tätä nappia, jolloin hänen selaimensa lataa tutkimusaineistoon linkitetyt tiedostot. Samalla kun tutkija painoi latausnappia, sai Metax kyselyn liittyen kyseiseen tutkimusaineistoon ja sen tiedostoihin. Kysely tarkistaa, että tiedostot ovat varmasti osa tutkimusaineistoa ja että aineisto on määritetty avoimesti ladattavaksi. Jos tarkistukset ovat ok, kertoo Metax Fairdatan latauskomponentille, että tiedostolataus voi alkaa.

8. Tutkija näkee, että kuka tahansa voi ladata tutkimusaineiston tiedostot koneelleen ja näkevän miten tutkimusaineistoa voi käyttää ja miten siihen viitataan. Hienoa!

PAS-palveluiden sopimuskokonaisuuden uudistaminen on valmistunut

CSC tuottaa OKM:lle PAS-palveluita, joilla varmistetaan digitaalisten kulttuuriperintöaineistojen ja tutkimukseen liittyvien aineistojen säilyminen tuleville sukupolville.

Toimintamallin mukaisesti OKM PAS-palveluiden rahoittajana sopii PAS-palveluiden hyödyntämisestä organisaatioiden kanssa ja tuo CSC:n tietoon tähän liittyvät päätökset sisältäen mm. kullekin organisaatiolle myönnettävän kapasiteetin. CSC laatii tältä pohjalta PAS-palvelusopimuksen hyödyntävän organisaation kanssa.

Tutkimukseen liittyvien aineistojen pitkäaikaissäilyttämisen mahdollistavan Fairdata PAS-palvelusopimuksen laadinta on valmistunut ja palvelusopimukset sekä kulttuuriperintöaineistoille että tutkimukseen liittyville aineistoille on nyt julkaistu.

Lue koko tiedote digitalpreservation.fi-sivuilta.

Qvain aukeaa suunnitellussa aikataulussa 1.7.2019

 

Vanhan Etsimen aineistot on siirretty uuteen Etsimeen (etsin.fairdata.fi) 28.6.2019, ja niiden muokkaaminen onnistuu nyt Qvain-työkalulla (qvain.fairdata.fi). Uusia aineistoja voi niinikään tuottaa Qvaimella. Kuvailuun voi linkittää Fairdata IDAssa olevia tiedostoja, mutta kuvailusta on mahdollista viitata myös Fairdatan ulkopuolella olevaan aineistoon. Qvaimella on mahdollista julkaista myös vain tutkimusaineiston metatiedot.

HUOM! Qvain Light avataan elokuussa 2019. Se tarjoaa Qvainta hieman yksinkertaisemman tavan luoda aineistoja. Qvaimella julkaistut aineistot tulevat olemaan muokattavissa myös Qvain Lightissa.

Vanha Etsin (etsin.avointiede.fi) on toistaiseksi lukutilassa (aineistoja ei voi lisätä/muokata, mutta niitä voi edelleen katsoa). Vanha Etsin tullaan säilyttämään vielä jonkin aikaa, mutta suunnitelmissa on sulkea se kokonaan syksyn 2019 aikana.

 

Yhteydenotot: asiakaspalvelu@csc.fi

Nyt julkaistava versio Qvaimesta on sen 1. julkinen versio, ja arvostamme kaikenlaisia kehitysehdotuksia ja palautetta Qvaimen käyttöön liittyen. Otathan siis rohkeasti yhteyttä asiakaspalveluun!

IDA-palvelun käyttöehdot ja tietosuojaseloste päivittyvät 1.7.2019

IDA-palvelun käyttöehdot ja tietosuojaseloste päivittyvät. Päivitykset tulevat voimaan 1.7.2019. Käyttöehdot päivitetään samalla kun Fairdata-kokonaisuus tulee Qvaimen käyttöönoton myötä täysimittaiseen käyttöön. IDA on osa Fairdata-kokonaisuutta (https://www.fairdata.fi/). IDA-palvelun käyttöehtojen rinnalla palvelun käyttöä koskevat edelleen CSC:n tutkimuksen palvelujen yleiset käyttöehdot (https://www.csc.fi/yleiset-kayttoehdot). Päivitetyt käyttöehdot eivät olennaisesti muuta käyttäjien ja CSC:n suhdetta.

Merkittävimmät muutokset on tiivistetty alle:

Käyttöehdot:

  • Projektin vastuuhenkilön käyttöehtoja on täsmennetty.
  • Ehdoista on poistettu kohta koskien datan siirtämistä komentorivikomennoilla salaamattomana. Data siirtyy Internetin yli uudistettuun IDAan salattuna sekä selainkäyttöliittymällä että komentorivikomennoilla.
  • Ehtoja on päivitetty liittyen kuvailutietojen luovutukseen Etsin-hakupalveluun.
  • Terminologiaa ja viittauksia on päivitetty.

Tietosuojaseloste:

  • Rekisterinpitäjä on opetus- ja kulttuuriministeriö (”OKM”) ja rekisteristä vastaava taho on OKM:n toimeksiannosta CSC – Tieteen tietotekniikan keskus Oy (”CSC”). CSC toimii OKM:n puolesta kontaktina tietosuojaan liittyvissä kysymyksissä.
  • CSC vastaa tietosuojaselosteessa kuvatun henkilörekisterin tietoteknisestä ylläpidosta. CSC toimii myös henkilötietojen käsittelijänä. Henkilötietojen käsittelyperuste ja käyttötarkoitukset eivät muutu merkittävällä tavalla.
  • Tietosuojaselosteessa selvennetään aineistojen kuvailutietoihin sisältyvien henkilötietojen käsittelyä Fairdata-kokonaisuudessa.

Uudet käyttöehdot ovat nyt nähtävissä osoitteessa https://www.fairdata.fi/wp-content/uploads/2019/06/2019_IDA_kayttoehdot.pdf ja tulevat olemaan pysyvästi saatavilla https://sui.csc.fi/web/guest/terms-of-use
Vanhat käyttöehdot ovat nähtävissä täällä: https://www.fairdata.fi/wp-content/uploads/2019/06/IDA_käyttöehdot_termsofuse2015.pdf

Uusi tietosuojaseloste on saatavilla täältä: http://digitalpreservation.fi/tietosuojaseloste
Vanha tietosuojaseloste on nähtävissä täällä: https://www.csc.fi/fi/asiakasrekisterin-tietosuojaseloste

Mikäli sinulla on kysyttävää käyttöehdoista tai tietosuojaselosteesta, otathan yhteyttä CSC:n asiakaspalveluun osoitteessa: asiakaspalvelu (a) csc.fi.

2019-06-05: Päivityksiä IDA-palveluun

  • Koodin refaktorointi moni-instanssisiin sessioihin liittyvän bugin korjaamiseksi.
  • Parannuksia poistettavien projektien käyttäjille lähetettävien sähköpostiviestien muotoiluihin.
  • Pieniä bugikorjauksia ja parannuksia.

Päivitys on voinut sisältää muutoksia selainkäyttöliittymään, jotka eivät välttämättä joissakin selaimissa päivity automaattisesti. Jos huomaat palvelun toiminnassa jotakin epätavallista, suosittelemme tyhjentämään selaimen välimuistin.

Tilannetiedote Qvain-palvelun käyttöönotosta kesällä 2019

Tutkimusaineiston metatiedot eli kuvailutiedot tekevät tutkimusaineistosta näkyvää: metatiedon avulla aineisto löytyy, siihen voidaan viitata ja siitä saa helposti yleiskuvan. Metatieto sisältää myös tietoa siitä, miten ja millä ehdoilla aineistoa voi käyttää uudestaan. Fairdata -palvelukokonaisuuteen kuuluva Qvain-palvelu on nimenomaan tutkimusaineistojen kuvailua varten kehitetty palvelu.

Qvain otetaan käyttöön pilotointien jälkeen heinäkuun alussa 2019, minkä jälkeen kehitystä jatketaan kehityssuunnitelmien mukaisesti käyttäjäpalaute huomioiden. Qvaimella luodut tutkimusaineistot tulevat näkyviin hakupalvelu Etsimen uuteen versioon. Uusi Etsin otetaan täyteen käyttöön samaan aikaan Qvaimen kanssa, ja Etsimen vanhan version käyttö loppuu. Vanhassa Etsimessä olleet aineistot tulevat automaattisesti näkyviin uuteen Etsimeen Qvaimen käyttöönoton yhteydessä.

Tutkimusaineistojen kuvailu on Qvaimen käyttöönoton jälkeen mahdollista vaihtoehtoisesti kolmella eri tapaa. Qvaimesta tullaan julkaisemaan samaan aikaan 2 eri versiota: Qvain ja Qvain Light. Lisäksi aineistojen kuvailu tulee olemaan mahdollista myös metatietovaranto Metaxin rajapinnan kautta:

  • Qvain: Moniosainen lomakekokonaisuus, jolla aineiston kuvailu saadaan tehtyä koko tietomallia hyödyntäen. Hieman työläämpi käyttää kuin Qvain Light, mutta tarjoaa enemmän kuvailumahdollisuuksia.
  • Qvain Light: Yksinkertainen työkalu, jolla aineisto kuvaillaan yhden lomakkeen avulla. Vaikka kenttiä on vähemmän kuin Qvaimessa, Qvain Lightilla tehdyt aineistokuvaukset täyttävät aineiston kuvailulle asetetut minimitietovaatimukset ja näkyvät Etsimessä samalla tapaan kuin Qvaimella tehdyt aineistot. Qvain Lightia on nopea käyttää myös esim. Qvaimella tai Metax-rajapinnalla tuotetun aineiston muokkaukseen.
  • Metax rajapinta: Edistyneemmille käyttäjille tarkoitettu työkalu, jolla aineisto kuvaillaan Metaxin tarjoaman rajapinnan rakennetta noudattaen. Kaikki tietomallin kentät ovat käytettävissä. Rajapintaan ei tule muutoksia Qvain-käyttöönoton myötä.

Julkaistut aineistot näkyvät kuvailutavasta riippumatta uudessa Etsimessä, ja ovat tarvittaessa muokattavissa molemmilla kuvailutyökaluversioilla sekä Metaxin rajapinnan kautta.

Kuvailuun voi linkittää Fairdata IDAssa olevia tiedostoja, mutta kuvailusta on mahdollista viitata myös Fairdatan ulkopuolella olevaan aineistoon.

Lisätietoja Qvaimesta ja Metaxista:

Yhteydenotot palvelukehitykseen liittyen:

CSC asiakaspalvelu@csc.fi

2019-03-28: Päivityksiä IDAn komentorivityökaluihin

  • Bugikorjaus info-komennon listauksen muotoiluun käytettäessä Mac OS-X
  • Käyttöoppaan /examples -alihakemisto uudelleennimetty /templates -alihakemistoksi, jotta se ei aiheuttaisi sekaannusta käyttöoppaan esimerkkien kanssa
  • Erilaisia Posix-yhteensopivuuden normalisointeja

Päivitetyt komentorivityökalut lisätty Taidolle ja ladattavissa GitHubista: https://github.com/CSCfi/ida2-command-line-tools