SÄHKE2-tietoaineistot - siirtopaketin muodostaminen
1. Ohjeen tarkoitus
Ohjeessa kuvataan, miten Kansallisarkistoon siirrettävä SÄHKE2-siirtopaketti muodostetaan. Ohje on yleiskäyttöinen, sillä tietojärjestelmien siirtotoiminnallisuudet ja -ratkaisut poikkeavat toisistaan. Ohjetta tulee hyödyntää yhdessä taulukossa 1 lueteltujendokumenttien kanssa.
Tässä ohjeessa Siirtäjällä tarkoitetaan organisaatiota, joka on Kansallisarkistoon siirrettävän tietoaineiston rekisterinpitäjä/hallinnoija.
Taulukko 1 Viittaukset muihin ohjeisiin ja dokumentteihin
Dokumentti | Sisältö |
|---|---|
Suositus SÄHKE2-metatietomallin hyödyntämisestä | Kansallisarkiston SÄHKE2-suositus antaa metatietoihin ja metatietomalliin (SÄHKE2-metatietomalli, versio 1.3, 18.3.2020) liittyviä soveltamisohjeita. Suositus käsittelee SÄHKE2-määrityksiä erityisesti tiedon arkistoinnin näkökulmasta sekä kommentoi SÄHKE2-metatietomallia lainsäädännön muutoksiin liittyvillä huomioilla. |
SÄHKE2-siirtotiedoston | Siirrettävien SÄHKE2-metatietojen esittäminen
|
Vastaanotettavia tiedostoja koskevat ohjeet -ohje ja sen LIITE 1 Luettelo Kansallisarkis- | Ohjeessa kuvataan Kansallisarkistoon vastaanotettavia tiedostoja koskevat yleiset vaatimukset, tekstitiedostoissa sallitut merkistöt ja siirtokelpoiset tiedostoformaatit. Ohjeeseen on eritelty, |
Metatietolomake | Siirtäjä ilmoittaa metatietolomakkeella sähköisen arkistoinnin palvelulle siirtoerää koskevat kuvailutiedot. Siirtäjä voi hyödyntää metatietolomaketta siirrettävän aineistokokonaisuuden rakenteen, arkistollisen kontekstin kuvailutietojen ja käyttörajoitusten kokonaisuuden hahmottamisessa. Lomake on Kansallisarkiston verkkosivuilla. |
2. Siirrettävä tietoaineisto ja siirtoerät
Siirrettävä tietoaineisto yksilöidään Kansallisarkiston ja Siirtäjän välisessä siirtosuunnitelmassa, jonka Siirtäjä on toimittanut Kansallisarkistoon. Siirrosta sopimisen ja siirtosuunnitelman perusteella siirrettävästä tietoaineistosta koostetaan yksi tai useampi siirtoerä. Yksittäinen siirtoerä on looginen, ehyt ja valmis kokonaisuus, jonka aineistoihin tai tietoihin ei kohdistu enää muokkaustarpeita.
Siirtoerä muodostuu siirrettävään tietoaineistoon kuuluvista tiedostoista sekä metatiedoista, jotka koskevat tietoaineistoa, tiedostoja ja siirtoa. Metatiedoista tuotetaan XML-tiedosto (sahke.xml).
Siirtoerä tallennetaan ohjeen mukaiseen hakemistorakenteeseen ja paketoidaan siirtoa varten yhdeksi tiedostoksi (siirtopaketti), katso luku 3.
Siirtäjä saa Kansallisarkistolta hakemiston ja siirtopaketin nimeämisessä käytettävän tunnisteen (metatietotunniste). Tunniste ohjaa siirrettävän aineiston osaksi oikeaa arkistollista kuvailukokonaisuutta Kansallisarkiston metatietovarannossa.
Kuva 1 Siirrettävä aineisto muodostaa yhden tai useamman loogisen siirtoerän,
josta muodostetaan yksi tai useampi siirtopaketti.
Siirtoerän koostamisessa voidaan hyödyntää esimerkiksi tietojärjestelmän omaa siirtotoiminnallisuutta tai siirtoa varten erikseen luotua ratkaisua. Kansallisarkisto ei tarjoa työkaluja siirtoerän koostamiseen, vaan Siirtäjän on tehtävä aineistopoiminta käytössään olevilla työkaluilla tai luotava tarvittava ratkaisu sovellustoimittajansa/palveluntarjoajansa tai muun teknisen kumppanin kanssa.
Tietoaineisto voidaan jakaa siirtoeriksi esimerkiksi tehtäväluokittain (tai asiaryhmittäin) ja erilaisten aikarajausten mukaisesti. Siirtäjä voi siirtosuunnittelun yhteydessä perustella mahdollisia tapoja jakaa aineisto siirtoeriin. Aineiston ryhmittelyyn ja kuvailuun liittyvät vaatimukset Kansallisarkistossa asettavat kuitenkin reunaehdot siirtoerien muodostamiselle.
Kun tietoaineistoa siirretään vaiheittain (erissä) Siirtäjän tulee huolehtia siitä, että jokaisen siirtoerän osalta kaikki arkistoitavaksi määrätty tietoaineisto tulee siirretyksi.
Siirtoerä on esimerkiksi tehtäväluokan tai asiaryhmän ja ajan mukaan rajattu eheä kokonaisuus.
Siirtoerään kuuluvien tietoaineistojen säilytysaika on pysyvä säilytys (ArkL) tai arkistointi (TihL.)
Siirrettävien aineistojen asiankäsittely on päättynyt ja asiakirjat kuuluvat ratkaistuun asiaan.
Asiakirjat ovat tilatiedoiltaan valmiita.
Asiakirjojen tietosisältöjä ei ole mahdollista muokata siirrettävässä järjestelmässä.
Tietoaineiston metatiedot
Tietoaineiston metatiedot (SÄHKE2-metatietomalli, versio 1.3, 18.3.2020, 2–5) kuvaavat aineiston rakennetta ja asiakirjojen sisältöjä. Metatiedot koostuvat
kunkin siirrettävän asiakirjallisen tiedon käsittelyprosessin (asian) metatiedoista
kuhunkin käsittelyprosessiin liittyvien toimenpiteiden metatiedoista
kuhunkin toimenpiteeseen liittyvien asiakirjojen metatiedoista (kuten käyttörajoituksista) ja
asiakirjatiedostojen metatiedoista.
Metatietojen käyttötarkoitus, sisältö ja rakenne on määritelty SÄHKE2-metatietomallissa. Metatiedot tuotetaan SÄHKE2.xsd-skeeman mukaiseksi XML-rakenteeksi.
SÄHKE2-tietoaineistojen arkistollisiksi metatiedoiksi edellytetään vähimmäismetatietoja, jotka on lueteltu suosituksessa SÄHKE2-metatietomallin hyödyntämisestä. Mikäli Kansallisarkistoon siirrettävälle aineistolle ei ole muodostettu riittäviä metatietoja jo sen käsittelyn aikana, voi Siirtäjä täydentää niitä ennen siirtoa tai tietyin rajoituksin vielä siirron yhteydessä siirtokäyttöliittymässä. Tarvittaessa Siirtäjää ohjeistetaan meta-
tietojen tuottamisessa ennen siirtoa.
Tiedostot ja tiedostomuodot
Siirrettävien tiedostojen tulee olla Kansallisarkiston hyväksymissä tiedostomuodoissa. Ajantasaiset tiedostoja koskevat vaatimukset sekä luettelo vastaanotettavista tiedostomuodoista ovat Kansallisarkiston verkkosivuilla tiedostoja koskevassa ohjeessa.
Siirrettävät tiedostot
Siirrettävä asiakirja voi koostua yhdestä tai useammasta tiedostosta.
Samasta asiakirjasta voi olla useita eri tiedostomuotoja, joiden käyttötarkoitus yksilöidään SÄHKE2-metatiedoissa UseType-elementillä (SÄHKE2-metatietomalli, versio 1.3, 18.3.2020, 6.1.2: Käyttötarkoitus). Natiivi-tiedostoksi kutsutaan alkuperäistä tiedostomuotoa, jossa tiedosto on luotu ja jossa sitä on käsitelty. Natiivi-tiedostosta on voitu tiedon elinkaaren jossain vaiheessa tuottaa pitkäaikaissäilytykseen tarkoitettu Arkistomuoto (usein PDF/A-tiedosto) tai asiakirjan jakeluun tai julkaisuun tarkoitettu Julkaisu-
muoto (esimerkiksi PDF/UA).
Asiakirja otetaan Kansallisarkistoon vastaan pääsääntöisesti vain yhdessä tiedostomuodossa, eli ei useita samansisältöisiä tiedostoja, ja kustakin tiedostosta otetaan vain yksi, valmis versio. On suositeltavaa siirtää asiakirja alkuperäisessä tiedostomuodossaan aina, kun se on mahdollista. Konversio arkistointia varten tulisi tehdä ainoastaan silloin, kun alkuperäinen tiedostomuoto ei ole Kansallisarkistoon vastaanotettavien tiedostoformaattien joukossa.
Asiakirjaan on aina liityttävä Natiivi- ja/tai Arkisto-tiedostomuoto. Siirtopaketista otetaan talteen ensisijaisesti Natiivi-tiedostot, mutta mikäli asiakirjalla ei ole Natiivi-tiedostoa, otetaan talteen Arkisto-tiedosto. Julkaisu-käyttötarkoituksella merkittyjä tiedostoja ei siirrossa oteta lainkaan talteen Kansallisarkiston järjestelmiin.
Jos asiakirjaan liittyy useita tiedostoja, joilla kaikilla on sama käyttötarkoitus (Natiivi tai Arkisto), asiakirjan oletetaan koostuvan kaikista näistä tiedostoista, ja ne kaikki otetaan siirrossa talteen.
Tiedostojen vastaanottamista on havainnollistettu alla taulukoissa 2 ja 3.
Taulukko 2 Samasta tiedostosta on kaksi sisällöltään ei-identtistä tiedostoversiota eri UseType-merkinnällä. Vain Arkisto-versio halutaan siirtää arkistoon.
Siirtopaketin tiedostot | Mitä siirrossa tapahtuu? | Toimintatapa |
|---|---|---|
Tiedosto A: Tiedosto B: | Siirtosovellus valitsee siirrossa automaattisesti Natiivi-tiedoston (Word-tiedosto) ja poistaa Arkisto-tiedoston (PDF-tiedosto). | Natiivi-tiedostoa ei saa sisällyttää siirtopakettiin lainkaan. |
Taulukko 3 Samasta tiedostosta on kaksi sisällöltään identtistä, mutta käytettävyydeltään erilaatuista tiedostoversiota eri UseType-merkinnällä. Vain Natiivi-versio halutaan siirtää arkistoon.
Siirtopaketin tiedostot | Mitä siirrossa tapahtuu? | Toimintatapa |
|---|---|---|
Tiedosto A: Tiedosto B: | Siirtosovellus valitsee siirrossa automaattisesti Natiivi-tiedoston (Excel-tiedosto) ja poistaa Arkisto-tiedoston (PDF/A-tiedoston). | Molemmat tiedostot voivat sisältyä siirtopakettiin |
Mikäli samasta asiakirjasta on tietojärjestelmässä useampi tiedosto eri käyttötarkoituksilla (UseType), on Siirtäjän vastuulla siirtopakettia muodostaessaan huomioida ajantasainen ohjeistus ja varmistaa, että Kansallisarkistoon siirretään haluttu tiedosto. Tarvittaessa Siirtäjää ohjeistetaan siirtopaketin tiedostomuodoista ennen paketin muodostamista.
Tiedostojen metatiedot
Tiedostojen metatiedot (SÄHKE2-metatietomalli, versio 1.3, 18.3.2020, 6.4: Siirrettävän kohteen metatiedot) koskevat tiedostoja ja niiden eheyttä sekä sijaintia siirtopaketissa. Tietojen avulla luodaan yhteys tiedostojen ja niitä koskevien aineistometatietojen (sahke.xml) välille. Tiedostojen ja aineistometatietojen on vastattava toisiaan. Toisin sanoen sahke.xml-tiedostossa on oltava kaikkien siirtopakettiin kuuluvien tiedostojen tiedot, eikä siirtopaketissa saa olla tiedostoja, joiden metatietoja ei ole xml-tiedostossa. SÄHKE2-rakenteessa siirrettävien tiedostojen metatiedot esitetään Dokumentti-tasolla. Pakolliset metatiedot on koottu taulukkoon 4.
Taulukko 4 Tiedostojen pakolliset metatiedot
SÄHKE2-elementti | Selitys | Huomautus | Esimerkki |
|---|---|---|---|
File.Path (Hakemistopolku) | Tiedoston fyysinen hakemistopolku suhteessa Sähke-rakenteen juureen | Absoluuttista viittausta ei saa käyttää (esim. | PDF/F0055720.PDF PDF\F0055720.PDF |
HashAlgorithm (Eheystunnisteen algoritmi) | Eheyden varmistamiseen | Sallitut: MD5 SHA-1 SHA-256 | md5 sha1 sha256 |
HashValue (Eheystunnisteen arvo) | Eheystunnisteen arvo | 24sfstetew33dfd | |
NativeId | Yksilöi siirrettävän tiedoston | Tunnisteen on oltava yksilöllinen sahke.xml-tiedoston sisällä. |
SÄHKE2-aineistojen ja -siirtopakettien tiedostonimissä sekä hakemistoissa pitää huomioida taulukossa 5 yksilöidyt rajaukset.
Taulukko 5 Tiedostonimiä ja hakemistoja koskevat rajoitukset
Nimeämisen rajoitteet | Vaatimus/selitys |
|---|---|
Tiedostonimen maksimipituus | 256 merkkiä |
Sallitut merkit | kirjaimet a-ö, A-Ö numerot 0-9 erikoismerkit - _ . ( ) # välilyönti |
Kirjainkoko | Hakemistoissa ja sahke.xml-tiedostossa esitetyt tiedot, myös tiedostonimet tiedostopäätteineen, ovat merkkikokoriippuvaisia (engl. case-sensitive). ESIMERKKI: Tiedoston nimi on F0055720.pdf, joten siihen kohdistuva viittaus F0055720.PDF on virheellinen. |
XML-tiedoston tiedostonimi | Metatiedoista tuotetun XML-tiedoston nimi on aina sahke.xml |
Siirron metatiedot
Siirron metatiedot (SÄHKE2-metatietomalli, versio 1.3, 18.3.2020, 6.1 ja 6.2) yksilöivät siirtoerän, siitä tuotetun siirtopaketin ja Siirtäjän. Tiedot perustuvat Siirtäjän ja Kansallisarkiston väliseen sopimukseen, ja ne tuotetaan siirtoerän muodostamisen yhteydessä.
Kansallisarkisto toimittaa tarvittavat tunnisteet (kts. taulukko 7) Siirtäjälle siirtosuunnittelun yhteydessä.
Kontaktitiedot
Kontaktitietoihin sisältyvät siirtävän tahon organisaatiotiedon lisäksi siirrosta vastaavan teknisen yhteyshenkilön tiedot. Tiedot tukevat siirtotapahtumaa, eikä niitä hyödynnetä aineiston myöhemmässä käytössä.
Taulukko 6 Siirtoon liittyvät kontaktitiedot (SÄHKE2 6.2)
SÄHKE2-elementti | Vaatimus/selitys |
|---|---|
Organisaatio (SÄHKE 6.2.1) | Siirtoerän siirtäneen organisaation (viranomaisen) nimi. |
Kontaktihenkilö (SÄHKE 6.2.2) | Siirrosta vastaavan organisaation tekninen kontaktihenkilö yhteystietoineen. |
Siirtokokonaisuuden identifiointitiedot
Siirtokokonaisuuden identifiointitiedot ovat pakollisia teknisiä metatietoja, jotka yksilöivät siirron ja siirrettävän kokonaisuuden.
Taulukko 7 Siirtoerän pakolliset tunnistetiedot (SÄHKE 6.1)
SÄHKE2-elementti | Vaatimus/selitys |
|---|---|
Identifiointitunnus | Uniikki identifiointitunnus yksilöi siirtoerän sähköisen arkistoinnin palvelussa. Identifiointitunnuksen pitää olla OID-muotoinen, ja se tulee muodostaa Kansallisarkiston esittämässä rakenteessa. OID-tunnus perustuu sekä Kansallisarkiston antamaan siirtosuunnitelman numeroon että Siirtäjän tuottamiin siirron yksilöintitunnuksiin. Tunnuksen rakenne on muotoa urn:oid:1.2.246.582.200.[siirtosuunnitelman asianumero + vuosi]. [siirron vuosi].[nnnn]. Tunnuksen alkuosa on kiinteä ja aina sama. Kansallisarkisto toimittaa Siirtäjälle hyödynnettävän siirtosuunnitelman numeron, vuosiosa ilmoittaa siirron kuluvan vuoden kokonaislukuna ja juokseva numero on Siirtäjän määrittämä merkkijono, joka yksilöi siirtopaketin. Merkkijono voi perustua esim. siirrettävän asialuokan tunnukseen. Esimerkki: |
Aineiston metatietojen skeema | Osoite, jota on käytetty siirrettävän aineiston metatietojen validointiin. Kts. taulukon kuvaus taulukon alta. 2019 SÄHKE2: 2011 SÄHKE2: |
Siirto- ja säilytyssopimuksen tunnus (SÄHKE 6.1.4 TransferContractId) | Kansallisarkiston toimittama siirtosopimuksen diaarinumero, |
Nimeke (SÄHKE 6.1.3 Title) | Tietojärjestelmä, josta aineisto siirretään. |
Skeemaviittaus sahke-xml -tiedoston alkuun
Sahke.xml-tiedoston alussa on ilmaistava vähintään käytetty XML-standardi (version), merkistö (encoding) ja viittaus skeemaan (xmlns:narc tai pelkkä xmlns). Alla on kaksi esimerkkiä siitä, miten skeemaviittauksen voi merkitä. Ensimmäisessä esimerkissä viitataan Sähkeen skeemaversioon 2011 ja toisessa 2019.
Esimerkki 1
<?xml version="1.0" encoding="UTF-8"?>
<narc:Metadata xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.arkisto.fi/skeemat/Sahke2/2011/12/20 http://www.arkisto.fi/skeemat/Sahke2_2011_12.xsd"
xmlns:narc="http://www.arkisto.fi/skeemat/Sahke2/2011/12/20">Esimerkki 2
<?xml version="1.0" encoding="utf-8"?>
<narc:Metadata xmlns:narc="http://www.arkisto.fi/skeemat/Sahke2/2019/08/29">Muut metatietoja koskevat lisävaatimukset
Alla olevaan taulukkoon (taulukko 8) on koottu siirtoon liittyvät SÄHKE2-skeeman metatietoja koskevat tarkennukset.
Taulukko 8 Asia- ja asiakirjatason pakolliset tiedot
SÄHKE-elementti | Selitys/vaatimus |
|---|---|
Identifiointitunnus | Tieto ei saa olla sahke.xml:n CaseFile- tai Record-tasolla tyhjä. |
Nimeke (SÄHKE 2.7 Title) | Tieto ei saa olla tyhjä. sahke.xml:n CaseFile- ja Record -tasoilla nimekkeen enimmäispituus on 255 merkkiä. |
Salassapitoperuste (SÄHKE 2.6.4 Restriction.SecurityReason) ei SÄHKE2-skeemassa ole pakollinen, mutta metatietomallin mukaan se on ehdollisesti pakollinen, eli jos Julkisuusluokka on muu kuin Julkinen, tulee salassapitoperuste antaa. Mikäli salassapitoperusteita ei ole sahke.xml:ään tuotettu, on ne määriteltävä asioille ja asiakirjoille viimeistään siirron yhteydessä.
3. Siirtopaketin muodostaminen
Hakemistorakenne
sahke.xml-tiedosto ja asiakirjatiedostot pitää tallentaa taulukon 9 mukaiseen hakemistorakenteeseen.
sahke.xml-tiedosto on pakollinen.
Asiakirjatiedostot, joihin sahke.xml-tiedostossa viitataan, ovat pakollisia.
sahke.xml-tiedosto tallennetaan juurihakemistoon. Juurihakemisto pitää nimetä Kansallisarkiston toimittamalla tunnisteella (metatietotunniste). Tunniste on numerosarja, joka on esimerkiksi muotoa 3222566740. Tunniste ei saa sisältää virheitä, joten se on hyvä kopioida ja liittää hakemiston nimeen.
Mahdolliset asiakirjatiedostot tallennetaan yhteen tai useampaan alihakemistoon.
Taulukko 9 Hakemistojen nimet ja sisältö
Hakemisto | Selite/sisältö |
|---|---|
juurihakemisto, siirtopaketin tunniste | Hakemisto sisältää:
Juurihakemisto pitää nimetä Kansallisarkiston toimittamalla tunnisteella (metatietotunniste). |
alihakemisto tai alihakemistot | Hakemisto sisältää:
Hakemistossa on oltava kaikki tiedostot, joihin sahke.xml-tiedostossa viitataan, eikä siihen saa sisältyä tiedostoja, joihin sahke.xml:ssä ei viitata. |
Siirtopaketti
Juurihakemisto nimetään siirtopaketin tunnisteella. Hakemistot tiedostoineen paketoidaan yhdeksi TAR-tiedostoksi. TAR-tiedoston saa lisäksi pakata häviöttömään GZIP- tai BZIP2-muotoon. Kun siirtopaketti ladataan siirtokäyttöliittymään, sen nimenä käytetty tunniste ohjaa tietoaineiston osaksi oikeaa kuvailukokonaisuutta Kansallisarkiston metatietovarannossa.
Kuva 2. Siirtopaketti ja hakemistorakenne. Tiedostot tallennetaan siirtopakettia varten kuvan mukaiseen hakemistorakenteeseen. Hakemistot tiedostoineen paketoidaan yhdeksi TAR-tiedostoksi. Juurihakemisto ja siirtopaketti pitää nimetä Kansallisarkiston toimittamalla tunnisteella (metatietotunniste).
Kuva 2 Sähke2-siirtopaketin rakenne
