Tiedolla johtamisen ketterät kokeilut

Kohteesta Opasnet Suomi
Loikkaa: valikkoon, hakuun






Hankesuunnitelman mukaisia tiedolla johtamisen kokeilujen luonnoksia käsiteltiin ohjausryhmän kokouksessa 18.11. 2015. Ohjausryhmä valitsi maahanmuuton ja turvapaikanhakijat niiden kantavaksi teemaksi, koska se oli ajankohtainen, haasteellinen ja vaatii nopeaa tietopohjan parantamista. Ohjausryhmä päätti ehdotuksen mukaan, että hankkeessa toteutetaan kolme kokeilua. Näiden lisäksi toteutettiin pienimuotoinen neljäs kokeilu, faktantarkistus, jonka idea ja toteutuspäätös syntyivät hankkeen muun työn ohessa.

Kokeilut olivat:

  1. Informaatiomuotoilija talossa -kokeilussa informaatiomuotoilijat visualisoivat mm. hallitusohjelman seurantatietoja, turvapaikanhakijoiden lähtö- ja kohdemaita sekä hakemusten käsittelyprosessia.
  2. Yhteiskirjoittamiskokeilussa VNK:n kansallisen ennakointiverkoston koordinaattorit kokeilivat Tieken Muistiota (muistio.tieke.fi) toiminnan suunnittelun sisäisenä työvälineenä.
  3. Avoimen arvioinnin kokeilussa etsittiin Otakantaa-kyselyllä konkreettisia toimenpiteitä maahanmuuttajien osaamisen hyödyntämiseksi suomalaisyritysten kansainvälistymisen vauhdittamiseksi. Kokeilunomistajana oli työ- ja elinkeinoministeriö.
  4. Faktantarkastuskokeilussa tutkittiin reaaliajassa Ylen A2-keskusteluohjelman Turvattomuusillassa esitettyjen väitteiden todenperäisyyttä.

Yhteiskirjoittamisen, avoimen arvioinnin ja faktantarkistuksen kokeiluja yhdisti se, että niissä hyödynnettiin erilaisten verkkotyökalujen mahdollisuuksia monenkeskeiseen, hajautettuun vuorovaikutukseen. Informaatiokokeilussa taas luotiin uusia vuorovaikutuksellisia visualisointeja.

Kokeilujen ideointia edelsi uudenlaisten valtionhallinnon toimintamallien tunnistaminen. Tiedon hyödyntämisen kannalta hyväksi havaittuja uusia menetelmiä edustavat esimerkiksi:

  • Tulevaissuusseonteon ja sen ennakointivaiheen monipuoliset osallistumiskanavat verkossa ja reaalimaailmassa (2012-2013). Kutsuttujen päätoimittajien blogit, selonteon verkkokommentointi ja verkkoraportin visuaalisuus näyttävät esimerkkiä verkon mahdollisuuksien hyödyntämisestä.
  • Ympäristöministeriön ja Tulevaisuusvaliokunnan kokeilu maastoliikennelain valmistelun joukkoistamiseksi (2013). Raportti menetelmästä ja tuloksista suosittaa joukkoistamisen laajempaa käyttöönottoa.
  • Valtion talousarvioesityksen visualisointi (2014) esittää tulot ja menot puun muodossa, haku- ja tarkennustoimintojen avulla (Tulevaisuusvaliokunnan kokeilu).
  • Valtioneuvoston kanslian avoimena julkaisema hallitusohjelman seurantadata (2014-2015).
  • FinICT-hankkeen esimerkkejä joukkoistamisesta

Informaatiomuotoilua lukuunottamatta kokeilut tehtiin hankkeen omana työnä. Laadukkaan ja kustannustehokkaan informaatiomuotoiluosaamisen hankkimiseksi hanke järjesti avoimen ja ketterän kilpailutuksen. Kilpailutusmenetelmä on kuvattu omalla sivullaan. VNK osti hankkeen ehdotuksesta kilpailutukseen hankkeen parhaaksi arvioiman tarjouksen tehneeltä Lucify Oy:n ja Koponen & Hildén Oy:n yhteenliittymältä asiantuntijapalveluna n. 1 kk työpanoksen informaatiomuotoilutyötä. Tarjouksen arvonlisäveroton arvo oli noin 10 000 euroa. Tämän lisäksi VNK ja Migri sekä TEM jatkoivat kokeiluun osallistuneiden yritysten kanssa informaatiomuotoilua erillisprojekteissa, jotka luetellaan liiteaineistossa.



Informaatiomuotoilija talossa

Tarkoitus ja tavoite

Tiedon visuaalisella esittämisellä monimutkaiset ja laajat asiakokonaisuudet on omaksuttavissa nopeammin kuin tiedon tekstuaalisella tiivistämisellä. Kokeilussa hankintaan informaatiomuotoilija määräajaksi työskentelemään tukipalvelun tavoin valitulle organisaatiolle. Tavoite on löytää malli, jossa informaatiomuotoilun tuottama hyöty tiedolla johtamiselle on selvästi suurempi kuin palvelun / työsuorituksen hankintaan ja toimeksiannon tekemiseen kuluva kustannus, aika ja kulut huomioiden.

Toteutussuunnitelma

Siirry informaatiomuotoilija talossa -kokeilun sivulle

Avoin ja ketterä kilpailutus

Avoin ketterä kilpailutus informaatiomuotoilupalvelusta on päättynyt 6.11. Lue ilmoituksemme tästä. Kilpailutuksen tulos julkaistaan nyt 1.12.2015. Lue arvioinnin tulos täältä.

Loppuraportti-osio

Kuva 5-1. Koponen & Hildén oy:n kokeilussa tuottama aikajanavisualisaatio näyttää digitalisaation, kokeilujen ja normien purun kärkihankkeen ensimmäinen tavoitteen, julkisten palveluden digitalisoimisen tilanteen lokakuussa 2016

Tarkoitus ja tavoite

Informaatiomuotoilulle on selkeä, ääneenlausuttu tarve. Tämä ilmeni jo kokeiluideoita käsitelleessä ohjausryhmän kokouksessa, jossa todettiin, että tarpeesta oli puhuttu jo entuudestaan, ja idea herätti runsasta keskustelua. Toisaalta kokeilun teoreettisemmat perustelut juontuvat yhteenvetämisen taidon merkityksestä. Monimutkaisen ja suurien informaatiomäärien esittäminen ymmärrettävästi helpottaa ehkäisemään tulkintaongelmia ja edesauttaa yhteisymmärryksen saavuttamista.

Yhteenveto ja johtopäätökset

Informaatiomuotoilija talossa -kokeilun vuorovaikutteiset visualisoinnit ovat yksi hankkeen näkyvistä tuotoksista. Ne on kuvattu raportin liiteaineistossa. Esimerkkikuvassa on keväällä 2016 valtioneuvoston sivuilla julkaistu aikajana hallitusohjelman kärkihankkeiden toteutuksesta. Kuva on tuotettu Koponen & Hildénin kehittämällä työkalulla, joka käyttää aineistonaan hallitusohjelman seurantatietoja. Työkalun kehittäminen aloitettiin hankkeen kokeilussa hallituksen strategiasihteeristön ilmaiseman tarpeen perusteella, ja sitä jatkettiin omana erillisprojektinaan. Vuoden 2016 lopulla Koponen & Hildén toteutti työkalun laajennuksen, jonka avulla voidaan seurata kärkihankkeiden lisäksi muitakin hallitusohjelman hankkeita. Tuotos on valtioneuvoston sisäisessä käytössä.

Visualisaatioiden toteuttamisessa informaatiomuotoilijat neuvottelivat toimeksiannoistaan ja aineistojen koostamisesta suoraan eri virkamiesten kanssa. Informaatiomuotoilijat kertoivat kokeneensa, että toimeksiantojen sopiminen oli epäselvää ja haastavaa, sillä heille aiheutti vaikeuksia tulkita kenellä on valta ja vastuu tehdä toimeksiantoja. Eri ministeriöiden edustajien kanssa asiominen poikkesi informaatiomuotoilijoiden tottumuksista yritysmaailmassa tavanomaisesta vastuunjakomallista, jossa asiakasta edustaa yksi nimetty yhteyshenkilö. Aineistojen käyttölupien lisäksi tuotosten julkaisua koskeva päätöksenteko oli ministeriöissä epätavanomaisen aikaavievää tai päätökset jätettiin kokonaan tekemättä. Informaatiomuotoilijat kertoivatkin nopeasti huomanneensa, että toimeksiantoneuvotteluissa on hyödyllistä painottaa mahdollisuutta visualisaatioiden rajaamisesta vain ministeriöiden sisäiseen käyttöön, jotta neuvottelut ylipäätään etenevät alkua pidemmälle. Osaa vuorovaikutteisista visualisaatioista ei julkaistu hankkeen aikana verkossa, mutta niitä hyödynnettiin ministeriöiden omassa sisäisessä käytössä.

Hankkeen näkökulmasta tarkasteltuna julkaisemisen vaikeus herättää huolen siitä, että osa sinällään hyödyllisten visualisaatioiden potentiaalista jää hyödyntämättä. Pelkkä sisäinen käyttö ei auta edistämään tiedonkulkua hallintorajojen yli, mikä olisi erityisen tarpeellista niin maahanmuuton kaltaisissa äkillisissä ja kiireellisissä asioissa kuin muiden monimutkaisten ongelmien ratkaisussa.

Johtopäätös on, että hallintokulttuurinen tapa korostaa tiedon sensitiivisyyttä voi haitata tietojohtamisen toteutumisedellytyksiä. Samalla käytäntö voi aiheuttaa ulkopuolisille mielikuvan tiedon salaamisesta. Tällöin sidosryhmätkin ehkä jakavat haluttomasti omia tietojaan tällaisen toimijan kanssa, mikä mutkistaa tietojohtamista entisestään.

Samankaltaista havaintoa voi tarkastella lainsäädännön haasteena. Julkisen sanan neuvoston varapuheenjohtajana toimiessaan Timo Huovinen huomautti, että journalismin kannalta on ongelmallista, että virkamiehiä voidaan sanktioida salaisten tietojen julkaisemisesta, mutta toisin päin, julkisten tietojen salaamisesta sanktioiminen on äärimmäisen harvinaista ([3]). Lainsäädännön toimivuuden arvioinnin sijaan Yhtäköyttä-hankkeen omissa toimintatavoissa ja suosituksissa korostuu tiedon lähtökohtainen avoimuus, joka toteutuu käyttämällä sitä edistäviä työkaluja ja menetelmiä. Ne esitellään tarkemmin loppuraportin luvussa 6. "Suositukset" ja liitteessä 2. "Kirjallisuuskatsauksen yksityiskohtaiset taulukot".

Informaatiomuotoilun tarpeesta ja hyödyllisyydestä on myös osoituksena, että hankkeen toimeksiantojen lisäksi kokeilun yritykset ovat saaneet mukana olleilta ministeriöiltä, TEM:ltä, UM:ltä ja VNK:lta kolme lisätyötilausta. Niissä toimeksiannot ovat syntyneet asiakas- ja tarvelähtöisesti. Kokeilun aikana informaatiomuotoilijat kuitenkin korostivat myös aineistolähtöistä lähestymistapaa. Taiteellista ja luovaa osaamista omaavina ammattilaisina infomuotoilijat olivat kiinnostuneita saamaan kokonaiskäsityksen kaikista tarjolla olevista aineistoista, jonka perusteella he pystyisivät arvioimaan, millaisia asioita ja aiheita pystyisi visualisoimaan ja millaisella työmäärällä. Tämän perusteella olla hyödyllistä, jos eri tietoaineistoilla olisi valmiiksi määritelty lisenssi tai käyttöoikeudet ja julkisuus/salassapidettävyysaste. Ministeriöiden tulisi kartoittaa tietovarantonsa tästä näkökulmasta ja korjata mahdolliset puutteet.

Toinen suositus liittyy informaatiomuotoilun hankintaan. Kokeilun alussa nousi esiin, että selkeä tilaajan edustaja - toimittajan edustaja -vuoropuhelumalli olisi tehokkaampi toimeksiantojen sopimiseen kuin kokeilussa käytetty infomuotoilijoiden suora vuorovaikutus virkamiesten kanssa. Jo Informaatiomuotoilija talossa -kokeilun nimi viittasi lähtöjään siihen, että informaatiomuotoilija olisi hallinnon sisäinen resurssi IT-tukihenkilön tapaan, siis vaivatta ja läheltä löytyvä apu silloin, kun sitä tarvitaan. Osittain kokeilun myönteisten kokemusten vaikutuksesta VNK rekrytoikin hankkeen loppupuolella työntekijän tähän tarpeeseen. Samalla kuitenkin kokeiluun osallistuneet yritykset ovat tehneet lisää informaatiomuotoilua alihankintana mukana olleille ministeriöille. Kustannustehokkuuden ja hallinnollisten käytäntöjen, kuten turvallisuusselvitysten aiheuttaman lisätyön hallitsemiseksi hankkeessa syntyi ehdotus informaatiomuotoilun puitemallista. Siinä kilpailutetaan ajottain joukko palvelua tarjoavia eri tekniikoita ja tyylejä hallitsevia informaatiomuotoilijoita, joilta eri ministeriöt voivat tilata infomuotoilua nopealla vasteajalla.

Faktantarkastus

Tarkoitus ja tavoite

Ylen turvattomuusillan televisiokeskustelujen yhteydessä kokeiltiin tietoperusteista nettikeskustelua. Terveyden ja hyvinvoinnin laitoksen THL:n koordimoima Yhtäköyttä-hanke järjesti keskustelun nähdäkseen, voiko siten kerätä perusteltua ja tutkimukseen nojaavaa tietoa.

Toteutus

Keskustelu käytiin oikeusministeriön ylläpitämällä Otakantaa-sivustolla. Osallistumissäännöt olivat tavallista tiukemmat. Keskustelulle oli määritelty tietyt tutkimuskysymykset, joihin oli tarkoitus vastata. Osallistujilta myös pyydettiin nimenomaan linkkejä tutkimustietoon tai muihin luotettaviin lähteisiin.

Keskustelu oli netissä auki kolme päivää, ja siihen tuli lähes 150 kommenttia. Suurin osa tuli vähän ennen televisiokeskustelua ja sen aikana. Keskustelua oli ohjaamassa ja jäsentämässä muutama opiskelija, jotka nopeasti kysyivät osallistujilta lisätietoja tai viitteitä jos sellaisia ei tarjottu. Lisäksi he tekivät yhteenvetoa sanotusta, jotta osallistujien ei tarvinnut lukea kaikkea.

Tiivistelmä tuloksista

Tärkein tavoite täyttyi: keskustelua saatiin aikaiseksi, se oli asiallista, ja useimpiin kysymyksiin saatiin myös tutkimustiedolla perusteltuja kommentteja. Viitteiden kaiveluun tosin vaivautui vain alle kymmenesosa osallistujista. Alla on keskutelun kommentteihin perustuvat tiivistelmät tarkastelluille kysymyksille. Alkuperäiset kommentit jokaiseen kysykseen löytyvät liitteestä?

1. Onko tavallisen kansalaisen turvallisuus vaarantunut maahanmuuton takia?

Suomi on seksuaalirikosten osalta normaali länsimaa eikä erityisen vaarallinen. Raiskausrikoksia tulee poliisin tietoon noin tuhat vuodessa. Turvapaikanhakijoita on vuonna 2015 epäilty reilusta sadasta seksuaalirikoksesta, mikä on 7-8 % kaikista epäilyistä. Tilanne ei siis ole ratkaisevasti huonontunut. Toisaalta puskaraiskauksissa ulkomaalaiset ovat yliedustettuna, ja tällaisen rikoksen pelko voi rajoittaa ihmisten liikkumista. Väkivallan osalta turvapaikanhakijat eivät ole aiheuttaneet suurta kansalaisiin kohdistuvaa lisäuhkaa. Esiintynyt väkivalta on usein turvapaikanhakijoiden välistä, mikä näkyy varsin suurena poliisihälytysten määränä vastaanottokeskuksissa.

69 kommenttia eli ylivoimaisesti suosituin kysymys. Osallistujat tarjosivat seitsemän eri viitettä kysymykseen liittyen. Huomattava osa kommenteista siirrettiin kokonaan tai osittain turvallisuuden kokemista käsittelevään kysymykseen; se perustettiin ensimmäisten kommenttien jälkeen, jotta näille kommenteille olisi jokin paikka.

2. Onko maahanmuuttajien turvallisuus vaarantunut maahanmuuton vastustajien takia?

Tässä keskustelussa kukaan ei nostanut esiin viitteitä tai raportteja. Monet kuitenkin viittasivan useisiin tuhopolttoiskuihin ilmeisesti arvellen, että se on yleistä tietoa eikä vaadi viitteitä. Kuitenkin useimmat pitivät näitä tekoja yksinään riittävänä todisteena siitä, että turvallisuus on heikentynyt. Lisäksi mainitaan syrjintää, tönimistä, haukkumista ja muuta suomalaisten taholta, mutta näistä ei esitetä tutkimustietoa.

  • 13 kommenttia, ei yhtään tutkimusta tai muuta viitettä.

3. Syyllistyvätkö tietyistä maista tulleet tietynlaisiin rikoksiin?

Rikostilastoissa 2011-2013 näkyy selviä eroja riippuen lähtömaasta. Useimpien keskustelijoiden mielestä kyseessä ovat kulttuurierot, eivät niinkään maakohtaiset erot.

  • Pohjois-Afrikasta ja Lähi-idästä tulevat ovat yliedustettuna seksuaalirikoksissa.
  • Raiskausrikosten lisäksi maahanmuuttajat eivät poikkea yhtä vahvasti kantaväestöstä. Suomessa ei ole esimerkiksi sellaisia merkittäviä etnisiä rikollisjengejä kuin muissa Pohjoismaissa.
  • Kommentteja tuli 17, ja kaksi olennaista tutkimusraporttia tuotiin esille.

4. Onko Suomen turvapaikkalainsäädäntö löysempi vai tiukempi kuin muiden EU-maiden?

Lähes kaikki osallistujat halusivat ottaa kantaa siihen, onko Suomen politiikka liian löysä tai tiukka. Sen sijaan viitteitä tarjottiin vain yksi koskien Suomen turvapaikkapäätöksiä. Tietoa muiden EU-maiden politiikoista ei tarjottu ylimalkaisia kommentteja lukuunottamatta, joten vastaus jäi saamatta.

  • 15 kommenttia ja yksi viite, joka vai osittain tarjoaa eväitä vastaukseen.

5. Onko poliisien määrä väkilukuun suhteutettuna Suomessa pieni vai suuri?

Kaikki osallistujat olivat yksimielisiä siitä, että poliisien määrä Suomessa on vähäinen muihin maihin verrattuna. Monet halusivat lisää, toiset olivat tyytyväisiä että vähällä pärjätään.

  • Seitsemän kommenttia, yksi hyödyllinen viite, josta vastaus suoraan löytyy.

6. Tulevatko radikalisoituneet nuoret pääasiassa pääkaupunkiseudulta?

Vain kaksi kommenttia, joissa ei ollut riittävästi tietoa vastaamiseen.

7. Keitä tarkalleen ottaen ovat turvapaikanhakijat?

Turvapaikanhakijoiden alkuperä vuoden 2015 osalta: Irak 20485 (63 %), Afganistan 5214 (16 %), Somalia 1981 (6 %), Syyria 877 (2%), Albania 762 (2 %), Iran 619 (2 %), kaikki muut yhteensä 2538 (8 %) eli kaikki yhteensä 32476 turvapaikanhakijaa. Yksintulleita alaikäisiä turvapaikanhakijoita oli vuonna 2015 keskimäärin 9 % hakijoista (3024) eli melko pieni osuus. Tästä ainoa selvä poikkeus on Afganistan.

  • Kymmenen kommenttia, joissa tarjottiin kuusi eri viitettä (pääasiassa Migrin tilastoihin). Tietoa on siis varsin hyvin löydetty.

8. Ketkä kansalaiset kokevat turvallisuuden huonontuneen maahanmuuton takia ja millä tavalla?

Turvallisuuden kokemus vaihtelee rajusti eri ihmisten välillä. Jotkut tuntevat olonsa yhtä turvalliseksi kuin ennenkin, toiset pelkäävät turvapaikanhakijoita, ja kolmannet rastisteja. Erityiseti naiset ja tytöt mainitaan ryhmänä, jotka pelkäävät tai joiden olisi syytä pelätä.

Kuitenkaan yhtään viitettä tutkimuksiin ei tarjottu, vaan kaikki on omakohtaista tai tuttujen kokemaa.

  • Suoria kommentteja 9, ainakin 20 siirrettiin muista kysymyksistä koska ne liittyivät tähän aiheeseen.

Avoin vaikutusarviointi

Kokeilu avoimen päätöksentekokäytännön soveltamisesta.

Tarkoitus ja tavoite

Tämän kokeilun tavoitteeena oli testata avointa arviointia tiedon jäsentämisessä ja jaetun ymmärryksen tuottamisessa. Arvioinnissa etsittiin tieteelliseen tietoon perustuvaa vastausta seuraavaan kysymykseen: Mitä konkreettisia toimepiteitä pitäisi tehdä ja miksi niiden kehitystavoitteiden edistämiseksi, jotka on listattu raportissa Innovaatiotalouden maahanmuuttopolitiikka (Raunio, toukokuu 2015[1]) ja jotka on myös esitetty tiivistettynä liitteessä 6 Erityisesti, millä konkreettisilla toimepiteillä voidaan edistää maahanmuuttajien paikallistuntemuksen, verkostojen ja tietotaidon hyödyntämistä suomalaisten yritysten kasvun, kansainvälistymisen ja viennin edistämisessä? Vastauksissa toivottiin erittelemään erityisesti seuraavat yksityiskohdata:

  • Mihin maahnamuuttajaryhmään toimenpide kohdistuu?
  • Toimenpiteen sisältö: mitä tehdään?
  • Kuka toimenpiteestä päättää ja kuka sen panee toimeen?
  • Millä aikataululla toimenpide voidaan toteuttaa?
  • Paljonko toteutus maksaa ja kuka sen maksaa?
  • Mitä hyötyä toimenpiteestä on
    • eri toimijoille (yritys, maahanmuuttaja, kansantalous, asiakas,...)
    • eri tavoitteille (taloudellinen, terveydellinen, sosiaalinen, hyvinvointivaikutukset,...)
  • Mitä tutkimustietoa tai selvityksiä on toimenpiteen toteuttamisesta tai sen vaikutuksista?

Arviointi rajattiin koskemaan Suomeen tulleet maahanmuuttajat (työn, opiskelun, perheen tai turvattomuuden vuoksi muuttaneet) ja heidän panokseensa suomalaisten yritysten toiminnassa ja tarkasteluaikana olivat lähivuodet ja erityisesti aika ennen kuin maahanmuuttajat ovat muutenkin kotoutuneet.

Toteutus

Arviointi toteutetiin maalis-kesäkuussa 2016 ja siinä toteutetiin yhden verkko-osoitteen periaatetta eli kaikkeen arvioinnissa tuotettuun tietoon pääsee kiinni yhden verkkosivun kautta http://fi.opasnet.org/fi/Maahanmuuttoarviointi.

Kysymyksen vastausta etsittiin avaamalla avoin keskustelu OtaKantaa-sivulla. Keskusteluun kutsuttiin alan asiantuntijoita, ja lisäksi siihen pystyi osallistumaan kaikki asiasta kiinnostuneet. Pääasiallinen arviointi toteutettiin suomeksi. Kuitenkin arvioinnin keskeiset osat ja keskustelut toteutettiin myös englanniksi, jotta saadaan mukaan mahdollisimman paljon osallistujia kansallisuudesta riippumatta.

Yhteenveto tuloksista

Alkuperäisessä keskustelussa vastausten avulla kartoitettiin laajahko aineisto, jonka pohjalta identifioitiin 34 toimenpidettä, joilla maahanmuuttjien tietotaitoa pystyttäisiin hyödyntämään. Toimenpide-ehdotukset kohdentuivat julkiselle sektorille, oppilaitoksille, yrityksille, ulkomaalaisille työnhakijoille Suomessa sekä yleensä kaikille kansalaisille. Toimenpide-ehdotuksista järjestettiin erillinen kysely, jonka avulla ehdotusten toteuttamiskelpoisuutta arvioitaisiin, mutta tähän ei valitettavasti saatu kuin 2 vastausta.

Kerätyt toimenpide-ehdotukset (tarkempi kuvaus liitteessä 6)
  • Valtio maksaa konsulttimaahanmuuttajien sosiaaliturvan
  • Kunta tukee työllistymistä
  • Opetussuunnitelmaan vuorovaikutusta ja kieliä
  • Koulutuksessa korostetaan valmistautumista työnhaussa
  • TEM seuraa työnantajien käsityksiä
  • TEM kerää työllistymisen hyviä käytäntöjä
  • Perhepolitikalla tuetaan toista sukupolvea
  • Työvoiman tarpeista kartoitusmalli
  • Valmistuville enemmän aikaa
  • Maahanmuuttajat historiantutkijoiden apuna
  • Opiskelujen aikaisen verkostoitumisen korostaminen
  • Opinnon osia yritysten kanssa
  • Oppilaitokset tukevat työnhakua
  • Vieraskielinen koulutus osaksi aluekehittämistä
  • Valmistuvilla hyvä suomi
  • Rekrytointikanava yritysten kanssa
  • Maahanmuuttajat kouluihin kertomaan
  • Maahanmuuttajat kääntämään lehtiä
  • Maahanmuuttajien palkkaus
  • Tietokanta maahanmuuttajien osaamisesta
  • Korkeakoulutetuille maahanmuuttajille kielikursseja
  • Tapahtumia kohtaamista varten
  • Työhönottoon ja työssäoloon liittyviä seikkoja seurataan
  • Ulkomaalaistaustaisen henkilöstön osaamisen huomiointi
  • Suomessa olevien rekrytoinnin huomiointi
  • Ulkomaalaistaustaisten erityispiirtet huomioon
  • Rennompi suhtautuminen kielivaatimuksiin
  • Turvapaikanhakijoiden osaamisen tunnistaminen
  • Toimintamalli työnhaussa auttamiseksi
  • Lähtömaakoulutus
  • Koulutusta auttamaan työelämään
  • Tunnistetaan piilotettu osaaminen
  • Verkostoituminen suomalaisten kanssa
  • Monipuolinen portfolio ja osaamisen todistaminen

Tässä testattu menetelmä avoimen arvioinnin joukkoistamisesta osoitti, että tutkimustietoa on mahdollista kerätä laajemmalta yleisöltä esimerkiksi OtaKantaa keskustelun avulla. Testi myös osoitti, että hankaluutena on asiantuntijoiden aktivointi tiedon jakamiseen kaikille avoimen foorumin kautta.

Yhteiskirjoittaminen

Tarkoitus ja tavoite

Yhteiskirjoittamisella tarkoitetaan usean käyttäjän samanaikaista asiakirjan kirjoittamista verkon yli.

Kokeilussa otetaan yhteiskirjoittaminen käyttöön kokous-, pari- ja itsenäisessä työskentelyssä.

Tavoite on edesauttaa jaetun ymmärryksen syntymistä ja nopeuttaa tiedon jakamista.

Toteutussuunnitelma

Siirry Yhteiskirjoitus-kokeilun sivulle.

Loppuraportti-osio

Tarkoitus ja tavoite

Yhteiskirjoituskokeilun taustalla oli Open Knowledge Finlandin hyvät kokemukset uudesta toimintatavasta, joka käsitteenäkään ei ole vielä kovin tunnettu. Yhteiskirjoittamisella tarkoitetaan monen käyttäjän pääsyä kirjoittamaan verkossa sijaitsevaa asiakirjaa. Se voi tapahtua samanaikaisesti tai asynkronisesti, jopa pitkien aikojen yli. Verkossa on näkyvillä aina viimeisin versio, kuten wikipediassa. Yhteiskirjoittamista kutsutaankin reaaliaikaiseksi wikiksi.

Yhteiskirjoittamisen perusteet tulevat ensisijaisesti avoimuusperiaatteesta -se tarjoaa yhteisen työskentelyalustan kaikille osapuolille. Toisena eri näkökulmien dokumentointi yhteiseen näkymään tukee jaetun ymmärryksen syntymistä.

Yhteenveto ja johtopäätökset

Kokeilunomistajaksi tulivat Kansallisen ennakointiverkoston VNK:n virkamiehet. Kokeilu suunniteltiin pienimuotoiseksi välineiden testaamiseksi oikeassa käyttöyhteydesä. Kokeilun tarkempi suunnittelu on dokumentoitu sivulla Yhteiskirjoituskokeilu.⇤--#: . Tämä linkki oli siellä alkuperäisessä teidostossa josta tämän wikistin, pitäisikö sen olla tässä niin että tuohonkin dokumenttiin pääsee ihmiset käsiksi vai ei? --Heta (keskustelu) 24. lokakuuta 2016 kello 09.14 (UTC) (type: truth; paradigms: science: attack) ----#: . Ensisijaisesti erillisenä liitteenä, eli esimerkiksi tulostetaan tuosta lähteestä pdf-tiedosto. --Raimom (keskustelu) 27. marraskuuta 2016 kello 14.05 (UTC) (type: truth; paradigms: science: comment)

Kestoksi suunniteltiin 1-2 kk kalenterikuukautta maalis-huhtikuussa 2016. Kokeilun aloituksesta julkaistiin tiedote foresight.fi-sivustolla.

Yhteiskirjoitustyökaluja oli ehdolla kolme vaihtoehtoa, Googlen Drive, Tieken ylläpitämä etherpad-sovellus osoitteessa muistio.tieke.fi sekä etherpadin pohjalta jatkokehitetty Hackpad, jota esimerkiksi Yhtäköyttä-hanke käyttää osoitteessa yhtakoytta.hackpad.com. Googlen palvelut eivät datan säilyttämissijainnin ja käyttöoikeuksien ja -ehtojen puolesta soveltuneet viranomaiskäyttöön. KEV valitsi välineeksi Tieken ylläpitämän etherpadin, koska se toteutti mahdollisimman suurta avoimuutta: sen käyttö ei vaadi rekisteröitymistä eikä kirjautumista kuten Hackpad.

Varsinainen yhteiskirjoituskokeilu toteutui pienimuotoisesti KEV:n sisäisenä käyttönä. Aiheesta myös keskusteltiin vähäisesti kansallisen ennakointiverkoston Yammer-kanavalla. Yhteiskirjoitusta ei hyödynnetty yhteistyössä ulkopuolisten osallistujien kanssa.

Yhtäköyttä-seminaarissa huhtikuussa 2016 järjestettiin työpaja yhteiskirjoittamisesta. Keskustelun mukaan menetelmään liittyy erilaisia käytännöllisiä ongelmia ja näkökulmia, jotka pitäisi ratkoa ensin. Näitä ovat

  • versionhallinta, vaivaton palauttamisen mahdollisuus
  • vastuunmäärittely sisällön oikeellisuuden suhteen
  • käyttäjäoikeuksien asettaminen
  • datan hallinta ja säilyttäminen
  • tietoturva
  • valmiiden asiakirjapohjien käyttäminen
  • mobiilikäyttöliittymä

Työpajan keskustelun mukaan menetelmä voi mahdollisesti osoittautua hyödylliseksi erityisesti asiakirjojen eri versioiden hallinnan ja edestakaisen lähettämisen vaivan vähentämiseksi. Toiseksi yhteiskirjoittamisella voi olla annetavaa tiedonkulkun parantamiseen hallintorajojen yli.

Menetelmän hyödyntäminen ei sinällään lähtenyt yleistymään kokeilun vaikutuksesta. Sen tärkein anti oli kuitenkin havainto Ennakointiverkoston sivuilta, jossa Microsoftin Office 365 -asiakirjoja (word ja powerpoint) käytettiin avoimesti suoraan yhteiskirjoittamiseen soveltuvalla tavalla (kyseiset Office365-asiakirjat olivat Sitran julkaisemia). Tämä varmistui, kun kokeilun fasilitaattori muokkasi, rekisteröitymättä ja kirjautumatta, sivustolle linkitettyjä asiakirjoja. Muokkaukset kohdistuivat puutteellisiin tai vanhentuneisiin tietoihin, kuten esimerkiksi ennakointiverkoston sidosryhmäkartoituksesta Muutos 2011 -puolueen poistamiseen eduskuntaryhmät -luettelosta. Toinen muokkaus oli ennakointiverkoston jäsenten määrän päivittäminen ajan tasalle.

Tällainen käyttö liittyy hankkeen aikana jalostuneeseen "laadullisen avoimuuden" käsitteeseen. Se viittaa joukkoistamisen kaltaiseen avoimuuteen, mutta suuren osallistujajoukon sijaan tavoiteltua on vähäinen, jopa erittäin pieni, yksittäinen määrällinen osallistuminen, jonka sisällöllinen vaikutus on myönteinen ja toivottavasti suuri. Ilman asiakirjojen lähtökohtaista avoimuutta - kenen tahansa muokkausoikeutta verkossa - ennakointiverkoston sidosryhminä mainittaisiin todennäköisesti tälläkin hetkellä eduskuntaryhmä nimeltä Muutos 2011. Vaikka tällainen esimerkki voi kuulostaa epärelevantilta, se todistaa kuitenkin yhden yksinkertaisen seikan: mikäli kirjoitusoikeus hallinnon tietoihin on rajattu vain virkamieskäyttäjille, ei yleisöllä ole mahdollisuutta auttaa hallintoa ilman, että se tapauskohtaisesti vie virkamiesten työaikaa. Mutta jos käytetään avoimia ja yhteisöllisiä tiedontuotantovälineitä, on mahdollista, että kansalaiset, tutkijasta kokemusasiantuntijaan, voivat auttaa virkamiestä jonkin tietotyön tekemisessä ilman, että se kuluttaa virkamiehen työaikaa. Vaikka tällainen skenaario on ideaali, joka ei varmastikaan toteutuisi aina ja joka tapauksessa, se ei kuitenkaan tarkoita, etteikö se voisi monissa yhteyksissä toimia.

Tarkempi kysymys kuuluukin, missä yhteiskirjoittamista voisi hyödyntää. Menetelmästä kannattaisi välittömästi alkaa kerryttää kokemuksia ainakin hallinnon sisäisessä käytössä. VN-TEAS-kontekstissa esimerkiksi ministeriöiden tietotarpeiden määrittely voisi tapahtua VNK:lla käytössä olevan Office 365:n avulla.

Hanketoimijat ovat testanneet havaintoa Office 365:n soveltuvuudesta yhteiskirjoittamiseen hankkeen ulkopuolella. Hankejohtajan ja fasilitaattorin kokemukset ovat osoittaneet, että menetelmä toimii muuallakin, kuten partiolaisten suurleirin järjestämisen apuvälineenä ja tutkimusrahoitushakemusten kirjoittamisessa, käyttäjäpalautetta siteeraen "hitaasti uutta teknologiaa omaksuvien" varttuneempien yliopistotutkijoiden kanssa.

Yhteiskirjoittamisen sovelluskohteet liittyvät kaikkeen arkiseen hallinnon tietotyöhön, jossa tarvitaan useiden ihmisten vuorovaikutusta esimerkiksi asiakirjojen, tiedotteiden, suunnitelmien, esityslistojen, pöytäkirjojen, raporttien ym. kirjoittamiseen. Kokeilussa selvisi, että edellytykset tähän ovat jo olemassa. Hanke suosittaa menetelmän rohkeaa kokeilua mahdollisimman monissa käyttökohteissa.

Toteuttamattomat kokeilut

Kokeilujen ideointivaiheessa ja ohjausryhmäkeskustelussa oli esillä toteutettujen kokeilujen lisäksi kaksi kokeiluaihiota, jotka on tarpeellista esitellä tässä yhteydessä.

Avoimet tutkimusjulkaisut ja keinoäly

Hankkeen alkuvaiheen ideoinnissa nousi esille täysin ohjelmisto- ja informaatioteknologiaan nojaava tapa sitoa tutkittua tietoa päätöksentekoon. Idean esittelemiseksi on hyvä esittää samansuuntaisia olemassaolevia konkreettisia esimerkkejä. Ensin, Google Scholar -hakupalvelu keskittyy akateemisiin lähteisiin ja palauttaa hakutuloksina sitaatteja, suoria linkkejä julkaisuihin sekä käyttöoikeusrajoitteisten julkaisujen viitetietoihin tai esittelysivuille. Toisena, yliopistojen kirjastojen hakupalvelut palauttavat hakutuloksina teosten ja artikkeleiden kuvailutietoja sekä linkkejä sähköisiin aineistoihin. Sisältöjen samankaltaisuuden tunnistamiseen liittyviä teknologioita sovelletaan usein myös verkkolehtien uutisartikkeleiden yhteydessä näyttämällä linkkejä toisiin uutisartikkeleihin otsikolla "aiheeseen liittyy". Samaan tapaan esimerkiksi Helsingin yliopiston julkaisutietokanta Heldassa on käytössä "Samankaltaisia artikkeleita" -suosittelutoiminnallisuus.

Yksi tapa tutkitun tiedon liittämiseksi päätöksentekoon olisi siis antaa osa työstä keinoälyn, tarkemmin tiedonhakukyselyiden ja suosittelualgoritmien tehtäväksi. Tällainen ratkaisu edellyttää teknisesti, oikeudellisesti ja sisällöllisesti käyttökelpoisia aineistoja, soveltuvaa teknologiaa ja tapaa yhdistää uusi teknologiapainotteinen prosessi ja inhimillinen työ. Päätösesitysten lopullinen muotoilu ja esittäminen jäisivät vielä inhimillisen virkamiestyön vastuulle, mutta valmisteluprosessin alkupäässä teknologian hyödyntäminen voisi säästää aikaa. Erityisen hyödyllinen se voisi olla näyttöön perustuvan toimintatavan tasapuolisuusvaatimuksen toteuttamisessa, joka edellyttää kaiken julkaistun tutkimustiedon systemaattista katsausta ja tiedon puutteiden tunnistamista. [2]

Kotimaisen tutkimuksen saatavuus nykyisellään tiedon ohjelmallisen jatkokäyttöön vaikuttaa tarjoavan mahdollisuuksia idean kokeilemiseen. Sen sijaan systemaattinen hyödyntäminen edellyttää vielä tutkimusjulkaisujen ja -aineistojen avaamista. Jotkin yliopistot ovat kuitenkin jo kohtalaisella tasolla julkaisujen ja -aineistojen avaamisessa ja monet yliopistot työskentelevät tieteen avoimuuden edistämiseksi. Tutkimuslaitoksissa sen sijaan on vielä enemmän tehtävää. [3]


Aineistojen tekninen avaaminen koneluettavien rajapintojen kautta on myös vasta alkutekijöissään. Rajapinnat tarjoavat etuja ohjelmistokehitykseen ja hakukyselyjen rakentamiseen. Toisaalta rajapinnat eivät kuitenkaan ole ensisijainen edellytys hakujen tekemiselle tai tutkimustiedon hyödyntämiselle. Sen sijaan julkaisutietokannoissa on yleensä tarjolla viitetiedot rakenteellisessa muodossa, joka on ehkä tärkeämpi resurssi tutkimuksen jatkokäyttöön.

Kattavan kotimaisen tieteen avoimuuden tilanteen saavuttaminen ei ole edellytys tiedon ohjelmallisen hyödyntämisen kokeilemiselle. Hyödyllistä olisi tunnistaa sellaisia tutkimusorganisaatiota ja julkaisutietokantoja, jotka ovat teknisesti, oikeudellisesti ja sisällöllisesti käyttökelpoisia. Helsingin yliopiston Helda-tietokanta voisi olla yksi tällainen esimerkki, mutta myös muita mahdollisuuksia on hyvä tarkastella.

Hakukyselyjä ja suosittelualgoritmejä ei tarkastella tässä yhteydessä tarkemmin. Niiden arvioiminen edellyttää omaa erikoisasiantuntemustaan.

Esimerkkejä keinoälyn hyödyntämisestä voisi olla seuraavanlaiset kyselyt, joita päätösvalmistelija tekee ohjelmalle:

  • mitä tutkimuksia Suomessa on tehty viimeisen kahden vuoden aikana, jotka käsittelevät ihmisten kokemuksia turvallisuudentunteesta suhteessa maahanmuuttajiin
  • mitä nämä tutkimukset sanoivat iäkkäämpien ihmisten kokemuksista
  • mihin kaikkiin aineistoihin nämä tutkimukset perustuvat
  • ketkä kaikki tutkijat ovat kirjoittaneet aihetta käsitteleviin julkaisuihin

Toinen, erilainen esimerkki voisi ennusteen laatiminen vuoden, kahden, viiden ja kymmen vuoden päähän tulevaisuuteen seuraavista aiheista:

  • väestönkasvu
  • talouskasvu
  • työllisyys
  • energiankulutus
  • suomalaisten asenteet maahanmuuttoa kohtaan
  • suomalaisten asenteet eläkeikää kohtaan
  • suomalaisten mielipiteet tuloverotuksen tasoa kohtaan

Jos keinoäly ei vielä kykenekään käsittelemään ja tulkitsemaan suomenkielistä raakatekstiä luotettavasti ja hyödyllisesti, tulkintavastuu voidaan jättää ihmiselle ja hyödyntää ohjelmistoteknologiaa helpottamaan työn määrällistä puolta. Tällöin edelläkuvattujen ennusteiden osalta voisi kysyä ensimmäisen esimerkkijoukon tapaan

  • mitä tutkimuksia Suomessa on tehty viimeisen kahden vuoden aikana väestönkasvusta/talouskasvusta/työllisyydestä/energiankulutusesta/jne
  • mihin kaikkiin aineistoihin nämä tutkimukset perustuvat
  • ketkä kaikki tutkijat ovat kirjoittaneet aihetta käsitteleviin julkaisuihin

Hakuteknologian ja keinoälyn hyödyntämisen mahdollisuudet jäivät pois Yhtäköyttä-hankkeen kokeiluehdotuksista, koska hankkeessa ei ollut valmiina alan asiantuntemusta ja sen hankkiminen tai opettelu ja kokeilun toteuttaminen arvioitiin niin työlääksi, ettei muille kokeiluille olisi jäänyt välttämättä lainkaan resursseja. Uusien ohjelmistojen kehittämisen sijaan toteuttamiskelpoisena pidettiin olemassaolevien ja hyväksihavaittujen ohjelmien kokeilu (yhteiskirjoittamisalustat ja yhteistyöalustat kuten Otakantaa). Siitä huolimatta ohjelmistoteknologisten mahdollisuuksien tutkiminen tietojohtamisen kehittämiseksi ja tutkitun tiedon hyödyntämiseksi on hankkeen mukaan suositeltavaa.

Kuuma linja -sovellus

Yksi jo aiemmin tunnistettu tarve[4] ja hankkeen ohjausryhmän kokouksissa käydyssä keskustelussa esiinnousseista todellisista ääneenlausutuista käyttäjätarpeista soveltuisi hyvin keinoälyn ratkaistavaksi. Yksinkertaistetusti kyse on tarpeesta saada mahdollisimman nopeasti yhteys jonkin käsillä olevan asian parhaaseen asiantuntijaan. Tähän sopivaa ratkaisua voidaan kuvata nimityksellä “kuuma linja”. Kysymys kuuluu, miten tällainen kuuma linja toteutettaisiin, jos asiantuntijuuden alue on muuttuja, joka voi saada minkä tahansa arvon? Miten päätösvalmistelija tai päättäjä voi saada helposti ja vaivattomasti yhteyden mahdollisesti ennalta tuntemattomaan henkilöön, kun käsiteltävä asia voi koskea hyvin kapeaa osa-aluetta, vaihtoehtoisesti laajaa kokonaisuutta tai jotakin poikkihallinnollista tai monitieteistä ilmiötä?

Idean kuvaus, jota hankkeessa ei ehditty käsitellä keskusteluita ja ajatuksen tasolla tapahtuvaa kehittelyä pidemmälle, sisällytetään kuitenkin tähän yhteyteen jatkoarviointia varten.

Tällainen menetelmä asettaa tiedontarpeen määrittelyn ensisijaisesti päätöksenteon osallisen vastuulle ja tiedon tarjonnan asiantuntijan vastuulle. Menetelmän tulee ratkaista näiden kahden kohtaanto-ongelma eli helpottaa kysynnän ja tarjonnan kohtaamista. Ongelmina ovat siis 1) tehdä tietotarpeen ilmaisu päätöksenteon osalliselle mahdollisimman helpoksi ja 2) löytää yksi tai useampi parhaista mahdollisista asiantuntijoista.

Ensimmäisen ongelman ratkaisuvaihtoehtoja ovat esimerkiksi a) tarpeen määrittely hakusanoin ja b) määrittely koneellisella tekstinanalyysilla. Hakusanamäärittelyssä voidaan hyödyntää myös puheentunnistusta. Määrittelyn käyttöliittymä voi olla mobiilisovellus, selainkäyttöinen työkalu tai lisätoiminnalliuus olemassaoleviin järjestelmiin, kuten sähköposti- tai tekstinkäsittelyohjelmaan tai asiakirjanhallintajärjestelmään.

Käyttölogiikka olisi yksinkertaistettuna sellainen, että käyttäjä painaa painiketta asiantuntijan etsimiseksi ja joko kirjoittaa tai sanoo asiasanat. Jos käyttöliittymä on olemassaolevia aineistoja käsittelevän ohjelman kuten sähköpostin tai asiakirjanhallinnan toiminto, käyttäjä vain painaa “etsi asiantuntija” -painiketta ja ohjelma analysoi aineiston ja tarjoaa parasta tai parhaita vaihtoehtoja.

Menetelmän toinen suunnittelutarve liittyi haettavien asiantuntijoiden löytämiseen. Tämän edellytyksenä on saada yhteys kaikkiin niihin mahdollisiin tietokantoihin, joissa on sekä asiantuntijoita että heidän kirjallisia tuotoksiaan. Tällaisia tietokantoja ovat erityisesti yliopistojen ja tutkimuslaitosten julkaisutietokannat. Toisaalta myös julkishallinnon omat henkilöstötietojärjestelmät voivat olla tällaisia. Kun käyttöliittymä on analysoinut tiedontarpeen, se lähettää kyselyn tietokantoihin ja etsii parhaiten vastaavan tai vastaavat julkaisut ja muut kuvailutiedot, kuten henkilöiden tutkimusintressit tai tehtävänkuvaukset. Tulokset järjestetään sisällöllisen samankaltaisuuden vastaavuuden mukaan. Tarvittaessa voidaan käyttää vielä tarkempia ehtoja tulosten suodattamiseen tai järjestämiseen. Tämän ei tule kestää kuin korkeintaan joitakin sekunteja. Käyttäjälle palautetaan vastauksena joko vain yksi tai joukko parhaiten tietotarpeeseen vastaavien henkilöiden nimiä yhteystietoineen ja julkaisuluetteloineen.

Käyttöliittymässä voi olla lisäksi pikatoiminnot suoraan sähköpostin lähettämistä, puhelinsoittoa tai vakiomuotoista asiantuntijakuulemiseen kutsumista varten.






Katso myös

Yhtäköyttä-hanke
Hankkeen osa-alueet

Hankkeen pääsivu · Tehtävä 1. Tiedolla johtamisen menetelmät ja työkalut · Tehtävä 2. Tietopohjaisen päätösvalmistelun kehitystarpeet · Tehtävä 3. Tiedolla johtamisen ketterät kokeilut · Tehtävä 4. Tiedolla johtamisen sisäänajosuunnitelma · Tehtävä 5. Yhtäköyttä-hankkeen viestintä- ja vaikuttamissuunnitelma · Tehtävä 6. Yhtäköyttä-hankkeen loppuraportti

Kokeilut

Informaatiomuotoilija talossa · Yhteiskirjoittaminen · Avoin arviointi maahanmuuttajien tuomasta lisäarvosta · Turvattomuusillan keskustelun jäsentäminen

Menetelmiä ja työkaluja

Avoin päätöksentekokäytäntö · Avoin arviointi · Avoimen päätöksentekokäytännön kuntapilotti · Ympäristöstä aiheutuvien terveyshaittojen arviointi · Tekaisu-hanke · Luokka:Tekaisu

Julkaisuja ja muuta hyödyllistä

Yhtäköyttä-hankkeen loppuraportti (julkaistu) · Yhtäköyttä-hankkeen loppuraportti (wikiversio) · Yhtäköyttä (hankkeen esittely) · Avoin päätöksentekokäytäntö voisi parantaa tiedon hyödyntämistä · Ympäristö- ja terveysvaikutuksia koskeva tieto kunnallisessa päätöksenteossa · Kaikki Yhtäköyttä-luokkaan kuuluvat sivut

Tämä sivu on toteutettu osana valtioneuvoston vuoden 2015 selvitys- ja tutkimussuunnitelman toimeenpanoa (www.vn.fi/teas). Sivun sisällöstä vastaavat tiedon tuottajat, eikä tekstisisältö edusta valtioneuvoston näkemystä.

Viitteet

  1. Raunio, M (2015). Innovaatiotalouden maahanmuuttopolitiikka. Kansainvälinen muuttoliike, maahanmuuttajat ja innovaatiopolitiikka. Työ- ja elinkeinoministeriö 33/2015 [1]
  2. Raivio, K (2014). Näyttöön perustuva päätöksenteko - suomalainen neuvonantojärjestelmä. Valtioneuvoston kanslian raporttisarja 3/2014 [2]
  3. Avoin tiede ja tutkimus -hanke 2016, 16-27. Open Science and Research in Finland. ----#: . Tällä ei taas löyty googlaamalla mitään. --~~~~ (type: truth; paradigms: science: comment)
  4. Raivio 2014, 16-17, 27: tilannekeskus. ⇤--#: . Tämä myös, ei oikein ota selvää, mihin tässä viitataan. --~~~~ (type: truth; paradigms: science: attack)

Aiheeseen liittyviä tiedostoja