Keskustelu:Laadunvarmistus VN-TEAS-toiminnassa

VN-TEAS-laadunvarmistusaamukahvit 31.8.2016

Ministeriöiden aamukahvitilaisuudessa klo 8.30-10.00 käsiteltiin Jussi Simpuran tuottamaa ehdotusta VN-TEAS-toiminnan laadunvarmistukseen. Tässä on keskustelun tiivistelmä.

• TEAS-toiminnassa ei saa tinkiä tutkimuksen laadusta, vaan on noudatettava hyviä tutkimuskäytäntöjä silloinkin, kun ei tehdä varsinaista tutkimusta vaan esim. selvitystä kirjallisuuden pohjalta tai kun toimijat eivät ole tutkijoita.
• Hankkeen tutkimuskysymysten on oltava selkeitä ja kirkkaana mielessä kaikilla jo hankkeen alkaessa. On vastuuministeriön tehtävä määritellä kysymykset. Tutkimuskysymyksistä on hyvä käydä avointa keskustelua jo ennen haun avautumista.
• Hankkeiden tulee pyrkiä antamaan sekä tutkimukseen perustuvia tuloksia että näkemykseen perustuvia suosituksia. Viestien on oltava selkeitä, ja on oltava myös selkeää mikä on tulos ja mikä suositus.
• Hankkeen ja ohjausryhmän on syytä käydä jatkuvaa ja tiivistä keskustelua keskenään, jotta tiedetään hankkeen sijainti ja suunta ja hanketta saadaan edistettyä hyvässä hengessä ja yhteisymmärryksessä. Jos matkan varrella tulee tarvetta korjata kurssia, tähän ei ole estettä kunhan hanke ja ohjausryhmä ovat asiasta yksimielisiä.
• Ohjausryhmällä on erityinen rooli tutkimuskysymysten kirkkaana pitämisessä, työn laadun varmistamisessa ja sen valvomisessa, että hanke vastaa haluttuihin kysymyksiin. Ohjausryhmän puheenjohtajalla on tässä tärkeä vastuu, ja hän tarvitsee asiantuntemusta substanssista, tutkimusmenetelmistä ja hankkeiden ohjaamisesta. Ohjausryhmällä on oltava rohkeutta käyttää vaikutusvaltaa ja viime kädessä rahoituksen peruuttamista; objektiivisia kriteereitä tähän ei ole luvassa. Kuitenkaan ohjausryhmä ei saa puuttua siihen, mitä tulokset tai suositukset ovat vaan vain niiden laatuun ja relevanssiin.
• Hyödyllisiä työkaluja ovat hanketyypittelyt (jo hakukuulutuksessa kerrotaan, halutaanko kirjallisuuskatsaus, kokeilu vai jotain muuta) ja tarkistuslistat (esim. hyvän hankkeen kolmenlaiset laatukriteerit: tutkimuksellinen laatu, käyttökelpoisuus ja prosessilaatu). Näiden käyttöä tulee opettaa sekä ohjausryhmille että hanketoimijoille.
• Hankkeiden tuottaman sisällön kritisoitavuus on tärkeää. On siis pyrittävä varmistamaan, että mahdollinen kritiikki voi nousta esille ja että siihen vastataan mahdollisimmn aikaisin ja tieteellisin perustein.

Otakantaa-kysely

Jussi Simpuran blogin perusteella tuotettiin otakantaa-sivuille keskustelu ja kysely kesällä 2016. Kyselyn tulokset on esitetty tässä. Vastaajia oli vain kuusi, mutta vastaajat olivat pääasiassa yhtä mieltä asioista ja yleensä ottaen pitivät blogin ehdotuksia hyvinä.

Alla on lueteltu kysymykset, joita kysyttiin otakantaa-sivulla VN-TEAS-laadunvarmistusta koskevassa kyselyssä. Sen jälkeen on kaksi lukusarjaa, jossa on peräjälkeen lukumäärät (kokonaismäärä 6 mutta useimpiin kysymyksiin vain viisi vastasi) eri vaihtoehdoille. Vaihtoehdot olivat:

Ensimmäinen lukusarja:

• täysin samaa mieltä
• osittain samaa mieltä
• en samaa enkä eri mieltä
• osittain eri mieltä
• täysin eri mieltä

Toinen lukusarja: Asia on

• tärkeä
• tavanomainen
• vähäpätöinen

Kysymykset

• Selvitystehtävän muotoilussa vaaditaan osaamista, ja aiheista pitäisi käydä avointa keskustelua jo ennen hakua. 14000 / 410
• Toimijoilta on edellytettävä sitoutumista hyviin tieteellisiin käytäntöihin. 50000 / 410
• Tutkimusmenetelmät ja -oletukset on julkaistava. 40100 / 320
• Tulokset on julkaistava, ja niiden tulkinnasta on voitava käydä avointa keskustelua tieteen säännöillä tähän varatulla keskustelualueella. 31000 / 140
• Myös tutkimusaineistot on saatettava julkisesti saataville. 32000 / 320
• Muiden Pohjoismaiden virallisista selvityksistä ja komiteoista pitäisi ottaa oppia. 14000 / 050
• Hankkeen toteuttajan on sitouduttava laadukkaaseen työhön ja yhteistyöhön hankkeen tilaajan kanssa. 50000 / 410
• Selvityksiin on liitettävä laatuseloste ja velvollisuus osallistua tulosten julkistamiseen ja virheellisten tulkintojen oikomiseen. 11210 / 140
• Kankeutta laadunvarmistuksessa on vältettävä. Se onnistuu avoimuudella, kritiikin huomioimisella ja sisäisellä laadunvarmistuksella. 41000 / 320

Vapaa sana liittyen aiempiin kysymyksiin

Vastaukset:

• Laatuseloste ja laadun varmistus tärkeitä asioita. Mutta pahimmillaan tämä vaan lisää byrokratiaa. Nyt jo prosessi aika raskas. Paljon melko pieniä hankkeita. En siis ihan tältä istumalta kannata erillistä selostetta. Vastuuministeriöiden/ohjausryhmien vastuuta ohjauksessa tulisi korostaa. Heidän vahdittava myös laatua työn aikana. Avoin keskustelu ennen hakua hyvä idea!
• Tiivis vuorovaikutus tiedon tuottajien ja hyödyntäjien välillä on olennaista koko prosessin ajan. Loppuraportissa pitäisi välttää liian tieteellistä ilmaisua, jotta sisältö avautuu päätöksentekijälle. Käytetyt menetelmät ja aineistot sekä niihin liittyvät epävarmuustekijät pitää kertoa sanallisesti.

Ehdotuksen kokonaisuuteen liittyviä kysymyksiä

Onko ehdotettujen käytäntöjen kokonaisuus kattava? Mitä siihen pitäisi lisätä?

Vastaukset:

• Kts aiempi vastaus

Onko ehdotettujen käytäntöjen joukossa jotain turhaa tai haitallista? Mitä pitäisi jättää pois? Millä korvaavilla käytännöillä voidaan saavuttaa sama tavoite?

Vastaukset:

• Kts aiempi vastaus

Miten VN-TEAS-toiminta pitäisi kytkeä muuhun tieteelliseen tiedontuotantoon? Miten VN-TEAS-toiminnan laadunvarmistus voisi hyödyntää Akatemian STN-toimintaa, tutkimuslaitosten ja yliopistojen toimintaa, tai muuta tutkimusta?

Vastaukset:

• Kaikessa tieteellisessä tiedontuotannossa pitäisi noudattaa samoja käytäntöjä.

Mikä on oma roolisi? Valitse sinua parhaiten kuvaava vaihtoehto

• Virkamies 4 / 6
• Päättäjä 0 / 6
• Tutkija tai asiantuntija 1 / 6
• Yrityselämän, kansalaisjärjestön tai muun sidosryhmän edustaja 0 / 6
• Kansalainen 0 / 6

Otakantaa-keskustelu

Miten VN-TEAS-toiminnan ja tulosten laatu pitäisi varmistaa?

Alkajaisiksi sinun kannattaa lukea Jussi Simpuran blogi, jossa esitellään joitakin perusratkaisuja. Osallistu sitten keskusteluun yksityiskohtaisemmista väitteistä. Voit myös lukea keskustelun yhteenvetoa Opasnetistä. Tämä keskustelu on osa valtioneuvoston kanslian työtä laadunvarmistuksen kehittämiseksi.

• Selvitystehtävän muotoilussa tarvitaan Valtioneuvoston valtioneuvoston kanslian ja ministeriöiden tilaajaosaamista. Onko selvitettävä kysymys muotoiltu niin, että se ylipäätään on tutkimusperusteisesti tarkasteltavissa? Sisältääkö kysymys jo itsessään toivotun vastauksen vai mahdollistaako toimeksianto eri lähestymistapojen ja vaihtoehtojen avoimen tarkastelemisen? Uskottavuus saattaisi parantua, jos selvitystoimeksiantojen aiheista ja tavoitteista voitaisiin käydä avointa keskustelua esimerkiksi ennen rahanhakukuulutuksen julkistamista. Tiedon käyttötarkoituksen ja tavoitteiden tarkempi kuvaaminen auttaisi hanketta vastaamaan selvitettävään kysymykseen tarkemmin ja auttaisi myös sisällön laadun arvioinnissa hankkeen aikana ja jälkeen.
• TEAS-selvityksissä on tekijöinä erilaisia asiantuntevia tahoja: tutkimuslaitoksia, yliopistoja, konsulttiyrityksiä ja ajatuspajoja. Voidaan edellyttää, että nämä tahot ovat tietoisia tutkimusluontoisen toiminnan yleisistä periaatteista (esimerkiksi hyvästä tieteellisestä käytännöstä, HTK) ja noudattavat niitä.
  • Edellyttämisen lisäksi on huomioitava, että kyseessä on myös kaupallinen palvelutilaus ja tilaajalla voi olla hyväksymiskriteerejä jotka on täytyttävä ennenkuin työ katsotaan toimitetuksi ja lasku maksetaan. Vaikka tieteellisistä käytännöistä käytäisiinkin keskustelua myöhemmin, tilaajan tulee vaatia työltä tieteellisen kirjoittamisen perusasioita kuten lähteiden kattavaa merkitsemistä sekä tutkimusmenetelmien riittävää kuvaamista ennen johtopäätösten esittämistä. Plagioinnin tunnistaminenkaan ei ole nykyään valitettavasti liiallinen vaatimus, ehkä Turnitin -tyyppinen palvelu voisi olla osa prosessia?
  • Tiedoksi muille: Turnitin on palvelu, joka antaa kirjoittajalle välitöntä palautetta, kirjoittamisohjeita ja myös tarkistaa sisältöä plagiarismin varalta. http://turnitin.com/en_us/
• Peruslähtökohta on sama kuin kaikissa tietotuotteissa, nimittäin kritisoitavuus. Laadukas selvitys kertoo, miten selvitystehtävää on tulkittu ja täsmennetty, mitä on tehty ja mistä lähtökohdista, millaisin oletuksin ja tavoittein, mitä aineistoja ja menetelmiä käyttäen ja millaista päättelytapaa noudattaen. Näin selvityksen käyttäjällä on mahdollisuus tulosten ja johtopäätösten perusteltuun arvioon ja kritiikkiin
• Tulosten on oltava julkisia, ja niiden tulkinnasta on voitava käydä avointa keskustelua. Tutkimusmaailmassa tulosten tuottajalla on oikeus ja myös velvollisuus julkistaa tuloksensa avoimesti. Miten voitaisiin toimia niin, että mahdollisuus avoimeen julkiseen keskusteluun tuloksista säilyy eikä synny epäilystä tulkintojen rajoittamisesta? Avoin julkinen keskustelu tarkoittaa myös selvitysten tekijöiden mahdollisuutta – ja velvollisuutta – osallistua keskusteluun ja vastata kritiikkiin. VN-TEAS-järjestelmään voisi liittää keskustelualueen, jonne tällainen keskustelu ohjattaisiin, jonka sisältöä moderoitaisiin tieteen periaatteiden mukaisesti ja jonka tunnistamat virheet korjattaisiin tulosraportteihin.
• Selvitysten pätevyyden arvioinnissa olisi avuksi, jos niissä käytetyt aineistot olisivat julkisesti saatavissa. Tämän tyyppinen avoimen datan jakamisen (data sharing) vaatimus on tutkimusmaailmassa voimistumassa, ja sitä voitaisiin soveltaa myös selvitystoiminnassa. Silloin selvitystoiminta olisi tukemassa Suomen avoimen datan pyrkimyksiä.
• Päätöksenteon valmistelumenettelyt ovat esimerkiksi Pohjoismaissa kehittyneet hieman eri suuntiin: Ruotsissa ja Norjassakin on kehitetty Suomen aikaisempaa komitealaitostoimintaa muistuttavia käytäntöjä (viralliset selvitykset, officiella utredningar: Ruotsin SOU, Norjan NOU), Tanskassa käytetään paljon hallituksen asettamia työryhmiä. Mutta kaikissa näissäkin on aina mukana tutkimusluontoista tietopohjaa ja ajoittain myös kiistelyä tietopohjan laadusta.

Suomen TEAS-järjestelmä on itsessään jo merkittävä yritys päätöksenteon tietopohjan laadun parantamiseksi. Sen jälkeen on eri kysymys, miten vastuulliset päätöksenteon valmistelijat ja päättäjät tietopohjaa käyttävät. Edellä mainitut Pohjoismaiden järjestelmät etenevät pidemmälle päätöksenteon valmistelun suuntaan kuin mihin Suomen TEAS-selvityksillä pyritään. Tämä samalla tarkoittaa, että tieteellinen laadunvarmistus muissa Pohjoismaissa kattaa suuremman osan päätösvalmistelusta kuin Suomessa, vaikka tätäkään ei pidä liioitella. Muissakin maissa on huolta siitä, että päätöksenteko ei perustu tutkittuun tietoon, vaan sen merkitys on ollut vähenemässä. Kokemus kertoo, että kyllä mehukas luulo kuivakkaan tiedon helposti voittaa.

• Hankkeiden hakuvaiheessa ja toteutuksessa on korostettava erityisen voimakkaasti sitoutumista hyvän tieteellisen käytännön noudattamiseen. Tästä vastaavat sekä hankkeen tilaaja että hankkeen toteutuspaikan ja toteuttajatahojen vastuullinen ylempi johto. Jälkimmäisten vastuulla on myös huolehtia siitä, että hankkeessa on riittävä keskusteluyhteys sekä hanketyöryhmän sisällä että myös hankkeen tutkijoiden ja heidän työskentely-ympäristöjensä johdon ja kollegoiden välillä.
• Sisäisiin toimiin voisi kuulua myös erillisen laatuselosteen laatiminen TEAS-selvityksiin. Tällaiset selosteet ovat rutiinitoimintaa esimerkiksi tilastotuotannossa. Käytännössä myös varsinainen tutkimusraportointi edellyttää laatuun vaikuttavien seikkojen sisällyttämistä tutkimusjulkaisuissa. Tilastoalalta voisi lainata myös toisen hyvän käytännön: TEAS-selvitysten tekijöillä pitäisi olla selkeästi todettu oikeus ja velvollisuus tulostensa julkistamiseen ja niistä tiedottamiseen sekä mielestään virheellisten tulostulkintojen korjaamiseen julkisuudessa.
• Huonoimmillaan laadunvarmistuksen kehittäminen voi johtaa raskassoutuiseen, viivytyksiä tuottavaan byrokratiaan. Se voi myös lisätä mahdollisuuksia jonkinlaiseen sensuuriin laadunvarmistuksen nimissä. Ehkä voitaisiin myös kuvitella, että liian mekanistiset laadunvarmistuspyrkimykset voivat lisäksi johtaa ristiriitoihin hyvän tieteellisen käytännön kanssa. Kaikki nämä huonot kehityssuunnat ovat varmasti ehkäistävissä, mutta se vaatii kaikilta osapuolilta avoimuutta laadunvarmistuspyrkimyksissä. Palataan siis lähtöruutuun: TEAS-selvitystoiminnan uskottavuus syntyy avoimuudesta, kritisoitavuudesta, kritiikin huomioimisesta ja sisäisestä laadunvarmistuksesta, joita voidaan kehittää rinnakkain.