Laaja kansainvälinen tutkimus on nostanut esiin huolestuttavan havainnon sosiaali- ja käyttäytymistieteistä.
Yli 450 tutkijaa analysoi samat sata aiemmin julkaistua tutkimusaineistoa uudelleen, mutta päätyi usein täysin erilaisiin johtopäätöksiin. Samoihin tuloksiin alkuperäisten tutkimusten kanssa päädyttiin vain noin joka kolmannessa tapauksessa.
Tutkimuksessa tehtiin yhteensä yli 500 uudelleenanalyysia. Jokainen tutkijaryhmä sai käyttöönsä saman aineiston ja saman tutkimuskysymyksen, mutta analyysitavan sai valita itse.
Lue myös: Pahinta mitä voit tehdä terveydellesi – moni tekee ajattelematta päivittäin
Tulokset osoittivat, että tutkimuksen lopputulos voi muuttua merkittävästi riippuen siitä, millaisia menetelmiä ja tilastollisia ratkaisuja analysoija käyttää.
Aalto-yliopiston data-analyytikko Enrico Glerean kertoo, että havainto oli poikkeuksellisen merkittävä. Hänen mukaansa tutkijat päätyivät alkuperäisten tutkimusten kanssa samoihin johtopäätöksiin vain harvoin.
Tutkimus julkaistiin arvostetussa Nature-lehdessä osana laajaa SCORE-hanketta, jossa oli mukana yhteensä 865 tutkijaa eri puolilta maailmaa.
Tutkijoiden mukaan erot eivät kuitenkaan johdu osaamisen puutteesta. Myös kokeneet tutkijat ja vahvan tilastotaustan omaavat analyytikot päätyivät toisistaan poikkeaviin tuloksiin.
Erityisen epävarmoiksi osoittautuivat havaintoaineistoihin perustuvat tutkimukset, kun taas kokeelliset tutkimukset näyttivät kestävän paremmin erilaisia analyysitapoja.
Tutkimuksen tekeminen sisältää valtavan määrän valintoja. Tutkijan on päätettävä muun muassa, miten aineisto puhdistetaan, mitä muuttujia käytetään ja millaisia tilastollisia malleja sovelletaan.
Lue myös: Asiantuntijat paljastivat 12 yleisintä laihdutusmokaa – näihin on helppo sortua
Vaikka kaikki ratkaisut voivat olla perusteltuja, ne voivat silti johtaa täysin erilaisiin lopputuloksiin. Tutkimuksen tekijöiden mukaan yksi ratkaisu voisi olla niin sanottu monen tutkijan analyysi, jossa sama aineisto analysoidaan useiden eri tutkimusryhmien toimesta.
Tutkijat nostavat esiin myös tekoälyn riskit. Generatiiviset tekoälymallit perustuvat valtavaan määrään vanhaa tutkimustietoa, jonka joukossa voi olla myös virheellisiä tai myöhemmin kyseenalaistettuja tuloksia.
Glereanin mukaan tiede pystyy korjaamaan itseään nopeammin kuin tekoälymallit, minkä vuoksi ihmistutkijoita tarvitaan edelleen arvioimaan, mikä selitys ilmiöille on kaikkein uskottavin.