Ne egyél halat, mert bőrrákot okoz, szakdolgozatok 70 emberrel végzett kutatással, az éjszakai baglyok korábban halnak, mint a koránkelők és akkor még a brit tudósokat meg sem említettük.

Ezektől általában mindig kiver bennünket a víz és talán mások sincsenek ezzel másképpen. Aczél Balázs és kutatótársai szerint csak annak a következtetésnek higgyünk, amelyet több szakértői csoport többféle módszerrel igazolt. 2020-ban az Egyesült Királyságban 9 szakértői csoportot kértek fel, hogy számítsák ki a COVID-19 fertőzések R reprodukciós számát. Míg a szakértői csapatok 1 alatti értéket, azaz a fertőzésszám csökkenését prognosztizálták, mások 1 fölötti értéket, azaz a vírus gyorsuló terjedését jósolták. Az összevetésből a szakemberek megállapították, hogy a járvány folytatódik, még ha gyorsulásának mértéke bizonytalan is. A többelemzős projekt ugyanakkor azt is megmutatta, hogy egyetlen elemzés nem feltétlenül elegendő bizonyíték egy megállapítás közzétételéhez.

Hasonló eredményre jutottak abban a projektben is, ahol 70 szakértői csoport használta ugyanazokat a funkcionális mágneses rezonancia képalkotási adatokat az agyi aktivitásra vonatkozó hipotézisek tesztelésére. Az elemzések körülbelül 20 százaléka jutott ellentétes következtetésre a többiekével. A legbizonytalanabb eredményeket hozó három hipotézis esetében a csoportok közel egyharmada számolt be statisztikailag szignifikáns eredményről. Ez azt jelenti, hogy bármelyik csoport munkájának egyedüli publikálása esetén az eredmény bizonytalansága rejtve maradt volna.

Mikor tekinthetünk tudományosan megalapozottnak egy statisztikai elemzést? 

Eric-Jan Wagenmakers, Alexandra Sarafoglou és Aczél Balázs szerint a következtetések megbízhatóságának felmérése érdekében a kutatóknak független csoportokban többszörös elemzésnek kellene alávetniük adataikat, mielőtt azokat közzéteszik. Már csak azért is, mert napjainkban számos statisztikai eljárás van érvényben. Ez arra csábíthatja a kutatókat, hogy azt a módszert válasszák ki, amelyik számukra a legmegfelelőbb következtetéshez vezet. A P-hacking vagy Data-dredging (adatkotrás) révén vissza is lehet élni az adatelemzéssel. Ilyenkor kevéssé lényeges elemeket statisztikailag szignifikánsnak mutatnak, és ily módon jutnak hamis pozitív eredményhez.

A tudományosság egyik fontos kritériuma ma is a cáfolhatóság. Vagyis minden elemzés, minden publikáció nyomán születhet egy másik, amelyben konkurens kutatói teamek a vizsgálatokat és az elemzéseket megismételve akár meg is cáfolhatják elődeik következtetéseit. A szerzők szerint ez az utólagos kontroll nem mindig elegendő. A cáfolat gyakorta túl későn érkezik, és az eredeti eredményhez képest gyakran kisebb nyilvánosságot kap. Vagyis akár téves következtetések is hosszú ideig tarthatják magukat a tudományos közvélemény köreiben.

Ugyanakkor ma is több, nagy számosságú adattal dolgozó szakterületen, így a nagyenergiás részecskefizikában vagy a klímamodelleknél is bevett gyakorlatnak számít a statisztikai modellek tudatos tesztelése, az egyes változók szerepének alapos vizsgálata. Ezek a tudományterületek példaként szolgálhatnak további, hagyományaikat tekintve kevésbé adatorientált szakágak számára is.

„Bár a bizonytalanság zavaró lehet, még mindig jobb, mintha becsukjuk a szemünket a tények előtt – mondja Aczél Balázs. – Ha a következtetéseket csak az elemzések egy része támasztja alá, az olvasóknak erre fel kell hívni a figyelmét. Jó, ha tudjuk, hogy egyetlen elemzés viszonylag szűk spektrumban kezeli a tényeket, és egyáltalán nem biztos, hogy minden részletet tisztán lát.”

Az elképzelést máris sokan támogatják, Aczél Balázsék többelemzős projektjeik során 2 hét alatt több mint 700 feliratkozást kaptak.

A szerzők amellett érvelnek, hogy a többelemzős megközelítés bevezetése hozzájárulna a tudomány iránti közbizalom erősödéséhez. Különösen azokban az esetekben, amikor a kutatási eredmények közvetlen hatással vannak a társadalomra. Enélkül ugyanis fennáll a veszélye annak, hogy a Mátrix című film főszereplőjének sorsára jutunk: Neo a kék pirulát választja, hogy azt hihesse, amit hinni szeretne, s ne kelljen szembesülnie a valósággal.