A tudományos folyóiratokban, a magazinokban és az interneten nap mint nap olvashatunk új pszichológiai felfedezésekről.

Ezek megbízhatóságát azonban olykor befolyásolhatják bizonyos – gyakran rutinszerű – kutatási gyakorlatok. Az úgynevezett megkérdőjelezhető gyakorlatok (Questionable Research Practices, QRP) olyan módszerek és attitűdök, amelyek aláássák a kutatások reprodukálhatóságát, így megbízhatóságát és érvényességét. Ilyenkor a kutatói hipotézis vagy cél javára torzulhatnak, a kutatási eredmények, az adatok anélkül, hogy ennek nyoma lenne az eredmények közlésekor. A probléma háttérben állhat a kutatási folyamat komplexitása, a szakemberek tájékozatlansága, a publikációs rendszer elvárásai vagy éppen olyan hibás módszerek, amelyek már bevett gyakorlattá váltak.

Nagy Tamás, az ELTE PPK adjunktusa egy nemzetközi projekt keretében azt vizsgálta, hogyan torzulhatnak a kutatási eredmények a tudományos munka során, és milyen módszerekkel tehetjük megbízhatóbbá a pszichológiai vizsgálatokat – épp a tudomány eszközeivel. A tanulmány a pszichológiai kutatásokban előforduló szabálytalan módszerek széles skáláját gyűjti össze és rendszerezi kategóriákba. A 19 kutatóból álló nemzetközi szerzőcsapat a világon elsőként azonosított 40 megkérdőjelezhető kutatói gyakorlatot. Ezzel tudatosítják a QRP-k jelenlétét és formáit a kutatók körében. Ezzel segítenek a szakértőknek és a leendő pszichológusoknak a módszerek azonosításában.

A vizsgálat szerint a tudósok több olyan módszert is alkalmazhatnak munkájuk során, amelyek miatt eredményeik fontosabbnak tűnhetnek, mint amilyenek valójában.

Az egyik ilyen hiba, amikor már az eredmények ismeretében alkotják meg a hipotéziseket, amelyeket így mindenképp igazolni tudnak. Egy másik probléma, ha csak azokat az eredményeket közlik publikációikban, amelyek alátámasztják elképzeléseiket, a többit pedig elhallgatják. Előfordulhat az is, hogy a kutatók addig tesztelik különböző módszerekkel az adatokat, amíg szignifikáns eredményre nem jutnak.

A szerzők az átláthatóbb és etikusabb kutatómunkát ösztönzik. Konkrét útmutatást nyújtanak arról, hogyan lehet megelőzni a megkérdőjelezhető módszereket. Többek között azt javasolják, hogy a tudósok precíz, a szakmai irányelveknek megfelelő módszertant alkalmazzanak. Használjanak ellenőrzőlistát, hogy egyetlen fontos lépés se maradjon ki. Hasznos és alkalmazandó eszköznek tartják az előzetes regisztrációt (a kutatási terv nyilvános regisztrálása az adatgyűjtés előtt) is, amely megakadályozza a szelektív eredményközlést. Az úgynevezett vak adatelemzés szintén segíthet az elemzési folyamat – akár tudattalan – manipulálásának elkerülésében. Ilyenkor a kutatók úgy dolgozzák fel az adatokat, hogy még nem tudják, azok honnan származnak.

Végül a QRP-k káros hatásait ellensúlyozhatja a kutatások megismétlése is. Mert, ha több, egymástól független vizsgálat ugyanazt az eredményt hozza, már biztosak lehetünk abban, hogy megbízható információval van dolgunk. A szerzők kiemelik, hogy a tudomány, még ha alkalmanként hibázik is, képes az önkorrekcióra. Aminek eklatáns példája, hogy a tudományos tévedéseket is a tudomány eszközeivel vizsgálják.