Výskum podvodov a pochybností: Zistiť, ale nezačať

Foto: Jason Coudriet, Unsplash

Prvýkrát som počul o otázke výskumného postupu (QRP), keď som čítal o replikačnej kríze v psychológii pred pár rokmi. Až nedávno, po dlhom premyslenom rozhovore s mojimi kolegami, mi pripomenul význam vedomia o QRP vo výskume používateľských skúseností.

QRP označuje, ako výskumníci vykonávajú vylúčenie údajov na podporu svojej hypotézy. Je opísaný ako: „Medzi takéto postupy patria postupy navrhovania, analýzy alebo podávania správ, ktoré môžu zavádzať skreslené dôkazy, ktoré môžu mať škodlivé dôsledky na prax založenú na dôkazoch, vývoj teórie a vnímanie prísnosti vedy.“ Toto môže byť nové pre niektorí ľudia, ale v akademickom prostredí sa to často spomína. Viac sa dočítate tu.

Na rovnakej strane QRP je aj extrémna verzia, ktorej by sa mal každý výskumný pracovník vyhnúť. Je to výskumný podvod. To sa líši od QRP, ale QRP môže viesť k podvodom. To, čo ľudia nazývajú výskumným podvodom, je, keď výskumník falšuje, falšuje alebo vymýšľa svoje údaje. Hrozne v poriadku? Je to vedecké pochybenie.

Našiel som jeden článok, ktorý uspokojuje moju zvedavosť nad motívmi, mysľou a dôvodom ľudí, ktorí robili výskumné podvody. Vydalo ho The New York Times s názvom „Myseľ koníka“. Z písania som sa dozvedel o holandskom sociálnom psychológovi Driederik Stapel, ktorý sa dopustil výskumných podvodov. Zostavoval údaje pre svoj výskum, v článku sa uvádza, že bol jediným predmetom jeho štúdia. Namiesto toho, aby podával správy o výsledkoch výskumu, bol na „... hľadaní estetiky, krásy - namiesto pravdy“. Prekvapivé bolo aj vyhlásenie „Vždy som skontroloval - môže to byť prefíkaná manipulatívna myseľ -, že experiment bol primeraný, že z výskumu, ktorý prišiel predtým, vyplývalo, že to bol len tento ďalší krok, že všetci boli čakať na."

K QRP a výskumným podvodom dochádza, nezáleží na tom, v akom pracovnom prostredí. Počuli sme viac z akademického prostredia, ale to neznamená, že sa to zriedka stáva v podnikateľskom prostredí. Odhliadnuc od rôznych motivačných faktorov, ktoré môžu spôsobiť QRP, je jediným určujúcim faktorom výskumný pracovník. V inej publikácii spoločnosti Reuters Stapel uviedol, že „nebol som schopný vydržať tlak na body, publikovať, vždy musí byť lepší“, a že „Chcel som príliš veľa, príliš rýchlo. A v systéme, kde je málo kontroly, kde ľudia často pracujú sami, som sa vydal nesprávnou cestou. ““

Zatiaľ čo výskumníci robia výskum, rozdielne pracovné prostredie zvyšuje boj navyše: zviditeľnenie, vypočutie, presvedčivé, ovplyvňujúce či dokonca spojenie zainteresovaných strán. Medzi všetkými prácami bude vždy existovať príležitosť pre výskumných pracovníkov využívať výskum na svoj osobný prospech, a tak vykonávať pochybné výskumné postupy. Tu je niekoľko príkladov, ktoré si môžem predstaviť o tom, ako môžu výskumníci vykonávať QRP v práci:

  • Zmena hypotézy po preskúmaní zozbieraných údajov a nárokovaní predpovede je správna. Musíme si uvedomiť, že nemôžeme úplne predpovedať správanie používateľov.
  • Vylúčenie „veľkého obrazu“ z údajov výberom iba údajov alebo informácií, ktoré sa považujú za „strategické“, „príjemné“ alebo „sexy“ pre zúčastnené strany.
  • Zaviesť zistenia, ktoré nedosahujú saturáciu údajov, aby boli celým zobrazením používateľa alebo aby boli zovšeobecnené na všetkých používateľov.
  • Písanie správ bez zanechania stopy údajov o účastníkoch (výskumné dokumenty, ako napríklad: výskumný plán, výskumný skript, záznamy alebo prepisy údajov). Ignoruje dôveryhodnosť: ostatní vedci musia pochopiť logiku záverov z procesu syntézy až po písanie správ.
  • Mať vedľajší motív, ktorý môže brániť etike výskumu. Napríklad, byť unesený nadšením z vykonávania veľkého výskumu s veľkým očakávaním získania veľmi zmysluplného výskumu. Ak výsledok nezodpovedá očakávaniam, výskumník ignoruje metodológiu a výsledok nahlási tak, ako chce.

Najhoršie, čo som sa dozvedel o QRP a podvodoch vo výskume, bol rozsah účinku. Keď bol odhalený Stapleov prípad, spád ovplyvnil nielen neho, ale aj jeho študentov, vydavateľov výskumu a tvorcov politiky a ďalších výskumníkov, ktorí svoju prácu odkázali na Staplov výskum. Nehovoriac o reakcii verejnosti na nedôveru. Preto som presvedčený, že QRP v podnikovom prostredí prinesie podobný akademický vplyv podobný škodlivý účinok. Podobné, ale nie do tej miery dôsledkov, ako je stiahnutie výsledkov výskumu a zrušenie pracovného miesta.

Po prvé, v podnikaní spoločnosti sa výskumná správa používa ako referencia na návrh myšlienky produktu. Keď zdieľam svoju výskumnú správu, využijú ju iní vedci na referenciu o svojej práci. Najdôležitejšie je, že ho využijú zúčastnené strany, aby im pomohli pri rozhodovaní o určitých podmienkach. Nemusí to byť úplne zavádzajúce pre spoločnosť, pretože Stapel napísal, že to bolo niečo, čo je „dobre premyslené“ pred tým, ako sa zdieľalo. Po neúplnej správe o potrebách používateľov si však predstavte náklady, ktoré musia zaplatiť všetci ostatní. Osobne si myslím, že zostupuje na význam výskumu. Možno to môže zvýšiť vašu hrdosť, že dokážete predvídať správanie, ale nepovažujem to za zábavnú zručnosť.

Po druhé, práca so spolupracovníkmi. Vedci v súčasnosti nemajú iniciatívu ani odporúčania týkajúce sa QRP a podvodov, ktoré sú podobné prípadu v prípade krízy replikácie psychológie (pozri vyhlásenie APA o výskumných podvodoch a predregistrácii výskumu). Keby som vykonával QRP, nevedeli by ste, že som ho urobil. Najmä vtedy, keď ste nepožiadali o moju dokumentáciu, nespracovali alebo sa nesnažili vyhodiť dieru a premietnuť svoju zvedavú myseľ k tomu, čo robím. Môžem to urobiť opakovane a nezistí sa, potom sa s tým môžem dostať preč. Ale keď môj kolega vzbudí podozrenie, nastane môj dobrý vzťah so všetkými v kancelárii. Môj spolupracovník sa môže začať správať inak: pochybujem o mojej práci, neváhajte citovať moju správu alebo ju odmietnite považovať za referenciu. Aj keď som to urobil správne, nedôvera bude stále existovať. Nie je to príjemná atmosféra na prácu.

Foto chuttersnap na Unsplash

Ako vedecký pracovník máme slobodu rozhodnúť sa o smerovaní výskumu, nájsť referencie, zvoliť metódu a vzorku používateľa, ako spracovať údaje a zapísať správu. To však neznamená, že výskumný pracovník môže zanedbať zodpovednosť za vykonávanie správnej výskumnej praxe. Okrem toho má kvalitatívny výskum princípy, ktoré môžu pomôcť výskumným pracovníkom vyhodnotiť výskumnú prax: spoľahlivosť (zistenia budú konzistentné, ak sa replikuje iným výskumným pracovníkom a zabezpečí, že údaje nebudú skreslené), vnútorná platnosť (výskumný pracovník musí zabezpečiť, aby za negatívny dôkaz sa považuje záver, záver presne popisuje všetkých účastníkov a nahlási presnosť predpovede výskumného pracovníka) a externú platnosť (overenie vašich zistení teóriou a tiež výber vzoriek, ktoré zabezpečia, aby sa zistenia mohli široko uplatniť).

Vedieť o možnosti QRP je jedným zo spôsobov, ako pomôcť výskumným pracovníkom zostať na správnej ceste. Môže to fungovať dvoma spôsobmi. Po prvé, musí byť kritický pre našu prácu: snažte sa získať inú spätnú väzbu od spolupracovníkov, uvedomte si našu vlastnú predpojatosť, buďte transparentní v nespracovaných údajoch, tiež začnite vo zvyku zabezpečiť sledovateľnosť procesu a dokumentov. Po druhé, voči spolupracovníkom buďte aktívni pri hľadaní jasnosti v oblasti zberu a spracovania údajov, ako sa môžu dostať k záveru správy a buďte opatrní, keď sú údaje príliš dobré (ľahko splňte počiatočný predpoklad bez uvedenia negatívnych dôkazov). Možno to ešte nie je uvedené v politike spoločnosti týkajúcej sa výskumu, ale je to jeden zo spôsobov, ako začať zvyšovať informovanosť. Nie je trestné za podnikateľské prostredie, žiadny výskumný audítor, ktorý vás upozorní, ale odráža to vašu pracovnú etiku.

Aká by bola vaša jemná hranica medzi správnou a zlou výskumnou praxou? Je to svedomie a pravda? Alebo je to sláva a sláva? Ty rozhodni.

Tímy a jednotlivci, ktorí majú určité kritické sebavedomie a chcú sa zlepšovať každý deň, to sme tu v Bukalapaku! Zaujalo? Myslíte si, že máte talent, ale aj pokoru, aby ste prispeli k ambicióznemu a rastúcemu tímu? Pozrite si naše pracovné príležitosti!