Môj zoznam prianí na vzájomné preskúmanie

Už je to asi mesiac, čo som tu uverejnil príspevok. Prečo? Čítal som namiesto písania. Preskúmal som články SIGCSE, ICSE, IEEE Transactions on Softvér Engineering Engineering, ACM Transactions on Computing Education papers. Upravoval som svoje 7 skvelých príspevkov doktorandov. Vedel som dva štipendijné štipendiá pre študentov postgraduálneho štúdia na NSF a jednu ďalšiu vysokoškolskú univerzitu. Čítal som niekoľko desiatok vynikajúcich vysokoškolských nominácií CRA.

Teraz niektorí ľudia neradi recenzujú. Náhodou sa mi to páči, najmä pri vzájomnej kontrole! Občas sa učím o nových nápadoch, pomáham svojej akademickej komunite vylepšiť jej štipendium a vyriešim veľmi špecifický druh hádanky: čo môžem povedať 500 až 1 000 slovami, ktoré premenia autorov pohľad na ich vlastnú prácu? Učiteľ vo mne zachráni šancu skúsiť odvodiť od niekoho písanie toho, čo si myslia, a potom nájde správne slová, ktoré posunú ich myslenie k mojej vlastnej výskumnej estetike. Nie vždy sa mi to darí (najmä v náročných mesiacoch, ako je tento), ale zvyčajne sa bavím.

Bohužiaľ, mnohí z výskumníkov v mojich komunitách nemajú toľko zábavy pri kontrole. A neobviňujem ich: dostávame krátke časové rady, dobrovoľnícka práca je väčšinou nevďačná (kvôli anonymite) a takmer neexistuje žiadna interakcia s autormi alebo inými recenziami, okrem vysoko asynchrónnych a vysoko neosobných diskusií o zle udržiavaných, zle navrhnutých groupware, ako je PCS alebo EasyChair (nie je to mierne proti vývojárom, ktorí ich udržiavajú: máte ťažké a vysoko podané zdroje, ktoré tieto stránky udržiavajú v prevádzke).

Po 15 rokoch preskúmania však existuje niekoľko vecí, ktoré by podľa mňa mohli ľudí skutočne potešiť, a prinútili by ma to urobiť ešte viac. Tu je môj zoznam prianí na akademické partnerské preskúmanie.

Hodnotenie na základe explicitných kritérií

Nič ma neznepokojuje viac ako krabica s textom „Napíšte recenziu“ tu. Tieto úplne neriadené postupy vzájomného preskúmania zlyhávajú dvoma spôsobmi: vedú k rôznym názorom na výskum, ale nedokážu ani novým recenzentom signalizovať, ktoré aspekty výskumu si spoločenstvo cení alebo ako ich hodnotiť. Neexistuje iba jeden druh kontroly, je nekonečný, a je to redakčná práca, ktorá má zúžiť rozsah.

Medzinárodná konferencia o softvérovom inžinierstve v tejto oblasti nedávno dosiahla určitý pokrok a pridala konkrétne kritériá, ako napríklad:

  • Tesnosť. Podporujú tvrdenia a dôkazy tvrdenia o dielach?
  • Novinka. Do akej miery táto práca rozširuje naše znalosti?
  • Zreteľnosť. Aké jasné je písanie a prezentácia diela?
  • Replikovateľnosti. Mohli by sa práce (technické, empirické alebo iné) zopakovať s určitou odbornosťou v oblasti?

Čo je na tom skvelé, je to, že znižujú mnohé formy implicitného zaujatosti v procese preskúmania a nútia recenzentov, aby riešili každú dimenziu. Použil som ich na štruktúrovanie mojich recenzií a na zabezpečenie toho, aby som bol spravodlivý k tomu, čo chce ICSE vybrať.

Teraz proces ICSE ešte stále veľa zostáva. Tieto kritériá sa nevzťahujú na všetky typy štipendií, ktoré vylučujú niektoré typy nových diel. Recenzenti majú o týchto kritériách veľmi odlišné predstavy, čo vedie k veľkému rozdielu v ich hodnoteniach. A nie sú žiadne pokyny od programových predsedov o tom, kde je „bar“: mohol by sa papier stretnúť s tromi z nich celkom dobre, ale zlyhať v novosti a stále byť uverejnený? A ten posledný sa dá ľahko opraviť: uverejnite tieto na výzve na predloženie novín, aby každý vedel, proti čomu sa súdia.

Napriek týmto obmedzeniam sa domnievam, že všetky postupy partnerského preskúmania by mali mať explicitné kritériá. Spoločenstvá by sa mali spojiť, aby remeselne vyvíjali a postupom času ich rozvíjali.

Posudzovatelia vlakov

Jedným z problémov s vyššie uvedenými kritériami je to, že rôzni recenzenti nemajú konzistentnú schopnosť posudzovať každého z nich. Prečo nie? Pretože neučíme vedcov, aby preskúmali výskum.

Vždy som zistil, že ide o najväčší rozdiel v doktorandskom vzdelávaní. Ph.D. študenti potrebujú čo najviac príležitostí na precvičovanie prieskumu podľa jednoznačných kritérií, ale len málo z nich je vyzvaných na preskúmanie, kým nie sú starší. A ak sú pozvaní na preskúmanie, konferencie a časopisy ich zriedka poskytujú.

Pamätám si, keď som prvýkrát preskúmal konferenciu. Išlo o dokument CHI pravdepodobne v rokoch 2006 alebo 2007, tesne pred ukončením doktorátu. Dostal som krabicu s textom „Napíšte sem recenziu“. Moja prvá myšlienka bola: „Čo by som mal skontrolovať? Všetko, čo? Len zdieľať môj názor? Mám veľa názorov, ste si istí, že na všetkých záleží? “Samozrejme, že na všetkom záležalo, rovnako tak aj na všetkých ostatných, a tak sa v novinách dostali veľmi rozdielne skóre, čo pravdepodobne zmiatlo iba autorov. Veľmi rôznorodé recenzie, ktoré som vždy dostal pri CHI (a stále sa robia dodnes), sú naďalej dezorientujúce.

Ako doktorát poradca, tiež nedokážem trénovať svojich študentov. Kedy učím svojich doktorandov hodnotiť prácu ostatných? Kto má prácu, aby som vyhodnotil, či je preskúmanie dôverné? Čítacie skupiny sú jedným miestom, kde to môžu robiť, ale často sa zameriavajú na čítanie najlepšej a najrelevantnejšej práce v teréne, nie na prácu, ktorá potrebuje pomoc. Najčastejšie recenzované sú príspevky, ktoré potrebujú pomoc.

Osobne si nemyslím, že je úlohou poradcu rozhodovať o kritériách, podľa ktorých sa príspevky budú recenzovať. Myslím si, že je to práca akademickej obce a že konferencie a časopisy sú miestom, kde tieto kritériá výslovne uvádzame a na ne trénujeme. Nabudúce, keď budem predsedať konferencii alebo sa stanem redaktorom denníka, budem robiť školenia pre všetkých recenzentov.

Zverejniť všetko vrátane recenzií

Keď hovorím ľuďom o tejto myšlienke, myslia si, že som blázon. Skôr ako si to myslíš, vypočuj ma.

Tu je základná myšlienka: keď predkladáme niečo na zverejnenie, mali by sme vykonávať naše bežné kontrolné procesy, ale potom zverejniť čokoľvek, čo autori chcú zverejniť, pod podmienkou, že zverejnia sa aj všetky recenzie ich práce, a sú otvorené ďalšiemu verejnému preskúmaniu autormi všetci v akademickej obci. Autori by sa tiež mohli rozhodnúť stiahnuť svoju prácu a ďalej ju vylepšovať. Budúcnosť partnerského preskúmania by mala byť otvorená, prebiehajúca a transparentná, pričom každá práca na svete by mala podliehať (moderovanej) večnej kritike. Napríklad by som mal mať možnosť vrátiť sa k svojim starším dokumentom uverejneným v digitálnej knižnici ACM a pridať komentár, v ktorom uviedol: „Tento dokument je nezmysel. Tento ďalší dokument, ktorý som uverejnil, má oveľa lepší argument. “A mal by som byť schopný urobiť to isté svojim kolegom. A každý, vrátane verejnosti, by mal mať možnosť prezerať si naše komentáre ku všetkým publikovaným dielam, čo umožňuje vedeckej komunikácii pokračovať na verejnosti.

Prečo to urobiť?

  • Po prvé, uplynula doba, kedy sa musíme obávať nákladov na tlač. Ukladací priestor je lacný a naše dokumenty sú malé.
  • Po druhé, všetko už čítame a hodnotíme. Aký má zmysel robiť všetko toto písanie a hodnotenie, iba ak nechať 75% toho, aby ho akademická obec neprečítala?
  • Po tretie, prečo je podľa nás umelá práca vrátnika hodnotná, aj keď nie je dokonalá?
  • Po štvrté, odmietnutím toľko práce odmietame myšlienky a úsilie našich komunít, čo je demoralizujúce.
  • Po štvrté, netransparentnosť vzájomného preskúmania poškodzuje názor verejnosti na vedu. Ukážte im, ako sa robí klobása.

Väčšina argumentov proti vyššie uvedenej vízii sa zmierňuje: akademici chcú popri ďalšom výskume používať aj konferenčné a časopisecké publikácie na signalizáciu zásluh. "Musíme odmietnuť dokumenty, aby mali cenné papiere hodnotu," hovoria: "V opačnom prípade, ako by sme vedeli, čo je dobré a čo zlé?" Na tomto argumente je smiešna vec, že ​​v krátkodobom a dlhodobom horizonte nemáme. " • Na publikovanie toho, čo je dobré a čo zlé, používajte výlučne publikáciu. Používame odporúčacie listy, používame najlepšie papierové ocenenia, používame 10-ročné najvplyvnejšie papierové ocenenia, pozeráme sa na citácie. Všetci vieme, že konferencie a časopisy - dokonca tie najlepšie - sú plné článkov, ktoré nie sú také skvelé, pretože naše postupy partnerského posudzovania nie sú také skvelé. Strata jedného signálu je nízka, keď už máme toľko.

Navyše by sme získali nové signály. Aký dialóg o publikovanom diele od zverejnenia vyplynul? Kto hovorí o práci? Ako o tom hovoria? Len si predstavte, ako by sa hodnotenie kandidáta na fakultu zmenilo: nejde iba o zoznam publikovaných článkov, ale o živú skupinu nití o význame a význame publikácie - alebo o tichu, ktoré hovorí niečo iné.

Ďalšie argumenty proti tejto vízii sa zameriavajú na obavy, že ľudia nebudú ďalej posudzovať, ak budú ich recenzie zverejnené. Pre mňa je to len znak toho, že verejne intelektuálov nevychovávame správne. Sú naše egá tak krehké, že niekto, kto vidí naše opodstatnené kritiky, by rozbil našu povesť? Alebo sa obávame, že naše kritiky nie sú tak dobre odôvodnené?

Je zrejmé, že by bolo veľa vymyslieť, aby takýto model fungoval. Ak existuje nejaká komunita, ktorá to dokáže, sú to počítačové a informačné vedy, najmä interakcia človek-počítač.

Šírka pásma obmedzuje našu víziu

Realizácia ktorejkoľvek z vyššie uvedených zmien si samozrejme vyžaduje čas. A keďže už dobrovoľne pracujeme, čas je obmedzený. Niektorí z nás sa musia nejaký čas venovať, najmä povolaním profesorov, ako sme my, aby sa tieto zmeny stali skutočnosťou. Ukážme zvyšku akademickej obce, aké môžu byť partnerské recenzie. Kto je so mnou?