Presvedčiť algoritmy pomocou AI Nudge

Kontrola faktov môže obmedziť šírenie nespoľahlivých správ. Môže tiež robiť protiklady.

(tento príspevok sa pôvodne objavil na civilservant.io)

Čitatelia časopisu r / worldnews o reddite často hlásia bulvárne správy moderátorom dobrovoľníkov a žiadajú ich, aby zakázali bulvár pre svoje senzačné články. Tieto ozdobené príbehy upútajú pozornosť ľudí, priťahujú kontroverziu a upozorňujú ich algoritmy hodnotenia reddit, ktoré ich ďalej rozširujú.

Zakázaním bulvárnych správ by sa táto spätná väzba mohla skončiť, moderátori komunity sú však proti všeobecným zákazom. Na vyriešenie tejto hádanky museli moderátori odpovedať na otázku v centre diskusií o tzv. „Falošných správach“: ako môžeme zachovať slobodu prispievateľov a zároveň ovplyvniť vzájomné správanie ľudí a algoritmy pre dobro komunity?

Túto zimu moderátori spolupracovali so spoločnosťou CivilServant, aby otestovali nápad: Aké sú účinky povzbudenia kontroly faktov v reakcii na nespoľahlivé správy? Chceli sme vidieť, ako bude r / worldnews komunita reagovať. Pozorovali sme tiež vplyv na rebríček redditov. Ak algoritmy reddit interpretujú kontrolu faktov ako popularitu, nespoľahlivé články sa môžu rozšíriť ešte ďalej.

Bulvárne správy sú zhruba 2,3% zo všetkých príspevkov do tejto 15 miliónov predplatiteľskej komunity, ktorá diskutuje o novinkách mimo USA. V novinách 70 moderátorov kontroluje približne 450 článkov denne a umožňuje zostať 68% týchto článkov. Pretože ide o predvolený subreddit, väčšina reddit čitateľov dostáva prostredníctvom tejto komunity svetové správy. Aj keď je dosah komunity obmedzovaný Facebookom, r / worldnews môže byť najväčšou samostatnou skupinou na diskusiu o svetových správach kdekoľvek na anglicky hovoriacom internete. Aj malé účinky v tejto komunite môžu mať veľký vplyv na to, ako milióny ľudí dávajú zmysel potenciálne nespoľahlivým informáciám o svete.

V našej štúdii od 27. novembra do 20. januára sme A / B testovali správy povzbudzujúce komunitu, aby si overili fakt a hlasovali o bulvárnych správach. Zistili sme, že:

Účinok podpory kontroly faktov na správanie v komunite

V rámci diskusií o predložení bulvárnych noviniek na tému r / worldnews povzbudenie kontroly faktov zvyšuje v priemere dvakrát výskyt pripomienok s odkazmi a podpora kontroly faktov + hlasovania má podobný účinok.

Účinok podpory kontroly faktov na Redditove algoritmy

Pri pozorovaní trvajúcom viac ako 24 hodín sme tiež zistili, že lepkavé komentáre podporujúce kontrolu faktov v priemere spôsobili 2x zníženie redditového skóre predložení bulvárne, čo je štatisticky významný účinok, ktorý pravdepodobne ovplyvnil poradie v subreddite. Keď sme tiež povzbudili čitateľov, aby hlasovali, tento účinok zmizol.

AI Nudges: Presvedčovanie algoritmov pri zachovaní slobody

Naše otázky týkajúce sa bulvárnych správ pridali k klasickej otázke riadenia algoritmický rozmer: ako môžu ľudia s mocnosťou pracovať smerom k spoločnému dobru a zároveň minimalizovať obmedzenia osobnej slobody?

môžeme presvedčiť algoritmy, aby sa správali odlišne tým, že ľudí presvedčíme, aby sa správali inak.

Na celom internete sa ľudia učia žiť so systémami AI, ktoré nemôžu ovládať. Napríklad vodiči Uberu vylepšujú svoju jazdu, aby optimalizovali svoj príjem. Naše kolektívne správanie už ovplyvňuje systémy AI stále, ale verejnosti zatiaľ chýbajú informácie o tom, aký je tento vplyv. Tieto nepriehľadné výsledky môžu byť problémom, keď algoritmy vykonávajú kľúčové úlohy v spoločnosti, napríklad zdravie, bezpečnosť a spravodlivosť. Na vyriešenie tohto problému niektorí vedci navrhujú systémy „spoločnosti v cykle“ [4]. Iné vyvíjajú metódy na auditovanie algoritmov [5] [6]. Ani jeden z týchto prístupov však neumožňuje riadiť každodenné správanie systémov, ktorých kód nemôžeme kontrolovať. Naša štúdia s r / worldnews ponúka tretí smer; môžeme presvedčiť algoritmy, aby sa správali odlišne tým, že ľudí presvedčíme, aby sa správali inak.

Niektorí ľudia sa môžu pýtať, či tento experiment predstavuje manipuláciu s hlasovaním, čo je v rozpore s pravidlami reddit. Naše lístky s poznámkami neporušujú žiadne z redditových pravidiel týkajúcich sa osobného zisku (nevytvorili sme ani falošné účty, nepovedali sme ľuďom, ako voliť alebo organizovať blok hlasovania). Ukázali sme však, že povzbudenie ľudí k faktickej kontrole malo systematický vplyv na algoritmy redditu.

Myšlienka „AI nudges“ nám dáva spôsob, ako uvažovať o prosociálnom úsilí ovplyvniť správanie ľudí a strojov pri zachovaní osobnej slobody. Richard Thaler a Cass Sunstein prvýkrát navrhli „štrajk“ ako spôsob, ako môžu inštitúcie uplatniť svoju moc pri zachovaní osobnej slobody [7]. V porovnaní so zákazom bulvárnych správ je štrajk AI o podpore kontroly faktov tou najľahšou akciou, ktorú môžu moderátori vykonať. Schopnosť nikoho zdieľať správy, komentáre alebo hlasovanie nebola odobratá, ale štrajk AI stále tlmí šírenie nespoľahlivých správ.

Ako zdôrazňujú Sunstein a Thaler, nie je vždy zrejmé, či tieto zásahy ľahkým dotykom budú mať želaný výsledok. Preto by sme mali systematicky testovať ich účinky, najmä preto, že netestované systémy môžu mať neočakávané výsledky.

Správa a etika AI Nudges

Akty od vlád a sociálne experimenty prostredníctvom online platforiem často priťahujú podobné kritiky. Myslím si, že ľudia majú pravdu, keď očakávajú zodpovednosť od tých, ktorí vykonávajú nudnú silu. Prácou s dobrovoľníckymi moderátormi som bol schopný pracovať s vyššou úrovňou transparentnosti a zodpovednosti, ako je typické pre sociálne počítače. Všetky štúdie CivilServant sú navrhnuté spolu s tímami moderovania a všetky výsledky sú zverejnené ako prvé v komunite v subreddit debriefing. Naše študijné návrhy sú verejne uvedené na zozname Open Science Framework predtým, ako začneme, a všetok náš kód je otvorený zdroj. Úplné podrobnosti analýzy sú tiež verejné, takže ktokoľvek môže skontrolovať naše závery. Jediná vec, ktorú držíme, sú skutočné údaje, pretože rešpektujeme súkromie všetkých zúčastnených.

Celkovo dúfam, že AI naráža, najmä ak je vedený samotnými komunitami, ponúka vzrušujúce usmernenie pre verejnosť pri riadení úlohy algoritmov v spoločnosti a zároveň zachováva slobodu jednotlivca.

Ako štúdia fungovala

Pri tomto teste moderátori začali zoznamom spravodajských zdrojov, ktoré často dostávajú sťažnosti. Od 27. novembra do 20. januára sme náhodne priradili každý nový bulvárny odkaz k jednej z troch podmienok: (a) žiadny lepkavý komentár, (b) lepkavý komentár podporujúci skepticizmus, (c) lepkavý komentár podporujúci skepticizmus + hlasovanie (všetky podrobnosti nájdete tu) ).

Túto správu sme uverejnili na začiatok bulvárnych diskusií

Druhý povzbudzuje ľudí, aby skontrolovali článok a zvážili zníženie odkazu, ak nenájdu podporné dôkazy jeho tvrdení:

Táto druhá správa povzbudila ľudí, aby zvážili zníženie počtu hlasov

Môže ovplyvniť správanie pri kontrole skutočností, ako môžu algoritmy redditu vidieť nespoľahlivé správy?

Aj keď sme boli presvedčení, že čitatelia časopisu r / worldnews by pomohli, ak by sa ich moderátori opýtali, tiež sme zvedaví: ak zvýšime komentovanie bulvárnych správ, mohli by sme náhodou spôsobiť redditove algoritmy na propagáciu týchto bulvárnych odkazov?

Ak kontrola faktov zvýšila popularitu nespoľahlivých spravodajských zdrojov, komunita bude možno musieť znova premyslieť, kam vynaložiť svoje úsilie. Preto moderátori testovali druhý lepkavý komentár, ktorý povzbudzuje čitateľov, aby zvážili zníženie hlasovania.

Softvér CivilServant zhromažďoval údaje o skóre príspevkov každé štyri minúty, aby sa otestoval účinok lepivých komentárov na algoritmy reddit. Platforma nezverejňuje presne to, čo sa dostane do skóre alebo presne, ako funguje jeho poradie (pýtal som sa). Dokázali sme však spoľahlivo predpovedať hodnotenie HOT stránky podhodnoteného podľa jeho veku a skóre (úplné podrobnosti nájdete tu). V zásade, ak kontrola faktov mala veľký vplyv na skóre článku, pravdepodobne to malo vplyv na hodnotenie článku v priebehu času na titulnej stránke subreddit. Testoval som to dvoma spôsobmi: porovnaním skóre po 24 hodinách a modelovaním zmien skóre v priebehu času.

Po 24 hodinách som použil negatívny binomický model na testovanie účinku na skóre. Keď algoritmy reddit stáli počas nášho experimentu, povzbudenie kontroly faktov spôsobilo, že príspevky za bulvárny systém dostali 49,1% (2,04x nižšie) skóre podaní bez lepkavých komentárov, priemerne za 24 hodín v priemere za 24 hodín. Účinok je štatisticky významný. V tomto modeli sa mi nepodarilo nájsť efekt lepkavých poznámok, ktoré by čitateľov motivovali, aby zvážili zníženie hlasovania.

Tiež som testoval vplyv kontroly faktov na rýchlosť rastu skóre príspevku v priebehu času. Aby som si mohol položiť túto otázku, na každé 4 minúty zapisujem náhodne zachytený lineárny regresný model do logom transformovaného skóre pre príspevok. Zistil som, že povzbudzujúca kontrola faktov spôsobuje, že miera rastu skóre je nižšia. Tu som zistil, že povzbudzujúce hlasovanie má v priemere malý pozitívny vplyv na mieru rastu skóre v čase. Keďže sme experiment vykonávali počas zmeny algoritmov reddit začiatkom decembra 2016, zistil som tiež, že účinok týchto lepkavých komentárov na algoritmy reddit sa mohol zmeniť po úprave algoritmov reddit (podrobnosti).

Kto pomohol skontrolovať články v novinách?

Z 930 komentárov bez odkazu s odkazmi, ktoré mohli moderátori zostať, prispelo 737 používateľských účtov odkazmi na ďalšie dôkazy. Z toho 133 účtov uviedlo viac ako jeden komentár s odkazmi. Mnoho ľudí si overilo svoje podania a predkladatelia uverejnili 81 pripomienok k ďalším informáciám.

Čo z tejto štúdie nevieme?

Tento test sa zameriava skôr na výsledky diskusií ako na jednotlivé účty, takže nevieme, či boli jednotliví ľudia presvedčení, že sú skeptickejší, alebo či lepkavé komentáre spôsobili vyšetrovanie a zdieľanie už skeptických ľudí. Nemám tiež žiadne dôkazy o vplyve kontroly faktov na čitateľov, hoci iné výskumy naznačujú, že kontrola faktov ovplyvňuje vieru čitateľov [2] [3].

Táto štúdia nám nemôže povedať veľa o tom, prečo vidíme tak veľkú zmenu v algoritmických účinkoch, keď správu upravíme tak, že povzbudíme čitateľov, aby zvážili zníženie počtu hlasov. Tento rozdiel môže byť príkladom toho, čo psychológovia nazývajú „reaktanciou“, odporom k návrhom autority. Alebo ak sa predkladatelia správ obávajú, že by sa ich odkazy mohli zoslabiť, môžu požiadať o pomoc, ktorá vyvažuje správanie čitateľov.

Fungovalo by to s inými druhmi odkazov, na iných podstránkach alebo na iných stránkach? Táto štúdia je obmedzená na konkrétnu komunitu a zoznam lokalít. Aj keď mám podozrenie, že veľa veľkých online komunít čitateľov by pomohlo prepojením na kontrolu faktov, ak by sa ich moderátori pýtali, naše zistenia týkajúce sa algoritmu reddit sú omnoho viac umiestnené.

Na tieto otázky by sme mohli odpovedať, ak by sa ďalšie čiastkové účty rozhodli vyskúšať podobné experimenty. Ak máte záujem, kontaktujte ma na reddit a diskutujte o spustení podobného experimentu a zaregistrujte sa na odber e-mailových aktualizácií.

Viac informácií o tomto experimente

Moje doktorandské štúdium zahŕňa podporu komunít pri testovaní účinkov ich moderných praktík. Tento experiment som navrhol spolu s moderátormi r / worldnews a bol schválený Výborom MIT pre použitie ľudí ako experimentálnych subjektov. Ak máte akékoľvek otázky alebo pripomienky, kontaktujte prosím domorodcov na redditmail.

Tento experiment, rovnako ako celý doterajší výskum redditu, sa uskutočňoval nezávisle od platformy reddit, ktorá nemala žiadnu úlohu pri plánovaní ani návrhu experimentu. Experiment ešte nebol recenzovaný. Všetky výsledky z programu CivilServant sa zverejnia späť zainteresovaným komunitám, len čo budú výsledky pripravené, a akademické publikácie prídu neskôr.

Všetky podrobnosti experimentu boli zverejnené vopred v pláne pred analýzou na osf.io/hmq5m/. Ak vás zaujímajú štatistiky, zverejnil som všetky podrobnosti analýzy.

Referencie

[1] Salganik, M.J. a Watts, D.J (2008). Vedenie stádovej cesty: Experimentálna štúdia sebarealistických proroctiev na trhu s umelými kultúrami. Štvrťročná sociálna psychológia, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz a John Cook. Dezinformácie a ich korekcia Pokračujúci vplyv a úspešné znehodnotenie. Psychologická veda vo verejnom záujme, 13 (3): 106–131, december 2012.

[3] Thomas Wood a Ethan Porter. Nepolapiteľný efekt spätného požiaru: Neustále faktické dodržiavanie hromadných postojov. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, august 2016.

[4] Rahwan, Iyad (2016) Spoločnosť in-the-Loop: Programovanie algoritmickej sociálnej zmluvy. stredná

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios a Cedric Langbort. 2014. Audítorské algoritmy: výskumné metódy zisťovania diskriminácie na internetových platformách. Dáta a diskriminácia: Konverzia kritických záujmov na produktívne vyšetrovanie, výročná schôdza Asociácie pre medzinárodnú komunikáciu, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmická transparentnosť v médiách. Digitálna žurnalistika, 1–20.

[7] Thaler, R. H. a Sunstein, C. R. (2003). Libertariánsky paternalizmus. The American Economic Review, 93 (2), 175–179.