Výzvy na výskum

Počas našej práce v spoločnosti Octavian sme narazili na celý rad problémov, na ktoré by sme radi videli viac zamerania. Tento zoznam zdieľame tu, aby sme dúfali, že nasmerujú tých, ktorí hľadajú zaujímavé problémy.

Sme radi, že môžeme pomôcť ľuďom pracujúcim na týchto problémoch a propagovať vaše riešenia prostredníctvom našich kanálov Medium a Twitter.

  • Zdôvodnenie QA na znalostných grafoch: Toto je pre nás téma, ktorá je blízko domova. Sme presvedčení, že prístup založený na RNN, ktorý zahŕňa pozornosť grafov a krivdy, by mohol byť veľmi silný a na vyriešenie tohto problému sme riešili našu vlastnú výzvu súboru údajov. Dobrým miestom na spustenie je MacGraph, naše všeobecné riešenie pre súbor údajov CLEVR-Graph.
  • Algoritmické schopnosti transformátorov: Architektúra transformátorov sa rýchlo stala de-facto sieťou na spracovanie sekvencií. Aj keď je neuveriteľne výkonný pri korelácii postupnosti ťažby a zdá sa, že z väčšej škálovateľnosti bude mať oveľa väčší úžitok, veríme, že transformátory nie sú efektívne ani dostatočné na vykonávanie mnohých typov zdôvodňovacích / algoritmických operácií, ktoré vyžaduje AGI. Pravdepodobne bude potrebné rozšíriť ich o ďalšie zariadenia. Dokážte to vytvorením prekladových párov vzorcov a algoritmov a ich výstupov, vycvičte na nich transformačný model transformátora a zistite, kedy preklady zlyhajú.
  • Ako písať do grafu: Použitie pozornosti je jednoduchý spôsob, ako čítať z grafu v neurónovej sieti, ale ako písať, nie je až také zrejmé. Vymyslieť sieť (založenú na dozore alebo posilňovacom vzdelávaní), ktorá počas vykonávania číta a zapisuje z grafu, aby dosiahla niečo užitočné. Napríklad, vezmite jednu z vyriešených úloh MacGraph a vytvorte verziu, v ktorej sú niektoré dôležité fakty grafu vložené ako vstup oddelene od grafu.
  • Lepšie skóre kvality pre GAN: Najobľúbenejšie metriky pre GAN sú založené na použití vyškolenej začiatočnej siete, ktorá pomáha merať, ako dobre sú vytvorené vygenerované obrázky. To má zásadný nedostatok: je iba taký silný ako počiatočná sieť a zdá sa, že konvolučné siete sa spoliehajú hlavne na miestne textúry. Súčasný stav GAN koordinuje detaily zle (pozri fotografiu v dodatku). Naše súčasné metriky kvality to pravdepodobne nezistia. Tento výskum má dve časti: (1) preukázať nedostatok súčasných ukazovateľov kvality, (2) navrhnúť lepšiu metriku
  • Automatické učebné osnovy: Siete na učenie algoritmov všeobecne potrebujú učebné osnovy (napr. Spočiatku ľahšie príklady školení, ktoré sa pri sieťových vlakoch postupne zhoršujú). Tieto učebné osnovy sa často vytvárajú ručne. Navrhnite schému na automatické zavádzanie učebných osnov (napr. Do DNC, kde sa naučíte triediť). Na inšpiráciu Generatívne kontradiktórne siete používajú druhú sieť, ktorá sa učí, keď sa primárna sieť učí poskytovať učebné osnovy rôznych druhov. Strata siete môže byť dobrým signálom toho, kedy môže byť tréningová zostava sťažená.
  • Jazyk ako kontrolná štruktúra na uvažovanie: Hlas vo vnútri našich hláv je rozhodujúcou súčasťou toho, ako uvažujeme a dosahujeme svoje ciele. Môžete vytvoriť model transformátora, ktorý kladie otázku, chvíľu sa rozpráva so sebou a potom poskytuje odpoveď?
  • Internetové školenie GAN: OpenAI preukázalo, že prehľadávanie internetu na zostavenie rozsiahleho súboru údajov o školeniach a potom na ňom školenie modelu Transformátora môže priniesť cenné výsledky. To isté urobte pre GAN. To má niekoľko pozoruhodných výziev: (1) Výpočtové zdroje na trénovanie dostatočne veľkého modelu na ťažbu súboru údajov, (2) Môžete vytvoriť užitočný podmienený signál pre GAN z kontextu obrázkov?
  • Veta na vedomosti Graf auto-kodér: Grafy sú skvelý spôsob, ako reprezentovať súvisiace koncepty. Grafy otvárajú mnoho spôsobov, ako prechádzať a extrahovať vedomosti. Text sa používa na vyjadrenie väčšiny ľudských vedomostí. Zostavte nejakú formu štruktúry automatického kódovania, ktorá berie množinu vstupných viet, transformuje ich do grafu a potom ich transformuje do množiny viet, ktorá má určitú úroveň rovnocennosti so vstupnou množinou. Všimnite si, že dočasný graf nemusí byť vo formáte, ktorému ľudia rozumejú (ako je bežné pri vkladaní slov, obrázkov a viet).
  • Rastúca architektúra počas tréningu: Progresívne GAN ukázali, že pridávanie neurónov v priebehu času do siete, zatiaľ čo vlaky môžu byť úspešné. Tento tréningový prístup má výhodu v tom, že staršie siete sa rýchlejšie trénujú, pretože majú menej parametrov. Tiež sa tým otvára možnosť pridávania len dostatočného množstva neurónov, kým sa nedosiahne požadovaný výkon. Umožňuje dokonca paralelné testovanie rôznych architektúr (napríklad školenie založené na populácii). Skúste použiť progresívny rastový prístup v inom prostredí (dopredná, sekvenčná, klasifikácia obrázkov) a zistite, či funguje.

Ak vás to zaujíma, porozprávajte sa s našou komunitou!

príloha

BigGAN zápasí s koordináciou textúr

Vytvorené pomocou ukážky Google BigGAN