Najlepší výskum hlbokého vzdelávania doteraz 2019

Práve sme skončili s Q1 z roku 2019 a výskumná stránka technológie hlbokého učenia napreduje veľmi dobre. Rutinne monitorujem úsilie výskumných pracovníkov v oblasti AI s cieľom získať prehľad o tom, kam smeruje táto technológia. Toto predpovede mi umožňuje lepšie optimalizovať čas na zabezpečenie toho, aby som vedel, čo neviem. Výsledkom je, že sa snažím konzumovať aspoň jeden výskumný článok týždenne v oblasti potenciálne stoviek alebo možno tisícov článkov.

V tomto článku vám pomôžem ušetriť čas tým, že kurátorom aktuálneho súboru výskumných snáh uverejnených doteraz v roku 2019 až na zvládnuteľný užší zoznam. Filtroval som svoje výbery tak, aby zahŕňali články, ktoré majú tiež pridružený repitál GitHub. Užite si to!

Rýchle učenie reprezentácie grafov pomocou PyTorch Geometric

Tento výskum predstavuje PyTorch Geometric, knižnicu pre hlboké vzdelávanie o nepravidelne štruktúrovaných vstupných dátach, ako sú grafy, bodové oblaky a rozdeľovače, postavené na PyTorch. Okrem všeobecných štruktúr grafických údajov a metód spracovania obsahuje množstvo nedávno publikovaných metód z oblasti relačného učenia a spracovania 3D údajov. PyTorch Geometric dosahuje vysokú priepustnosť dát využívaním riedkej zrýchlenia GPU, poskytovaním vyhradených jadier CUDA a zavedením efektívnej mini-dávkovej manipulácie pre vstupné príklady rôznej veľkosti. Tento kód je k dispozícii na serveri GitHub.

[Súvisiaci článok: Najvýznamnejšie výskumné dokumenty o vedeckých údajoch za rok 2018]

Maskovacie bodovanie R-CNN

V úlohe segmentácie inštancií sa dôvernosť klasifikácie inštancií používa ako skóre kvality masky vo väčšine segmentov segmentácie inštancií. Tento článok skúma tento problém a navrhuje Mask Scoring R-CNN, ktorý obsahuje sieťový blok na zistenie kvality predpovedaných masiek inštancií. Stratégia vyhodnocovania masky kalibruje nesúlad medzi kvalitou masky a skóre masky a zlepšuje výkonnosť segmentácie inštancií uprednostňovaním presnejších predpovedí masky počas vyhodnocovania COCO AP. Tento kód je k dispozícii na serveri GitHub.

Vysoko verná generácia obrazu s menším počtom štítkov

Hlboké generatívne modely sa stávajú základným kameňom moderného strojového učenia. Nedávna práca na podmienečných generatívnych kontradiktórnych sieťach (GAN) ukázala, že učenie zložitých vysokorozmerných distribúcií nad prírodnými obrázkami je na dosah. Zatiaľ čo najnovšie modely dokážu generovať vysoko verné a rozmanité prírodné obrázky vo vysokom rozlíšení, spoliehajú sa na veľké množstvo označených údajov. Tento dokument ukazuje, ako môže mať úžitok z nedávnej práce na samovzdelávaní a čiastočne pod dohľadom, aby prekonal najmodernejšie techniky (SOTA) pri syntéze ImageNet bez dozoru, ako aj v podmienečnom prostredí. Tento kód je k dispozícii na serveri GitHub.

GCNv2: Efektívna predikcia korešpondencie pre SLAM v reálnom čase

Tento článok predstavuje hĺbkovú sieť založenú na učení GCNv2, ktorá slúži na generovanie kľúčových bodov a deskriptorov. GCNv2 je postavený na predchádzajúcej metóde, GCN, sieti vyškolenej pre 3D projektívnu geometriu. GCNv2 je navrhnutý s binárnym deskriptorovým vektorom ako vlastnosťou ORB, takže môže ľahko nahradiť ORB v systémoch, ako je ORB-SLAM. Tento kód je k dispozícii na serveri GitHub.

[Súvisiaci článok: Hlboké vzdelávanie pre klasifikáciu textu]

ALiPy: Aktívne učenie v Pythone

Kontrolované metódy strojového učenia si zvyčajne vyžadujú veľkú skupinu označených príkladov pre výcvik modelov. Avšak v mnohých reálnych aplikáciách existuje veľa neznačených údajov, ale obmedzené množstvo označených údajov; a získanie štítkov je nákladné. Aktívne učenie (AL) redukuje náklady na označovanie iteratívnym výberom najcennejších údajov, z ktorých si môžu anotátor vyžiadať štítky. Tento článok predstavuje Python toobox ALiPy pre aktívne učenie. Tento kód je k dispozícii na serveri GitHub.

DeepFashion2: Všestranná referenčná hodnota pre detekciu, odhadovanie pózy, segmentáciu a opätovnú identifikáciu snímok oblečenia

Porozumenie módnym obrázkom sa rozšírilo pomocou referenčných kritérií s bohatými anotáciami, ako je napríklad DeepFashion, ktorej štítky zahŕňajú kategórie oblečenia, orientačné body a obrázkové páry určené pre spotrebiteľa. DeepFashion má však nezanedbateľné problémy, ako je napríklad jedna položka oblečenia na obrázok, riedke orientačné body (iba 4 ~ 8) a žiadne masky na pixel, čo vytvára výrazný rozdiel od scenárov skutočného sveta. Tento dokument vyplňuje medzeru tým, že predstavuje DeepFashion2 na riešenie týchto problémov. Je to univerzálny štandard štyroch úloh vrátane detekcie odevov, odhadu stavu, segmentácie a výberu. Tento kód je k dispozícii na serveri GitHub.

Výzva pre viacerých agentov StarCraft

V posledných niekoľkých rokoch sa hlboké multiagentové posilňovanie učenia (RL) stalo vysoko aktívnou oblasťou výskumu. Obzvlášť náročnou triedou problémov v tejto oblasti je čiastočne pozorovateľné kooperatívne učenie viacerých agentov, v ktorom sa tímy agentov musia naučiť koordinovať svoje správanie a podmiňovať iba svoje súkromné ​​pozorovania. Je to atraktívna oblasť výskumu, pretože takéto problémy sa týkajú veľkého počtu systémov v reálnom svete a sú hodnotiteľnejšie ako problémy všeobecného súčtu. Štandardizované prostredia, ako sú ALE a MuJoCo, umožnili RL s jedným agentom prejsť za domény hračiek, ako sú napríklad mriežkové svety. Neexistuje však porovnateľná referenčná hodnota pre družstevnú spoločnosť s viacerými agentmi. Výsledkom je, že väčšina článkov v tejto oblasti používa jednorazové hračky, čo sťažuje meranie skutočného pokroku. Tento dokument navrhuje výzvu StarCraft Multi-Agent Challenge (SMAC) ako referenčný problém na vyplnenie tejto medzery. Tento kód je k dispozícii na serveri GitHub.

Výpadok je špeciálnym prípadom stochastického delta pravidla: rýchlejšie a presnejšie hlboké učenie

Viacvrstvové neurónové siete viedli k pozoruhodnému výkonu pri mnohých druhoch porovnávacích úloh pri spracovaní textu, reči a obrázkov. Je známe, že nelineárny odhad parametrov v hierarchických modeloch je nadmerne vhodný a nesprávne špecifikovaný. Jeden prístup k týmto odhadom a súvisiace problémy (miestne minimá, ko-linearita, objavovanie znakov atď.) Sa nazýva Dropout. Algoritmus Dropout odstraňuje skryté jednotky podľa náhodnej premennej Bernoulli s pravdepodobnosťou p pred každou aktualizáciou, čím vytvára do siete náhodné „otrasy“, ktoré sú spriemerované počas aktualizácií. Tento dokument ukazuje, že Dropout je špeciálny prípad všeobecnejšieho modelu uverejneného pôvodne v roku 1990 s názvom Stochastic Delta Rule alebo SDR. Tento kód je k dispozícii na serveri GitHub.

Lingvo: Modulárny a škálovateľný rámec pre modelovanie sekvencií

Lingvo je rámec Tensorflow, ktorý ponúka kompletné riešenie pre kolaboratívny výskum hlbokého učenia, s osobitným zameraním na modely sekvenčných sekvencií. Modely Lingvo sa skladajú z modulových stavebných blokov, ktoré sú flexibilné a ľahko rozšíriteľné a experimentálne konfigurácie sú centralizované a vysoko prispôsobiteľné. Distribuované školenia a kvantované závery sú podporované priamo v rámci a obsahuje existujúce implementácie veľkého množstva nástrojov, pomocných funkcií a najnovších výskumných nápadov. Lingvo v posledných dvoch rokoch využili v spolupráci desiatky výskumníkov vo viac ako 20 článkoch. Tento dokument načrtáva základný návrh Lingvo a slúži ako úvod do rôznych častí rámca a zároveň ponúka príklady pokročilých funkcií, ktoré poukazujú na možnosti rámca. Tento kód je k dispozícii na serveri GitHub.

Metódy adaptívneho gradientu s dynamickým obmedzením rýchlosti učenia

Adaptívne optimalizačné metódy, ako sú AdaGrad, RMSProp a Adam, boli navrhnuté tak, aby sa dosiahol rýchly tréningový proces s elementárnou mierkou mierky výučby. Aj keď prevládajú, zistilo sa, že ich zovšeobecnenie nie je v porovnaní so SGD zlé, alebo dokonca zlyhávajú v zbližovaní v dôsledku nestabilných a extrémnych mier učenia. Tento dokument ukazuje, že extrémna miera učenia môže viesť k zlej výkonnosti. Poskytujú sa nové varianty Adama a AMSGrada, nazývané AdaBound a AMSBound, ktoré využívajú dynamické hranice rýchlosti učenia na dosiahnutie postupného a plynulého prechodu z adaptívnych metód na SGD a poskytujú teoretický dôkaz konvergencie. Uskutočnili sa ďalšie experimenty s rôznymi populárnymi úlohami a modelmi. Experimentálne výsledky ukazujú, že nové varianty môžu eliminovať medzeru v generalizácii medzi adaptívnymi metódami a SGD a udržiavať vyššiu rýchlosť výučby v rovnakom čase. Tento kód je k dispozícii na serveri GitHub.

Poznámka editora: Chcete sa dozvedieť viac o hlbokom učení osobne? Zúčastnite sa ODSC East 2019 30. apríla až 3. mája v Bostone a získajte radu priamo od odborníkov!

Prečítajte si ďalšie články o vede o údajoch na OpenDataScience.com vrátane príručiek a príručiek od začiatočníkov po pokročilých! Prihláste sa na odber nášho týždenníka a každý týždeň dostávajte najnovšie správy.