AutoML: Automatizácia návrhu modelov strojového učenia pre autonómne riadenie

Autor: Shuyang Cheng a Gabriel Bender *

V spoločnosti Waymo hrá strojové učenie kľúčovú úlohu takmer v každej časti nášho systému vlastného riadenia. Pomáha našim vozidlám vidieť ich okolie, zmysel pre svet, predpovedať, ako sa budú ostatní správať, a rozhodnúť o ďalšom najlepšom ťahu.

Vnímajte: náš systém využíva kombináciu neurónových sietí, ktoré umožňujú našim vozidlám interpretovať údaje senzorov tak, aby identifikovali objekty a sledovali ich v priebehu času, aby mohli hlboko pochopiť svet okolo seba. Vytvorenie týchto neurónových sietí je často časovo náročná úloha; optimalizácia architektúry neurónovej siete na dosiahnutie kvality a rýchlosti potrebnej na jazdu na našich autofrekvenčných automobiloch je komplexný proces jemného doladenia, ktorý môže trvať mesiace pre našich inžinierov za novú úlohu.

Teraz prostredníctvom spolupráce s výskumníkmi Google AI z tímu Brain zavádzame do praxe špičkový výskum s cieľom automaticky generovať neurónové siete. Tieto najmodernejšie neurónové siete sú navyše kvalitnejšie a rýchlejšie ako tie, ktoré inžinieri manuálne doladia.

Na to, aby sme mohli svoju technológiu riadenia vozidla dostať do rôznych miest a prostredí, budeme musieť optimalizovať naše modely pre rôzne scenáre veľkou rýchlosťou. AutoML nám to umožňuje robiť efektívne a nepretržite veľké množstvo riešení ML.

Transfer Learning: Použitie existujúcich architektúr AutoML

Naša spolupráca sa začala jednoduchou otázkou: môže AutoML vygenerovať vysoko kvalitnú a nízko latentnú neurónovú sieť pre auto?

Kvalita meria presnosť odpovedí neurónovej siete. Latencia meria, ako rýchlo sieť poskytuje svoje odpovede, čo sa tiež nazýva inferenčný čas. Pretože jazda je činnosť, ktorá si vyžaduje, aby naše vozidlá používali odpovede v reálnom čase a vzhľadom na charakter nášho systému, ktorý je kritický z hľadiska bezpečnosti, musia naše neurónové siete pracovať s nízkou latenciou. Väčšina našich sietí, ktoré bežia priamo na našich vozidlách, poskytuje výsledky za menej ako 10 ms, čo je rýchlejšie ako mnoho sietí nasadených v dátových centrách, ktoré bežia na tisíckach serverov.

V pôvodnom dokumente AutoML [1] boli naši spolupracovníci Google AI schopní automaticky preskúmať viac ako 12 000 architektúr, aby vyriešili klasickú úlohu rozpoznávania obrázkov CIFAR-10: identifikujte malý obrázok ako predstaviteľ jednej z desiatich kategórií, napríklad automobilov , lietadlo, pes atď. V následnom dokumente [2] objavili rodinu stavebných blokov neurónovej siete nazývaných bunky NAS, ktoré by mohli byť zostavené tak, aby sa pre CIFAR-10 automaticky zostavovali lepšie ako ručne vyrobené siete. a podobné úlohy. Vďaka tejto spolupráci sa naši vedci rozhodli použiť tieto bunky na automatické vytváranie nových modelov pre úlohy špecifické pre riadenie vozidla, čím prenášajú to, čo sa naučilo na CIFAR-10, do našej oblasti. Náš prvý experiment bol s úlohou sémantickej segmentácie: každý bod v oblaku bodov LiDAR identifikujte buď ako auto, chodec, strom atď.

Jeden príklad bunky NAS. Táto bunka spracováva vstupy z dvoch predchádzajúcich vrstiev v neurálnej sieti.

Na tento účel naši vedci nastavili algoritmus automatického vyhľadávania na skúmanie stoviek rôznych kombinácií buniek NAS v rámci konvolučnej sieťovej architektúry (CNN), školenie a hodnotenie modelov pre našu úlohu segmentácie LiDAR. Keď naši inžinieri tieto siete doladia ručne, môžu preskúmať iba obmedzené množstvo architektúr, ale touto metódou sme automaticky preskúmali stovky. Našli sme modely, ktoré vylepšili predtým ručne vyrábané modely dvoma spôsobmi:

  • Niektoré mali výrazne nižšiu latenciu s podobnou kvalitou.
  • Iní mali ešte vyššiu kvalitu s podobnou latenciou.

Vzhľadom na tento počiatočný úspech sme použili rovnaký vyhľadávací algoritmus na dve ďalšie úlohy súvisiace s detekciou a lokalizáciou dopravných pruhov. Technika prenosu učenia tiež pracovala pre tieto úlohy a my sme boli schopní nasadiť tri novo trénované a vylepšené neurónové siete na auto.

Koncové vyhľadávanie: Hľadanie nových architektúr od úplného začiatku

Tieto prvé výsledky nás povzbudili, a preto sme sa rozhodli ísť ešte o krok ďalej a hľadať širšie nové architektúry, ktoré by mohli poskytnúť ešte lepšie výsledky. Ak sa neobmedzíme na kombináciu už objavených buniek NAS, mohli by sme priamejšie hľadať architektúry, ktoré zohľadnili naše prísne požiadavky na latenciu.

Vykonávanie komplexného vyhľadávania obyčajne vyžaduje manuálne preskúmanie tisícov architektúr, čo so sebou prináša veľké výpočtové náklady. Preskúmanie jednej architektúry vyžaduje niekoľko dní školenia na počítači s dátovým centrom s viacerými kartami GPU, čo znamená, že vyhľadávanie jednej úlohy by vyžadovalo tisíce dní výpočtu. Namiesto toho sme navrhli úlohu proxy: zmenšená úloha segmentácie LiDAR, ktorú by bolo možné vyriešiť behom niekoľkých hodín.

Jednou z výziev, ktorú tím musel prekonať, bolo nájdenie úlohy proxy, ktorá je dosť podobná našej pôvodnej úlohe segmentácie. Experimentovali sme s niekoľkými návrhmi úloh proxy, predtým ako sme mohli zistiť dobrú koreláciu medzi kvalitou architektúr v tejto úlohe a tými, ktoré sa našli v pôvodnej úlohe. Potom sme spustili vyhľadávanie podobné tomu z pôvodného dokumentu AutoML, ale teraz v úlohe proxy: hľadanie servera end-to-end proxy. Toto bolo prvýkrát, keď sa tento koncept použil na údaje LiDAR.

Proxy end-to-end vyhľadávanie: Preskúmajte tisíce architektúr na zmenšenej proxy úlohe, aplikujte 100 najlepších na pôvodnú úlohu, overte a nasaďte to najlepšie z najlepších architektúr na aute.

Použili sme niekoľko vyhľadávacích algoritmov, ktoré optimalizujú kvalitu a latenciu, pretože to je pre vozidlo kritické. Pri pohľade na rôzne typy architektúr CNN a pomocou rôznych stratégií vyhľadávania, ako napríklad náhodné vyhľadávanie a posilňovanie, sme dokázali preskúmať viac ako 10 000 rôznych architektúr pre úlohu proxy. Použitím úlohy proxy by to, čo by v klastri Google TPU trvalo viac ako jeden rok, trvalo iba dva týždne. Našli sme ešte lepšie siete ako predtým, keď sme práve prenášali bunky NAS:

  • Neurónové siete s 20–30% nižšou latenciou a výsledkami rovnakej kvality.
  • Neurónové siete vyššej kvality s 8–10% nižšou chybovosťou pri rovnakej latencii ako predchádzajúce architektúry.
1) Prvý graf ukazuje asi 4 000 architektúr objavených náhodným vyhľadávaním jednoduchej sady architektúr. Každý bod predstavuje architektúru, ktorá bola vyškolená a vyhodnotená. Plná čiara označuje najlepšie architektúry pri rôznych časových obmedzeniach inferencie. Červená bodka zobrazuje latenciu a výkon siete vytvorenej prenosom učenia. V tomto náhodnom vyhľadávaní siete neboli také dobré ako siete z učenia sa prenosu. 2) V druhom grafe žlté a modré body zobrazujú výsledky dvoch ďalších vyhľadávacích algoritmov. Žltá bola náhodná prehliadka rafinovanej architektúry. Modrý využíval posilňovacie učenie ako v [1] a skúmal viac ako 6 000 architektúr. To prinieslo najlepšie výsledky. Tieto dve ďalšie hľadania našli siete, ktoré boli výrazne lepšie ako sieť z učenia sa prenosu.

Niektoré z architektúr nájdených pri vyhľadávaní ukázali kreatívne kombinácie operácií stočenia, združovania a dekonvolúcie, ako je tá na obrázku nižšie. Tieto architektúry skončili veľmi dobre pre našu pôvodnú úlohu segmentácie LiDAR a budú nasadené vo vozidlách Waymo s vlastným riadením.

Jedna z architektúr neurónovej siete, ktorá bola objavená proxy-end-to-end vyhľadávaním.

Čo bude ďalej

Naše experimenty AutoML sú iba začiatkom. Pre naše úlohy segmentácie LiDAR poskytovali prenosové učenie aj vyhľadávanie koncových koncových zariadení proxy siete, ktoré boli lepšie ako siete vytvorené ručne. Teraz máme príležitosť uplatniť tieto mechanizmy aj na nové typy úloh, ktoré by mohli zlepšiť mnohé ďalšie neurónové siete.

Tento vývoj otvára nové a vzrušujúce cesty pre našu budúcu prácu v oblasti ML a zlepší výkon a schopnosti našej technológie vlastného riadenia. Tešíme sa na ďalšiu spoluprácu s Google AI, takže ostaňte naladení na ďalšie!

Referencie

[1] Barret Zoph a Quoc V. Le. Hľadanie neurónovej architektúry s výučbou zosilnenia. ICLR, 2017.

[2] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, učiteľné prenosné architektúry pre škálovateľné rozpoznávanie obrázkov. CVPR, 2018.

* Poďakovanie

Túto spoluprácu medzi Waymo a Google inicioval a sponzoroval Matthieu Devin z Waymo a Quoc Le z Google. Prácu vykonali Shuyang Cheng z Waymo a Gabriel Bender a Pieter-jan Kindermans z Google. Extra poďakovanie za podporu Vishy Tirumalashetty.

Členovia tímov Waymo a Google (zľava): Gabriel Bender, Shuyang Cheng, Matthieu Devin a Quoc Le