Od nováčika k vedcovi; Dva roky hlbokého učenia sa s Fast.ai

Po návrate z otcovskej dovolenky v marci som nadšený, že sa môžem podeliť o to, že som sa pripojil k spoločnosti NVidia, aby som na plný úväzok vykonával hĺbkový prieskum výskumu a pracoval na križovatke medzi tabuľkovými (niekedy nazývanými štruktúrovanými) údajmi a rapids.ai. Táto cesta by nebola možná bez úžasného kurzu, knižnice a komunity, ktorá je rýchla.

Rovnako ako Sylvain Gugger, ďalší kamenec kurzu, ktorý v súčasnosti pracuje ako vedecký pracovník pre fastai a ktorého blogový príspevok inšpiroval tento, fastai zmenil môj život a som hlboko vďačný Jeremymu a Rachel za ich víziu dostupnejšieho hlbšieho prístupu. vzdelávanie pre všetkých. V duchu svojho postu som sa chcel podeliť o svoju cestu a o veci, ktoré mi pomohli na ceste v nádeji, že pomôžu a inšpirujú ostatných, ktorí začínajú touto cestou.

Cesta

Na rozdiel od mnohých študentov fastai pochádzam z prostredia strojového učenia. Jeden sa viac sústredil na interakciu človeka s počítačom a na prehlbovanie vedomostí, takže práca, ktorú som vykonal v priebehu mojej diplomovej práce, mohla byť realizovaná študentom fastai v priebehu niekoľkých hodín, ale určite pomohlo založenie matematiky / programovania a schopnosť čítať príspevky. Stále sa však zriedka odvolávam na ten čas a úplne súhlasím s Jeremyho posúdením, že doktorand nemusí vykonávať hĺbkovú učiacu sa prácu.

Po univerzite som pracoval pre online zoznamku s množstvom rýb, písal porovnávacie algoritmy, systémy detekcie podvodov a nakoniec vedúci výskumného tímu. Po roku, ktorý nasledoval po predaji skupiny Match, som odišiel a ocitol som sa na križovatke, pozrel som si na možnosti dátového inžinierstva a naozaj sa nezaujímam o návrat k vede údajov.

Kurz Fastai v1 vyšiel tú istú jar, a keď som sa cez neho prepracoval a spoznal ľudí na fóre, dostal som sa stále viac a viac závislý. Aplikovaný vývoj je pre mňa prístup zhora nadol, ktorý pre mňa funguje dobre, a rýchlo som sa zamiloval do Jeremyho štýlu výučby. Keď som zistil, že je časť 2, okamžite som sa prihlásil a doslova skočil z radosti, keď som zistil, že som sa tam dostal.

S mojím zázemím v systémoch odporúčateľov ma veľmi zaujímal tento komponent kurzu a začal som čoraz viac skúmať túto oblasť. V tomto procese som vyložil rolu na Realtor.com, kde som pracoval na projektoch odporúčaní a hodnotenia podľa rebríčka, a skutočne som začal vidieť potenciál toho, čo sa ma učilo. Hlboké učenie sa pre systémy odporúčateľov sa stalo mojou vášňou a najprv som sa ponoril do hlavy, prečítal som každý príspevok na túto tému a spotreboval všetko, čo som mohol nájsť na Youtube. Budem hovoriť viac o zvykoch, ktoré som si vytvoril za posledné dva roky a ktoré viedli k výskumnej úlohe v nasledujúcej časti, ale tentokrát pre mňa bolo veľmi formatívne, pokiaľ ide o rozvoj vedomostnej základne a vedomostnej základne, ktorá viedla k mojej súčasnej úloha v spoločnosti NVidia.

Cestou som vzal každú ponuku fastai. Momentálne pracujem na tretej iterácii a pri každej triede sa učím niečo nové. Ak ste ešte nepozerali staré kurzy, dôrazne odporúčam vrátiť sa a to isté platí pre strojové učenie, ktoré ma naučilo, čo viem o náhodných lesných modeloch. Kvalita vzdelávania, ktoré poskytuje fastai, je tak vysoká, že som okolo neho usporiadal svoj tím v Realtore, pomocou tried ako skokových bodov pre projekty, ktoré sa ukázali ako mimoriadne úspešné.

Kroky na ceste

Aj keď je moja cesta pre mňa jedinečná, chcem ponúknuť pomoc tým, ktorí chcú dosiahnuť rovnaký sen stať sa výskumníkom v oblasti hlbokého vzdelávania alebo lepším odborníkom.

Tipy na to, ako efektívne dokončiť fastai, nájdete na fóre. Dôrazne odporúčame, aby ste ich vyhľadali a sledovali, ak ste tak ešte neurobili. Prekročenie triedy vyžaduje ďalšie úsilie, ale podľa môjho názoru je to vtedy, keď sa mágia skutočne začína diať. Mnoho návykov mi skutočne pomohlo stať sa lepším výskumníkom a lepším vývojárom. Sú jednoduché, ale efektívne. Je ľahké ich prefúknuť, ako keby ste si mohli listovať v notebooku, ale ak ich dokážete implementovať, zaručujem, že to bude mať vplyv.

  1. Získajte pohodlie s papiermi. Skontrolujte Arxiv každý týždeň, každú noc si prečítajte noviny. Použil som arxiv-zdravý rozum, ale bohužiaľ sa už nezdá byť udržiavaný. Stále hľadám riešenie, takže ak máte niečo, dajte mi vedieť. Odporučil by som vybrať konkrétnu oblasť výskumu, kde si môžete prečítať väčšinu novín, ktoré vyjdu. Nájdite tému, ktorá vás zaujíma, ako odporúčanie alebo prenos štýlov a držte krok s týmto malým poľom. Zvykanie si pravidelne čítať noviny je teraz mojou super mocou. Je to také, ktoré by ste mohli mať, aj keby ste si zvykli.
  2. Konvertujte rýchle videá na audio iba na počúvanie ako „podcast“ na cestách. Pre mňa nie je možné nájsť čas na pozeranie videí dvakrát alebo trikrát, najmä teraz, keď mám dvoch mladých chlapcov, ale vyžaduje to hustota materiálu. Pozerajte sa na to raz a znova a znova počúvajte pri dochádzaní, chôdzi alebo kdekoľvek. Počúval som desiatky krát a stále si vymýšľam nové koncepty a nápady.
  3. Implementujte niečo iné, ako poskytujú notebooky. To bol pre mňa kľúč na odhalenie potenciálu fastai. Obnovil som denoizačný automatický kódovač z riešenia na súťaž bezpečných vodičov porto seguro. Ukázalo sa, že to bol východiskový bod pre celý rad výskumov hlbokého učenia sa v tabuľkových údajoch a viedol k mojej súčasnej úlohe. Vyberte si niečo odlišné od toho, čo väčšina ľudí implementuje a dobre implementujte.
  4. Zostaňte aktívni na fórach a zúčastnite sa komunity. Je to jeden z najviac prehliadaných aspektov kurzu v mojej mysli, ktorý ponúka veľa ľudí rovnako nadšených z hlbokého učenia ako vy. Pre mňa to bol veľký katalyzátor nápadov, znalostí a záujmu.
  5. Vyhľadajte ďalšie kurzy, aby ste rozšírili svoje obzory. Vrelo odporúčam Stanfordov kurz NLP CS224n, ktorý vyučuje Chris Manning, CS231n, ktorý vyučuje Andrej Karpathy, kurz Gene Kogana o hlbokom vzdelávaní aplikovaný na umenie Neurálna estetika a PyData, ktoré pravidelne obsahujú veľké rozhovory o hlbokom učení.

Fastai mi toľko dal a stále to robí a som nadšený, že sa presúvam do pozície, kde môžem konečne niečo vrátiť. Ak by ste mi na začiatku cesty povedali, keď som na youtube videl prvé video, že bezplatný online MOOC by ma priviedol k výskumnej úlohe v jednej z najlepších technologických spoločností na svete, nie som si istý, či by som mal uveril som ti, ale som tu. Nepochybujem o tom, že je to takmer výlučne kvôli fast.ai.