Në pjesën 1 "këtu", fola për të mirat dhe të këqijat e zhvillimit të mësimit të makinerive të personalizuara ASIC dmth. trillium, Nervana, sipërmarrje të tjera fillestare dhe ne diskutuam më tej zhvillimin e një kuadri rrjeti nervor shumë të optimizuar nga e para si SequeezeNet.
Në pjesën 2, unë do të diskutoj dy teknikat e tjera të disponueshme të kompresimit dhe zgjidhjen Aiotalabs.
Teknika e disponueshme e kompresimit: Kohët e fundit ka pasur një stuhi të teknikave të kompresimit. Unë do të mbuloj vetëm pikat kryesore të këtyre teknikave dhe do t'ju jap referenca për literaturë të ndryshme nëse dëshironi të mësoni më shumë në detaje mbi këto teknologji. E bukura e parë kryesore e teknikës së kompresimit është se ajo funksionon në kornizën ekzistuese të trajnuar dhe nuk duhet të krijoni gjithçka nga e para. Ka mënyra të ndryshme për të kompresuar peshat e paratrajnuara. "Zhang et al". përdorën kompresimin me faktorizimin e matricës dhe raportuan përshpejtimin 3.8X të të gjithë modelit me rritje të gabimit të top-5 me 0.3% megjithatë ata shfrytëzuan vetëm tepricën midis filtrit. Në "metrikën time të vlerësimit", e vlerësoj këtë qasje si 70%!!
Krasitja nga Han et al. fokusuar në zvogëlimin e memories duke indeksuar peshat me vlerë jozero në mënyrë që të qasemi në vlerën e peshave në mënyrë indirekte përmes indeksit. Por vlerat zero duhet të rikthehen për konkluzion, prandaj memoria e përdorimit nuk mund të reduktohet praktikisht. Në "metrikën time të vlerësimit", e vlerësoj këtë qasje si 15%!!
Liu et.al e zgjidhi këtë problem të qasjes Han et.al duke përdorur llogaritjen e rrallë për kompresim në mënyrë që vlerat zero të mos përfshihen në llogaritjen e konkluzionit, por ata supozojnë një arkitekturë specifike të CPU-së duke reduktuar përgjithësimin e kësaj qasjeje. Në "metrikën time të vlerësimit", e vlerësoj këtë qasje si 15%!!
Qasje tjetër ekstreme e kunatizimit është rrjeti binar nga Rastegari et al. ku peshat e rrjetit kuantizohen ose -1 ose +1. Ai arriti një kompresim të lartë të memories me saktësi pak a shumë të ngjashme nga linja bazë, por kishte kompresim të ulët të kostos së llogaritjes (~ 2x). XNOR-Net, i cili kuantizoi hyrjen dhe peshat, arrin shkallë të lartë të kompresimit si për koston e memories ashtu edhe për llogaritjen, por saktësia ra me ›10%. Në "metrikën time të vlerësimit", unë e vlerësoj këtë qasje si 50%!!
Kompresim i thellë Han et al. krasitja e kombinuar, kuantizimi dhe kodimi dhe raportohet një reduktim 50X i ruajtjes së memories (megjithatë njerëzit që përpiqen të përsërisin metodën e tij nuk arritën kurrë më shumë se 10X ngjeshje) por në fazën e konkluzionit peshat duhet të rikthehen në mënyrë indirekte përmes indikacioneve të krasitjes, kuantizimit dhe kodimit që rrit para - koha e përpunimit. Pas rivendosjes së konvolucionit origjinal të rrjetit, llogaritja mbetet, pra, memoria e përdorimit dhe llogaritja do të jenë të njëjta me rrjetin e pakompresuar bazë. Në "metrikën time të vlerësimit", e vlerësoj këtë qasje si 50%!!
Një tjetër qasje e fuqishme nga Chen et.al e cila shfrytëzon ndryshimin e filtrave nga domeni hapësinor në domenin e frekuencës për kompresimin e rrjetit bazuar në vlerën e filtrave të rëndësisë. Ata përdorën hash për të kompresuar shumë komponentët me frekuencë të lartë dhe për të kompresuar pak komponentët me frekuencë të ulët. Por ajo vuan nga i njëjti problem i parapërpunimit të ngjashëm me kunatizimin. Gjithashtu ekziston një problem i përgjithshëm i memories sepse kernelet në domenin e frekuencës kanë nevojë për më shumë memorie sesa bërthamat në domenin hapësinor. Në "metrikën time të vlerësimit", unë e vlerësoj këtë qasje si 70%
Pra, deri më tani ne kemi parë se asnjë teknikë e kompresimit nuk po na jep përfitimet në tërësi, gjë që i bën ato të gatshme.
Aiotalabs, megjithatë ka zhvilluar teknologjinë e kompresimit e cila në metrikën tonë të vlerësimit qëndron në pozitën e parë. Arriti kursim të energjisë, kursim të burimeve llogaritëse, zvogëlim të gjurmës së kujtesës si dhe ndërveprim më të ulët të memories, por duke shpejtuar rrjetin!!!!
Për të shfaqur efikasitetin e teknologjisë sonë, ne përdorëm teknologjinë tonë në ResNet-in më të fundit dhe më poshtë është rezultati.
Më poshtë është raporti i detajuar se si teknologjia jonë e pronarit kompreson shtresat e ndryshme të konvolucionit të rrjetit ResNet-18 duke arritur kështu një kompresim fenomenal të ruajtjes së memories ~ 8X, ngjeshje të kostos së llogaritjes 7X dhe rritje 2X në shpejtësi, ndërsa saktësia rënie e papërfillshme nga baza!!! Tani është koha juaj për të vlerësuar rezultatin në "metrikën e vlerësimit".
Vlen të theksohet se çdo rrjet i trajnuar mund të kalojë në një ngjeshje të stilit të butonit përmes teknologjisë Aiotlabs. Nuk ka nevojë për të ripërcaktuar aplikacionin nga e para, nuk ka nevojë për të ndryshuar kornizën ekzistuese, nuk ka nevojë për të investuar kohë për të ritrajnuar rrjetin. Thjesht shtyni DNN-në tuaj ekzistuese tashmë të trajnuar mirë në teknologjinë tonë, shkoni për një melodi të vogël të imët dhe rrjeti juaj i madh e i trashë është i gatshëm. Për më tepër, ju mund të përdorni ende teknologjinë ekzistuese të disponueshme në krye të rrjetit tonë të ngjeshur për përfitime të mëtejshme. Për shembull, ju mund të arrini kompresim 28X të parametrave duke aplikuar kuantizimin në krye të teknologjisë sonë të ngjeshur!!!
Aiotlabs ka përgatitur versione të ndryshme demo të teknologjisë së tyre për vlerësimin tuaj në tensorflow, caffe, Keras dhe PyTorch. Ju lutemi vizitoni faqen tonë www.aiotalabs.com për të shkarkuar demonstrimin e vlerësimit.
Çfarë është më tej: Në blogun tjetër, unë do të diskutoj Rrjetin Neural Recurrent (RNN)/LSTM/GRU dhe teknologjinë e kompresimit në dispozicion dhe do të diskutoj se si Aiotalabs është sërish fitues edhe në këtë ligë.
Qëndroni të sintonizuar për përditësim të mëtejshëm.
