Makinat e vektorit mbështetës. Shënime nga programi i mësimit të makinerisë së Andrew Ng

Performanca e shumicës së algoritmeve të të mësuarit të mbikqyrur në shumicën e rasteve është mjaft e ngjashme dhe ajo që ka më shumë rëndësi është shkalla e të dhënave që ju dhe aftësitë që zotëroni, të tilla si inxhinieria e veçorive ose teknikat e rregullimit të aplikuara.

Makina vektoriale mbështetëse disa herë jep një pastrues dhe mënyrë për të mësuar funksione komplekse jolineare.

- Objektivi i Optimizimit

Le të ndërtojmë objektivin tonë të optimizimit të SVM nga Regresioni Logjistik

Kurba e majtë tregon funksionin e optimizimit për y=1 dhe kurba në të djathtë tregon funksionin e optimizimit për y=0.

Vijat rozë të vizatuara përfaqësojnë funksionin e ri të optimizimit për SVM.

Ne nxjerrim funksionin mbi të gjitha kostot për SVM nga funksioni i kostos mbi të gjithë funksionin e regresionit logjistik (duke përfshirë rregullimin)

Për makinat me vektor mbështetës roli i C është i njëjtë me atë të (1/λ) ku λ është koeficienti i rregullimit për regresionin logjistik.

Funksioni i kostos përfundimtare dhe hipoteza për SVM pra është.

- Intuitë

Funksioni i kostos sillet në mënyrë të tillë se kur

  • y=1 parametrat Θ sintonizohen në atë mënyrë në ΘX ≥ 1
  • y=0 parametrat Θ sintonizohen në atë mënyrë në ΘX ≤-1

Dhe nëse C është një vlerë e madhe, ne kemi një motivim të fortë për ta bërë pjesën e parë të funksionit të kostos të barabartë me zero. Dhe në një rast të tillë

Kjo çon në një klasifikues të madh të marzhit

Së shpejti do të flasim më shumë se si vlerat e mëdha C çojnë në klasifikues të marzhit të madh.

Sidoqoftë, mund të mos jetë gjithmonë e mençur të mbajmë "C" koeficientin tonë të rregullimit të vogël. Në një rast të tillë, klasifikuesi duhet të jetë shumë i ndjeshëm ndaj vlerave të jashtme. (Kufiri i vendimit zhvendoset nga e zeza në ngjyrë të purpurt — shiko imazhin më poshtë)

- Matematika pas klasifikimit të diferencës së madhe

Një kujtesë e produktit të brendshëm të Vektorit

Që të mos rifaktojë funksionin tonë të kostos

Është vetëm për shkak të klasifikuesit të marzhit të madh që ne mund të maksimizojmë p në të njëjtën kohë duke e mbajtur thetën të vogël.

Klasifikues jo linearë duke përdorur — Kernel

Më poshtë shohim një kufi të vendimit polinom. Megjithatë, ne mund të modifikojmë termat polinomial me funksionin f për të shtuar më shumë kompleksitet në kufirin e vendimit. Ky funksion quhet kernel.

Një kernel nuk është gjë tjetër veçse një funksion ngjashmërie. Funksioni i ngjashmërisë është një kernel Gaussian në këtë rast.

Në rast se një pikë x është afër l-së ku l është pika e stërvitjes. Prodhimi i funksionit të ngjashmërisë është afër 1.

Prodhimi i funksionit të ngjashmërisë mund të sintonizohet me sigma siç tregohet në figurën më poshtë. i sigmës është i vogël bërthama e Gausit ka një pjerrësi të madhe dhe anasjelltas.

Sigma mund të përdoret gjithashtu për të balancuar paragjykimin dhe variancën për klasifikuesit SVM.

Por pyetja është se si t'i zgjedhim këto pika referimi dhe funksione ngjashmërie.

Pikat e referimit janë të njëjta me pikat e trajnimit për klasifikuesin SVM.

  • Θ duhet të gjejë outputin duke optimizuar funksionin e kostos më poshtë

Si të përdorni SVM?

  • n - nr i veçorive
  • m - numri i shembujve të trajnimit

Nëse n është i madh dhe m është i vogël, ne nuk duam një kernel të komplikuar. Meqenëse numri i shembujve të trajnimit është i vogël, ne nuk duam të përshtatemi në një hapësirë ​​​​të veçorive me dimensione të larta dhe një numër të vogël shembujsh trajnimi. Prandaj një kernel linear është i mirë në një rast të tillë.

Kerneli Gaussian - nëse n është i vogël dhe m është i madh (set trajnimi 2-D, 1000 pikë)

Gaussian-i mund të sigurojë një kufi të mirë jolinear vendimi

Zgjedhja e sigmës - nëse sigma është, ne do të kemi klasifikues të madh paragjykim të lartë dhe variancë të ulët dhe anasjelltas

Është shumë e rëndësishme të kryhet shkallëzimi i veçorive për një kernel Gaussian pasi mund të mos japë një afërsi të duhur me L ose pikën e veçorive. Distancat do të mbizotërohen nga karakteristika të shkallës së lartë

Kur të përdoret regresioni logjistik ose SVM

Shpresojmë që kjo të ndihmojë në të kuptuarit tuaj të SVM - kodim i lumtur!