Боби 10. Мошинҳои векторҳои такягоҳӣ

Дар ин боб меомӯзем

• SVM чӣ гуна сарҳади таснифро интихоб мекунад ва ҳошия чист.
• Чаро SVM ба нуқтаҳои ғайримуқаррарӣ камтар ҳассос аст.
• Гиперпараметри C: ҳошияи нарм ва ҳошияи сахт.
• Ҳиллаи ядроӣ: ҷудо кардани додаҳое, ки бо хати рост ҷудо намешаванд.
• Чаро пеш аз SVM хусусиятҳоро миқёсбандӣ мекунанд.
• Маҳдудиятҳои SVM.

Мошинҳои векторҳои такягоҳӣ — Support Vector Machines (SVM) дар солҳои 1990 дар соҳаи илмҳои компютерӣ таҳия шуданд. Ин усул барои ҳар ду вазифа — пешгӯии натиҷаҳои ададӣ ва гурӯҳӣ — истифода мешавад. Аммо имрӯз SVM бештар ҳамчун усули тасниф барои пешгӯии натиҷаҳои гурӯҳӣ шинохта шудааст.

Ҳамчун усули тасниф, SVM ба регрессияи логистикӣ монанд аст: он додаҳоро ба ду ё чанд синфи натиҷавӣ ҷудо мекунад. Аммо, тавре дар расми 10.1 мебинем, SVM ҳангоми муайян кардани ҷойи сарҳади тасниф ба меъёри дигар такя мекунад.

Расми 10.1. Муқоисаи регрессияи логистикӣ ва SVM. Додаҳо барои мисол интихоб шудаанд; дар маҷмӯаҳои дигар ин ду сарҳад метавонанд қариб мувофиқ оянд.

Диаграммаи парокандагии расми 10.1 аз 17 нуқтаи додаҳо — 12 ситора ва 5 доира — иборат аст, ки онҳоро бо хати рост ба ду синф ҷудо кардан мумкин аст.

Дар ин мисол сарҳади қарори регрессияи логистикӣ — A — нуқтаҳоро ба ду синф тақсим мекунад. Сарҳади дуюм, яъне сарҳади SVM — B, низ синфҳоро ҷудо мекунад, аммо ҷойеро интихоб мекунад, ки масофааш то наздиктарин нуқтаҳои ҳар ду синф то ҳадди имкон зиёд бошад.

Дар расм минтақаи хокистарие низ мавҷуд аст, ки ҳошия — margin ном дорад. Паҳнои умумии он ба ду баробари масофаи байни сарҳади қарор ва наздиктарин нуқтаҳо баробар аст.

Нуқтаҳое, ки дар канори ҳошия ҷойгиранд (дар расм дар доира гирифта шудаанд), векторҳои такягоҳӣ — support vectors ном доранд. Ҷойи сарҳади SVM танҳо аз ҳамин чанд нуқта вобаста аст; номи усул низ аз ҳамин ҷост.

Ҳошия ҷузъи асосии SVM мебошад. Он байни синфҳо фосилаи эҳтиётӣ фароҳам меорад ва метавонад барои таснифи дурусти нуқтаҳои нав ёрӣ диҳад.

Барои фаҳмидани ин ҳолат, ба ҳамон диаграмма нуқтаи нав илова мекунем.

Расми 10.2. Ба диаграммаи парокандагӣ нуқтаи нав илова шудааст.

Нуқтаи нав доира аст, аммо дар тарафи чапи сарҳади регрессияи логистикӣ — A — ҷойгир шудааст. Ин тараф барои ситораҳо пешбинӣ шудааст, бинобар ин модел онро нодуруст тасниф мекунад.

Аммо ҳамин нуқта дар тарафи дурусти сарҳади SVM — B, яъне тарафи доираҳо, боқӣ мемонад. Дар ин мисол ҳошияи васеътар барои таснифи дурусти он ёрӣ медиҳад.

Аз як мисол хулосаи умумӣ баровардан мумкин нест: ин маънои онро надорад, ки SVM ҳамеша аз регрессияи логистикӣ беҳтар аст. Дар бисёр маҷмӯаҳо сарҳадҳои ин ду модел қариб мувофиқ меоянд, ва нуқтаи нав метавонад ба ҳамин осонӣ дар тарафи дурусти сарҳади A ва тарафи нодурусти сарҳади B афтад. Кадом модел беҳтар аст, бо санҷиши салибӣ дар додаҳои худи масъала муайян мешавад (ниг. ба боби 4).

Кор бо нуқтаҳои ғайримуқаррарӣ

Расми 10.3. Кам кардани таъсири нуқтаҳои ғайримуқаррарӣ.

SVM инчунин метавонад барои ҷудо кардани робитаҳои мураккаб ва идора кардани таъсири нуқтаҳои дур аз қолаби умумӣ муфид бошад.

Дар мисоли расми 10.3 ситорае дар гӯшаи поёни рост, дар байни доираҳо, ҷойгир шудааст. Хатҳои борик сарҳадҳои ҳар ду моделро бе ин нуқта, хатҳои ғафс бо он нишон медиҳанд. Ин нуқтаи ғайримуқаррарӣ сарҳади регрессияи логистикӣ (хати A)-ро сахт ба тарафи худ мегардонад.

Дар ҳамин мисол сарҳади SVM — хати B — ба он камтар таъсирпазир аст: модели ҳошияи нарм (дар расм бо C = 0.1) ин нуқтаро ҳамчун хато қабул мекунад ва сарҳадро танҳо андаке ҷобаҷо мекунад. Аммо дараҷаи ҳассосияти SVM ба чунин нуқтаҳо аз танзимоти модел, махсусан гиперпараметри C, вобаста мебошад.

Гиперпараметри C

Сарҳади SVM-ро тавассути гиперпараметри C танзим кардан мумкин аст. Ин параметр муайян мекунад, ки модел барои вайрон кардани ҳошия ва таснифҳои нодуруст чӣ қадар ҷарима диҳад.

Дар омӯзиши мошинӣ одатан мехоҳем модел қонуниятҳои умумиро омӯзад, на ин ки ҳар ҷузъиёти додаҳои омӯзиширо айнан аз худ кунад. Додаҳои омӯзишӣ қариб ҳамеша то андозае ғавғо доранд.

Аз ин рӯ, иҷозат додан ба баъзе хатоҳо ҳангоми омӯзиш метавонад ба сохта шудани моделе мусоидат кунад, ки дар додаҳои нав беҳтар кор мекунад.

Дар SVM байни ин ду ҳадаф мувозинат вуҷуд дорад:

• ҳошияи васеътар, бо иҷозаи бештари вайроншавии ҳошия ё хато;
• ҳошияи тангтар, бо ҷаримаи сахттар барои чунин ҳолатҳо.

Ҳадаф ёфтани мувозинатест, ки модел на аз ҳад сахтгир ва на аз ҳад озод бошад. Бо тағйир додани C метавон ин мувозинатро идора кард.

Иҷозат додан ба ворид шудани баъзе нуқтаҳо ба дохили ҳошия ё ҳатто гузаштани онҳо ба тарафи нодурусти сарҳад ҳошияи нарм — soft margin ном дорад. Ин чандирӣ метавонад қобилияти умумисозии моделро беҳтар кунад.

Вақте C хурд аст:

• ҷаримаи вайрон кардани ҳошия камтар мешавад;
• модел ба чунин ҳолатҳо бештар таҳаммул мекунад;
• ҳошия одатан васеътар мешавад.

Дар маънои назариявии функсияи ҳадаф, C = 0 ҷаримаи ин хатоҳоро аз байн мебарад. Аммо татбиқҳои маъмули нармафзорӣ одатан қимати мусбати C-ро талаб мекунанд.

Баръакс, C-и калон ҷаримаи вайрон кардани ҳошияро зиёд мекунад. Модел кӯшиш мекунад, ки хатоҳоро дар додаҳои омӯзишӣ камтар кунад, ҳатто агар барои ин ҳошия тангтар шавад.

Ин метавонад моделро ба аз ҳад мутобиқшавӣ барад: он дар додаҳои омӯзишӣ хуб кор мекунад, аммо нуқтаҳои навро нодуруст тасниф мекунад.

Барои кам кардани чунин ҳолат метавон C-ро паст кард. Ин амал регуляризатсияро қавитар мекунад.

Қимати мувофиқи C одатан бо роҳи таҷрибавӣ интихоб мешавад. Ин ҷустуҷӯро метавон тавассути ҷустуҷӯи шабакавӣ — grid search худкор кард. Ин усул дар боби 15 баррасӣ мешавад.

Расми 10.4. Муқоисаи ҳошияи нарм ва ҳошияи сахт.

Дар расми 10.4 ҳамон як маҷмӯи додаҳо бо ду қимати C омӯзонида шудааст. Бо C-и хурд ҳошия васеъ аст ва нуқтаҳои зиёд ба дохили он ворид мешаванд — ҳамаи онҳо векторҳои такягоҳӣ мебошанд. Бо C-и калон ҳошия танг шуда, танҳо се нуқта сарҳадро муайян мекунад.

Ҳиллаи ядроӣ — Kernel Trick

Мисолҳои то ин ҷо баррасишуда ду хусусият доштанд ва дар диаграммаи дученака нишон дода мешуданд. Аммо яке аз бартариҳои муҳими SVM қобилияти кор бо додаҳои серченака ва хусусиятҳои зиёд мебошад.

SVM метавонад тавассути ҳиллаи ядроӣ — kernel trick робитаҳои ғайрихаттиро низ коркард кунад.

Ин равиш вақте муфид аст, ки додаҳоро дар фазои аслиашон бо сарҳади хаттӣ ҷудо кардан имконнопазир бошад. Ядро имкон медиҳад, ки ҳисобҳо гӯё дар фазои дорои ченакҳои бештар анҷом дода шаванд.

Масалан, гузариш аз фазои дученака ба сеченака метавонад имкон диҳад, ки додаҳоро бо як ҳамворӣ ҷудо кунем. Дар расми 10.5 ситораҳо дар маркази доира ва доираҳо дар атрофи онҳо ҷойгиранд — ҳеҷ хати рост онҳоро ҷудо намекунад. Агар ба ҳар нуқта ченаки сеюм — x₁² + x₂², яъне квадрати масофа то марказ — илова кунем, ситораҳо поён ва доираҳо боло мемонанд ва як ҳамвории уфуқӣ онҳоро ҷудо мекунад.

Ба ибораи дигар, kernel trick имкон медиҳад, ки додаҳои дорои сохтори ғайрихаттӣ бо истифода аз ҷудокунии хаттӣ дар фазои ченакбаландтар тасниф шаванд. Барои ин ҳатман ҳамаи координатаҳои фазои навро ошкоро ҳисоб кардан лозим нест.

Расми 10.5. Дар фазои дученака сарҳади ҷудокунӣ ғайрихаттӣ аст, аммо дар намоиши сеченака додаҳоро бо ҳамвории хаттӣ ҷудо кардан мумкин мешавад.

Миқёсбандии хусусиятҳо

Ҳангоми истифодаи SVM бояд дар хотир дошт, ки он метавонад ба миқёси хусусиятҳо ҳассос бошад. Аз ин рӯ, пеш аз омӯзиш мумкин аст миқёсбандии додаҳо лозим шавад.

Бо истифода аз стандартизатсия (боби 3) қиматҳои ҳар хусусиятро метавон тавре табдил дод, ки миёнаи онҳо 0 ва инҳирофи стандартии онҳо 1 шавад.

Дар Scikit-learn барои ин аз StandardScaler истифода мебаранд.

Ҳуҷҷатҳои он дар ин нишонӣ дастрасанд:

Ҳуҷҷатҳои StandardScaler

Маҳдудиятҳои SVM

Яке аз камбудиҳои SVM, махсусан навъҳои ядроии он, вақти омӯзиш мебошад. Дар муқоиса бо регрессияи логистикӣ ва баъзе алгоритмҳои дигари тасниф, омӯзиш метавонад бештар вақт талаб кунад.

Ҳангоми зиёд шудани шумораи сатрҳои маҷмӯи додаҳо, маҳдудиятҳои суръат ва захираҳои ҳисоббарорӣ метавонанд ҷиддӣ шаванд.

Бо вуҷуди ин, SVM метавонад барои маҷмӯаҳои хурд ва миёнаи дорои робитаҳои мураккаб, инчунин барои додаҳои серченака, усули самаранок бошад.

Чиро бояд дар ёд дошт

• SVM сарҳадеро интихоб мекунад, ки то наздиктарин нуқтаҳои ҳар ду синф масофаи ҳарчи бештар дошта бошад; ин масофа ҳошия ном дорад.
• Сарҳадро танҳо векторҳои такягоҳӣ — нуқтаҳои канори ҳошия — муайян мекунанд, бинобар ин нуқтаҳои дур ба он кам таъсир мерасонанд.
• C-и хурд ҳошияи васеъ ва нарм медиҳад, C-и калон ҳошияи танг ва сахт; C-и аз ҳад калон метавонад ба аз ҳад мутобиқшавӣ оварад.
• Ҳиллаи ядроӣ ба SVM имкон медиҳад, ки сарҳадҳои ғайрихаттӣ созад.
• Пеш аз SVM хусусиятҳоро стандартизатсия кунед; дар маҷмӯаҳои хеле калон омӯзиши SVM суст мешавад.