Боби 2. Гурӯҳҳои омӯзиши мошинӣ

Дар ин боб меомӯзем

• Се гурӯҳи асосии омӯзиши мошинӣ: назоратшаванда, беназорат ва тақвиятӣ.
• Тағйирёбандаҳои мустақил (X) ва вобаста (y) чистанд.
• Фарқи додаҳои нишонагузоришуда ва бенишона.
• Чаро омӯзиши беназорат дар ошкор кардани қаллобӣ муфид аст.
• Омӯзиши ниманазоратшаванда ва ғояи асосии Q-learning.

Омӯзиши мошинӣ чандсад алгоритми ба омор асосёфтаро дар бар мегирад. Интихоби алгоритм ё алгоритмҳои мувофиқ барои вазифаи муайян яке аз мушкилоти доимии кор дар ин соҳа мебошад. Пеш аз баррасии алгоритмҳои мушаххас, муҳим аст, ки се гурӯҳи асосии омӯзиши мошинӣ ва тарзи истифодаи тағйирёбандаҳои воридотӣ ва натиҷавиро дар онҳо дуруст фаҳмем.

Омӯзиши назоратшаванда

Омӯзиши назоратшаванда — supervised learning қобилияти моро барои ҷудо кардани қолабҳо аз мисолҳои маълум ва истифодаи дониши ҳосилшуда барои ба даст овардани натиҷаи такроршаванда тақлид мекунад.

Ширкати Toyota нахустин намунаи озмоишии мошини худро бо ҳамин равиш тарҳрезӣ кард. Toyota ба ҷойи тахмин кардан ё офаридани раванди комилан нави истеҳсоли мошин, дар як гӯшаи корхонаи оилавии дастгоҳҳои бофандагии худ мошини Chevrolet-ро қисм ба қисм ҷудо кард. Муҳандисони Toyota бо мушоҳидаи мошини тайёр — натиҷа — ва сипас ҷудо кардани ҷузъҳои он — додаҳои воридотӣ — раванди тарҳрезиеро дарк карданд, ки Chevrolet дар Амрико махфӣ нигоҳ медошт.

Дар омӯзиши мошинӣ ин раванди фаҳмидани робитаи байни додаҳои воридотӣ ва натиҷаи маълум тавассути омӯзиши назоратшаванда амалӣ мешавад. Модел робитаи байни додаҳои воридотӣ ва натиҷавиро таҳлил карда, қолабҳои аслии онҳоро меомӯзад.

Додаҳои воридотиро тағйирёбандаи мустақил меноманд ва бо ҳарфи калони X ишора мекунанд. Додаҳои натиҷавӣ бошанд, тағйирёбандаи вобаста ном доранд ва бо ҳарфи хурди y ишора мешаванд.

Намунаҳои тағйирёбандаи вобаста — y — метавонанд чунин бошанд:

• координатаҳои чорчӯбаи росткунҷа дар атрофи шахс дар акси рақамӣ, барои шинохти чеҳра;
• нархи хона;
• синфи ашё, масалан, мошини варзишӣ, мошини оилавӣ ё седан.

Тағйирёбандаҳои мустақили мувофиқ, ки эҳтимол ба натиҷа таъсир мерасонанд, метавонанд мутаносибан ранги пикселҳо, масоҳат ва ҷойгиршавии хона, инчунин хусусиятҳои техникии мошин бошанд.

Пас аз таҳлили шумораи кофии мисолҳо, мошин модел месозад: формулаи алгоритмие, ки дар асоси қолабҳои мисолҳои пешинаи «воридот — натиҷа» натиҷаи нав ҳосил мекунад.

Баъдан мошин метавонад бо истифода аз модел танҳо дар асоси додаҳои воридотӣ натиҷаро пешгӯӣ кунад. Масалан, нархи бозории Lexus-и истифодашудаи шуморо метавон бо истифода аз мисолҳои нишонагузоришудаи мошинҳои дигаре арзёбӣ кард, ки ба наздикӣ дар сомонаи фурӯши мошинҳои истифодашуда фурӯхта шудаанд.

Ҷадвали 2.1. Порчае аз маҷмӯи додаҳои мошинҳои истифодашуда.

Сутуни охирин — Нарх — натиҷа, яъне тағйирёбандаи вобаста (y) аст. Сутунҳои дигар хусусиятҳои мошин, яъне тағйирёбандаҳои мустақил (X) мебошанд.

Бо дастрасӣ ба нархи фурӯши мошинҳои монанд, модел метавонад аз натиҷа ба сабаб баргашта, робитаи байни арзиши мошин — натиҷа — ва хусусиятҳои он — воридот — ро муайян кунад. Сипас хусусиятҳои мошини шуморо ба модел медиҳанд, то нархи онро пешгӯӣ кунад.

Расми 2.1. Додаҳои воридотӣ — X — ба модел дода мешаванд, то пешгӯии нав — y — ҳосил шавад.

Ба модел метавон додаҳои воридотие дод, ки натиҷаи онҳо номаълум аст, то модел онро пешгӯӣ кунад. Аммо барои сохтани модели омӯзиши назоратшаванда додаҳои бенишона кофӣ нестанд.

Ҳангоми сохтани чунин модел ҳар намуна — масалан, мошин, маҳсулот ё муштарӣ — бояд дорои қиматҳои маълуми воридотӣ ва натиҷавӣ бошад. Дар илми додаҳо инро маҷмӯи додаҳои нишонагузоришуда меноманд.

Дар расми 2.2 се намунаи нишонагузоришуда ва як намунаи бенишона нишон дода шудааст: қимати натиҷавии сатри охирин номаълум аст.

Расми 2.2. Додаҳои нишонагузоришуда ва додаҳои бенишона.

Ба алгоритмҳои маъмули омӯзиши назоратшаванда инҳо дохил мешаванд:

• таҳлили регрессия, аз ҷумла регрессияи хаттӣ, логистикӣ ва ғайрихаттӣ (бобҳои 5 ва 6);
• дарахтҳои қарор (боби 12);
• усули k ҳамсояи наздиктарин — k-nearest neighbors (боби 7);
• шабакаҳои нейронӣ (боби 11);
• мошинҳои векторҳои такягоҳӣ — support vector machines (боби 10).

Ҳар яке аз ин усулҳо дар бобҳои минбаъда баррасӣ мешавад.

Омӯзиши беназорат

Дар омӯзиши беназорат — unsupervised learning натиҷаҳо нишонагузорӣ нашудаанд ва ҷуфтҳои маълуми тағйирёбандаҳои воридотӣ ва натиҷавӣ вуҷуд надоранд.

Ба ҷойи ин, омӯзиши беназорат ба таҳлили робитаҳои байни тағйирёбандаҳои воридотӣ ва ошкор кардани қолабҳои пинҳон тамаркуз мекунад. Аз ин қолабҳо метавон барои сохтани нишонаҳои нав дар бораи натиҷаҳои эҳтимолӣ истифода бурд.

Масалан, агар намунаҳои додаҳоро аз рӯйи рафтори харидории муштариёни корхонаҳои хурду миёна — SME — ва корхонаҳои бузург гурӯҳбандӣ кунед, эҳтимол ду кластер, яъне ду гурӯҳи додаҳо, пайдо мешавад. Сабаб ин аст, ки корхонаҳои хурду миёна ва ширкатҳои бузург одатан ниёзҳои гуногуни харидорӣ доранд.

Масалан, ҳангоми хариди инфрасохтори ҳисоббарории абрӣ барои аксари корхонаҳои хурду миёна хидматҳои асосии мизбонии абрӣ ва шабакаи расонидани муҳтаво — CDN кофӣ буда метавонанд.

Аммо ширкатҳои бузург эҳтимол маҷмӯи васеътари маҳсулоти абрӣ ва роҳҳалҳои мукаммалро мехаранд. Ба онҳо воситаҳои пешрафтаи амниятӣ ва шабакавӣ, аз қабили сипари барномаҳои веб — WAF, пайвасти хусусии ҷудошуда ва абри хусусии маҷозӣ — VPC дохил мешаванд.

Омӯзиши беназорат бо таҳлили одатҳои харидории муштариён метавонад ин ду гурӯҳро муайян кунад, ҳатто агар нишонаҳои махсусе набошанд, ки ширкатҳоро ҳамчун хурду миёна ё бузург тасниф кунанд.

Бартарии омӯзиши беназорат дар он аст, ки имкон медиҳад қолабҳоеро дар додаҳо кашф кунед, ки қаблан аз онҳо огоҳ набудед. Масалан, метавонед фаҳмед, ки ду навъи асосии муштарӣ вуҷуд дорад. Пас аз муайян шудани гурӯҳҳои нав, ин натиҷа барои таҳлилҳои минбаъда замина фароҳам меорад.

Омӯзиши беназорат махсусан дар ошкорсозии қаллобӣ ҷолиб аст, зеро хатарноктарин ҳамлаҳо аксаран ҳамонҳое мебошанд, ки ҳанӯз тасниф нашудаанд.

Яке аз мисолҳои ҷолиб ширкати DataVisor мебошад, ки модели тиҷоратии худро бар омӯзиши беназорат асос гузоштааст. Ин ширкат соли 2013 дар Калифорния таъсис ёфта, муштариёнро аз фаъолиятҳои қаллобонаи интернетӣ, аз ҷумла спам, шарҳҳои қалбакӣ, насбҳои сохтаи барномаҳо ва муомилоти қаллобона муҳофизат мекунад.

Хидматҳои анъанавии мубориза бо қаллобӣ ба моделҳои омӯзиши назоратшаванда ва низомҳои қоидамеҳвар такя мекунанд. DataVisor бошад, барои ошкор кардани гурӯҳҳои ҳанӯз таснифнашудаи ҳамлаҳо аз омӯзиши беназорат истифода мебарад.

Тавре DataVisor дар сомонаи худ шарҳ медиҳад, роҳҳалҳои мавҷуда барои ошкор кардани ҳамлаҳо ба таҷрибаи инсонӣ дар сохтани қоидаҳо ё ба додаҳои омӯзишии нишонагузоришуда барои танзими моделҳо такя мекунанд. Аз ин рӯ, онҳо наметавонанд ҳамлаҳои наверо ошкор кунанд, ки инсонҳо ҳанӯз муайян накардаанд ё дар додаҳои омӯзишӣ нишонагузорӣ нашудаанд.

Ба ибораи дигар, роҳҳалҳои анъанавӣ пайдарпайии фаъолиятҳои марбут ба навъи муайяни ҳамларо таҳлил карда, сипас барои пешгӯӣ ва ошкор кардани такрори он қоидаҳо месозанд.

Дар ин ҳолат, тағйирёбандаи вобаста — натиҷа — рӯй додани ҳамла мебошад. Тағйирёбандаҳои мустақил — воридот — нишондиҳандаҳои маъмули пешгӯии ҳамлаанд. Намунаҳои онҳо метавонанд чунин бошанд:

а) Фармоиши ногаҳонии калон аз корбари ношинос. Масалан, муштариёни доимӣ одатан барои ҳар фармоиш камтар аз 100 доллар сарф мекунанд, аммо корбари нав фавран пас аз сабти ҳисоб фармоиши 8000-долларӣ медиҳад.

б) Афзоиши ногаҳонии шумораи баҳогузориҳо ё шарҳҳои корбарон. Масалан, аксари китобҳои технологие, ки дар Amazon.com фурӯхта мешаванд, хеле кам дар як рӯз зиёда аз як шарҳи хонанда мегиранд. Умуман, тақрибан аз ҳар 200 хонандаи Amazon як нафар шарҳ мегузорад ва аксари китобҳо ҳафтаҳо ё моҳҳо бе шарҳи нав мемонанд.

Аммо баъзе китобҳои ҳамин бахш — илми додаҳо — дар як рӯз 50–100 шарҳ мегиранд! Тааҷҷубовар нест, ки баъди чанд ҳафта ё моҳ Amazon ин шарҳҳои шубҳанокро нест мекунад.

в) Шарҳҳои яксон ё монанд аз корбарони гуногун. Дар идомаи мисоли Amazon, баъзан шарҳҳои мусбате, ки хонандагон дар бораи як китоб навиштаанд, айнан дар саҳифаи китобҳои дигар низ пайдо мешаванд. Ҳатто номи муаллифи китоби аввал дар матни он шарҳҳо боқӣ мемонад!

Дар ниҳоят Amazon ин шарҳҳои қалбакиро нест карда, ҳисобҳои мазкурро барои вайрон кардани шартҳои истифода бозмедорад.

г) Нишонии шубҳаноки расонидани маҳсулот. Масалан, барои корхонаи хурде, ки одатан маҳсулотро ба муштариёни маҳаллӣ мефиристад, фармоиш аз минтақаи дурдасте, ки дар он маҳсулоташ таблиғ намешавад, дар баъзе ҳолатҳои нодир метавонад нишонаи қаллобӣ ё фаъолияти бадхоҳона бошад.

Амалҳои ҷудогонае, аз қабили фармоиши ногаҳонии калон ё нишонии дурдасти расонидан, шояд барои ошкор кардани ҷинояткории мураккаби киберӣ маълумоти кофӣ надиҳанд. Баръакс, онҳо метавонанд боиси як қатор натиҷаҳои мусбати бардурӯғ шаванд.

Аммо моделе, ки якҷоягии чанд тағйирёбандаи мустақилро назорат мекунад, одатан пешгӯии беҳтар медиҳад. Масалан, он метавонад фармоиши калони харид аз тарафи дигари ҷаҳон ё шумораи фавқулода зиёди шарҳҳои китобро, ки матнҳои мавҷудаи корбаронро такрор мекунанд, ба назар гирад.

Дар омӯзиши назоратшаванда модел ин тағйирёбандаҳои умумиро таҳлил ва тасниф карда, барои муайян кардан ва пешгирии такрори қонуншиканӣ низоми ошкорсозӣ месозад.

Аммо ҷинояткорони ботаҷрибаи киберӣ бо тағйир додани усулҳои худ аз чунин низомҳои одии қоидамеҳвари таснифӣ канорагирӣ карданро меомӯзанд.

Масалан, пеш аз ҳамла онҳо аксар вақт як ё чанд ҳисоб месозанд ва муддате бо тақлид кардани рафтори корбарони қонунӣ онҳоро фаъол нигоҳ медоранд. Сипас аз таърихи ҷамъшудаи ҳисобҳояшон истифода мебаранд, то аз низомҳои ошкорсозие, ки корбарони навро бодиққат назорат мекунанд, гузаранд.

Дар натиҷа, роҳҳалҳои ба омӯзиши назоратшаванда асосёфта аксар вақт гурӯҳҳои пинҳонии омодабошро то замони расидани зарар ошкор карда наметавонанд. Ин мушкил махсусан барои навъҳои нави ҳамлаҳо ҷиддӣ аст.

DataVisor ва дигар пешниҳодкунандагони роҳҳалҳои зиддиқаллобӣ барои бартараф кардани ин маҳдудиятҳо аз омӯзиши беназорат истифода мебаранд. Онҳо қолабҳои садҳо миллион ҳисобро таҳлил карда, робитаҳои шубҳаноки байни корбарон — воридот — ро муайян мекунанд, бе он ки гурӯҳи воқеии ҳамлаҳои оянда — натиҷа — ро пешакӣ донанд.

Бо гурӯҳбандӣ ва муайян кардани шахсони бадхоҳе, ки рафторашон аз рафтори маъмули корбарон фарқ мекунад, ширкатҳо метавонанд барои пешгирии навъҳои нави ҳамлаҳо чора бинанд. Натиҷаҳои ин ҳамлаҳо ҳанӯз номаълум ва нишонагузоринашудаанд.

Намунаҳои рафтори шубҳанок метавонанд чор ҳолати пештар зикршуда ё шаклҳои нави рафтори ғайримуқаррарӣ бошанд. Масалан, гурӯҳи корбарони навсабтшудае, ки ҳама як акси профил доранд.

Ширкатҳои ошкорсозии қаллобӣ, ба монанди DataVisor, бо ёфтани чунин робитаҳои нозук байни корбарон метавонанд гурӯҳҳои пинҳониро ҳанӯз дар марҳилаи омодагӣ ошкор кунанд.

Масалан, шумораи зиёди ҳисобҳои қалбакии Facebook метавонанд бо якдигар дӯст бошанд ва ҳамон саҳифаҳоро писанд гузоранд, аммо бо корбарони воқеӣ робита надошта бошанд. Азбаски чунин рафтори қаллобона ба робитаҳои сохтаи байни ҳисобҳо такя мекунад, омӯзиши беназорат барои ошкор кардани ҳамкорон ва шабакаҳои ҷиноятӣ ёрӣ медиҳад.

Камбудии омӯзиши беназорат дар он аст, ки маҷмӯи додаҳо нишонагузорӣ нашудааст. Аз ин рӯ, натиҷаҳои маълуми воқеӣ вуҷуд надоранд, ки моделро бо онҳо муқоиса ва дурустии онро санҷидан мумкин бошад. Бинобар ин, арзёбии пешгӯиҳо нисбат ба омӯзиши назоратшаванда бештар ба қазовати инсон вобаста мешавад.

Дар боби 8 омӯзиши беназоратро дар мисоли кластербандии k-means баррасӣ мекунем. Ба дигар намунаҳои он таҳлили шабакаҳои иҷтимоӣ ва алгоритмҳои кам кардани ченакнокии додаҳо дохил мешаванд.

Омӯзиши ниманазоратшаванда

Шакли омехтаи омӯзиши назоратшаванда ва беназорат омӯзиши ниманазоратшаванда — semi-supervised learning ном дорад. Он барои маҷмӯаҳои додаҳое истифода мешавад, ки ҳам намунаҳои нишонагузоришуда ва ҳам намунаҳои бенишона доранд.

Бо такя ба андешаи «ҳар қадар дода бештар бошад, ҳамон қадар беҳтар», ҳадафи омӯзиши ниманазоратшаванда истифодаи намунаҳои бенишона барои баланд бардоштани эътимоднокии модели пешгӯӣ мебошад.

Яке аз усулҳо чунин аст: аввал модел бо намунаҳои нишонагузоришуда тавассути омӯзиши назоратшаванда сохта мешавад. Сипас ҳамон модел барои нишонагузории намунаҳои боқимондаи бенишонаи маҷмӯи додаҳо истифода мегардад.

Баъд моделро бо маҷмӯи бузургтари додаҳо, ки дар он намунаҳои бенишона камтар шудаанд ё дигар вуҷуд надоранд, аз нав омӯзонидан мумкин аст.

Равиши дигар ин аст, ки моделро марҳила ба марҳила бо намунаҳои нав нишонагузоришуда бозомӯзӣ кунанд. Танҳо намунаҳое ба додаҳои омӯзишӣ илова мешаванд, ки дараҷаи эътимоди пешгӯии онҳо ба остонаи муайяншуда расидааст.

Аммо ҳеҷ кафолате нест, ки модели ниманазоратшаванда аз моделе беҳтар кор мекунад, ки танҳо бо додаҳои камтари ибтидоии нишонагузоришуда омӯзонида шудааст.

Омӯзиши тақвиятӣ

Омӯзиши тақвиятӣ — reinforcement learning гурӯҳи сеюм ва пешрафтаи омӯзиши мошинӣ мебошад. Бар хилофи омӯзиши назоратшаванда ва беназорат, он модели худро бо гирифтани бозхӯрд аз санҷишу хато ва истифодаи таҷрибаи давраҳои пешина месозад.

Ҳадафи омӯзиши тақвиятӣ расидан ба натиҷаи муайян тавассути санҷидани шумораи зиёди якҷоягиҳои имконпазири амалҳо ва баҳогузории натиҷаи онҳо мебошад.

Фаҳмидани омӯзиши тақвиятӣ метавонад душвор бошад. Эҳтимол беҳтарин роҳи шарҳи он мисоли бозии видеоӣ аст.

Вақте бозигар дар фазои маҷозии бозӣ пеш меравад, ӯ арзиши амалҳои гуногунро дар шароити мухталиф меомӯзад ва бо муҳити бозӣ бештар шинос мешавад. Арзишҳои омӯхташуда ба рафтори минбаъдаи ӯ таъсир мерасонанд. Ҳамин тавр, натиҷаи бозигар тадриҷан дар асоси омӯзиш ва таҷриба беҳтар мешавад.

Омӯзиши тақвиятӣ низ ба ҳамин монанд аст: алгоритмҳо моделро тавассути омӯзиши пайваста такмил медиҳанд.

Модели маъмули омӯзиши тақвиятӣ меъёрҳои ченшавандаи баҳогузории натиҷаҳоро дорад. Масалан, дар мавриди мошинҳои худрон пешгирӣ кардани бархӯрд баҳои мусбат мегирад. Дар шоҳмот низ пешгирӣ кардани бохт мусбат арзёбӣ мешавад.

Q-learning

Намунаи мушаххаси алгоритми омӯзиши тақвиятӣ Q-learning, ё омӯзиши Q, мебошад.

Дар Q-learning мо аз муҳите оғоз мекунем, ки маҷмӯи ҳолатҳои он бо S ишора мешавад. Дар бозии Pac-Man ҳолатҳо метавонанд вазъиятҳои гуногуни марбут ба монеаҳо, душманон ва роҳҳои мавҷуд дар бозӣ бошанд.

Масалан, аз тарафи чап девор, аз тарафи рост шабаҳ ва аз боло ҳаби қувватбахш ҷойгир шуда метавонад. Ҷойгиршавии ин унсурҳо вазъияти муайяни бозиро ташкил медиҳад.

Маҷмӯи амалҳои имконпазир барои вокуниш ба ин ҳолатҳо бо A ишора мешавад. Дар Pac-Man амалҳо бо ҳаракат ба чап, рост, боло ва поён ва пайдарпайиҳои гуногуни ин ҳаракатҳо маҳдуданд.

Рамзи муҳими сеюм Q мебошад. Дар мисоли мазкур қиматҳои ибтидоии Q ба 0 баробар гузошта мешаванд.

Ҳангоме ки Pac-Man фазои дохили бозиро меомӯзад, ду ҳодисаи асосӣ рух медиҳад:

1. Агар пас аз амали муайян дар ҳолати муайян рӯйдоди манфӣ ба амал ояд, қимати Q кам мешавад.
2. Агар пас аз амали муайян дар ҳолати муайян рӯйдоди мусбат ба амал ояд, қимати Q зиёд мешавад.

Дар Q-learning мошин меомӯзад, ки барои ҳар ҳолат амалеро интихоб кунад, ки қимати баландтарини Q-ро ба вуҷуд меорад ё нигоҳ медорад.

Дар оғоз он тавассути ҳаракатҳои тасодуфӣ — амалҳо — дар шароити гуногун — ҳолатҳо — меомӯзад. Модел натиҷаҳои худро, яъне подошҳо ва ҷаримаҳо, инчунин таъсири онҳоро ба қимати Q сабт мекунад. Сипас ин қиматҳоро барои роҳнамоӣ ва беҳтар кардани амалҳои оянда нигоҳ медорад.

Гарчанде ин раванд сода менамояд, татбиқи он захираҳои зиёди ҳисоббарориро талаб мекунад ва аз доираи муқаддимаи омӯзиши мошинӣ барои навомӯзон берун аст.

Аз ин рӯ, алгоритмҳои омӯзиши тақвиятӣ дар ин китоб минбаъд баррасӣ намешаванд. Бобҳои оянда ба омӯзиши назоратшаванда ва беназорат бахшида шудаанд.

Чиро бояд дар ёд дошт

• Дар омӯзиши назоратшаванда ҳар мисол ҳам воридот (X) ва ҳам натиҷаи маълум (y) дорад; модел робитаи байни онҳоро меомӯзад.
• Дар омӯзиши беназорат натиҷа маълум нест; модел гурӯҳҳо ва қолабҳои пинҳонро дар худи воридот меҷӯяд.
• Омӯзиши ниманазоратшаванда намунаҳои ками нишонагузоришуда ва намунаҳои зиёди бенишонаро якҷоя истифода мебарад.
• Омӯзиши тақвиятӣ бо санҷишу хато, подош ва ҷарима меомӯзад; Q-learning барои ҳар ҳолат амалеро меҷӯяд, ки қимати Q-и баландтарин дорад.