Боби 1. Манзараи омӯзиши мошинӣ

То чанде пеш, агар телефонатонро гирифта, аз он мепурсидед, ки роҳи хонаро нишон диҳад, он ба шумо эътино намекард ва одамон шояд ба солимии ақлатон шубҳа мекарданд. Аммо омӯзиши мошинӣ дигар хаёлоти илмӣ нест: миллиардҳо одамон ҳар рӯз аз он истифода мебаранд. Дар асл, он даҳсолаҳо боз дар баъзе барномаҳои махсус, аз ҷумла шинохти оптикии аломатҳо (OCR), истифода мешавад. Аввалин барномаи омӯзиши мошинӣ, ки воқеан оммавӣ шуда, зиндагии садҳо миллион одамро беҳтар кард, ҳанӯз дар солҳои 1990 ҷаҳонро бе сару садо фаро гирифт: филтри спам. Он, албатта, роботи худогоҳ нест, вале аз нигоҳи техникӣ намунаи омӯзиши мошинӣ ба ҳисоб меравад: он чунон хуб омӯхтааст, ки акнун шумо хеле кам маҷбур мешавед номаеро дастӣ ҳамчун спам қайд кунед. Сипас, ба шарофати додаҳои бузург, беҳтар шудани сахтафзор ва чанд навоварии алгоритмӣ, садҳо барномаи дигари омӯзиши мошинӣ пайдо шуданд. Имрӯз онҳо бе сару садо кори садҳо маҳсулот ва имкониятеро таъмин мекунанд, ки мунтазам истифода мебаред: фармонҳои овозӣ, тарҷумаи худкор, ҷустуҷӯи тасвир, тавсияи маҳсулот ва бисёр чизҳои дигар. Ниҳоят, ChatGPT, Gemini — ки пештар Bard ном дошт — Claude, Perplexity ва бисёр чатботҳои дигар пайдо шуданд: зеҳни сунъӣ дигар танҳо дар пасманзари хидматҳо кор намекунад, балки худаш ба хидмат табдил ёфтааст.

Омӯзиши мошинӣ аз куҷо оғоз мешавад ва дар куҷо ба поён мерасад? Воқеан, омӯхтани чизе аз тарафи мошин чӣ маъно дорад? Агар нусхаи ҳамаи мақолаҳои Википедияро боргирӣ кунам, оё компютери ман воқеан чизе омӯхтааст? Оё он ногаҳон донотар мешавад? Ин бобро аз шарҳи он оғоз мекунам, ки омӯзиши мошинӣ чист ва чаро шояд аз он истифода бурдан хоҳед.

Баъд, пеш аз он ки ба омӯхтани қитъаи омӯзиши мошинӣ роҳ бароем, ба харита нигоҳ карда, бо минтақаҳои асосӣ ва ҷойҳои муҳимтарини он шинос мешавем: омӯзиши бо назорат ва беназорат ва навъҳои онҳо; омӯзиши онлайн ва дастаӣ; омӯзиши бар асоси намуна ва бар асоси модел. Сипас раванди кори як лоиҳаи маъмулии омӯзиши мошиниро баррасӣ карда, дар бораи мушкилоти асосие, ки пеш меоянд, ва тарзи арзёбӣ ва танзими дақиқи чунин система суҳбат мекунем.

Дар ин боб мафҳумҳои бунёдӣ ва истилоҳҳои зиёде муаррифӣ мешаванд, ки ҳар мутахассиси илми додаҳо бояд онҳоро хуб донад. Ин баррасии умумӣ хоҳад буд — ягона бобест, ки рамзи барномавии зиёд надорад. Ҳама чиз нисбатан сода аст, аммо ҳадафам ин аст, ки пеш аз идомаи китоб ҳамаи ин мафҳумҳо бароятон комилан равшан шаванд. Пас, як пиёла қаҳва гиред ва оғоз мекунем!

Маслиҳат. Агар аллакай бо асосҳои омӯзиши мошинӣ шинос бошед, метавонед бевосита ба боби 2 гузаред.

Омӯзиши мошинӣ чист?

Омӯзиши мошинӣ илм ва ҳунари барномарезии компютерҳост, то онҳо аз додаҳо омӯзанд.

Ин таъриф каме умумитар аст:

[Омӯзиши мошинӣ] соҳаи омӯзишест, ки ба компютерҳо қобилияти омӯхтанро бе барномарезии ошкору мустақим медиҳад.

Артур Самуэл, 1959

Ва таърифи дигаре, ки ба муҳандисӣ наздиктар аст:

Мегӯянд, ки барномаи компютерӣ нисбат ба вазифаи муайяни T ва меъёри муайяни самаранокии P аз таҷрибаи E меомӯзад, агар самаранокии он дар иҷрои T, ки бо P чен мешавад, бо зиёд шудани таҷрибаи E беҳтар гардад.

Том Митчелл, 1997

Филтри спами шумо барномаи омӯзиши мошинист. Вақте ба он намунаҳои номаҳои спам — ки корбарон қайд кардаанд — ва номаҳои одӣ — ғайриспам, ки онҳоро «ham» низ мегӯянд — пешниҳод мешаванд, он метавонад муайян кардани спамро омӯзад. Мисолҳое, ки система барои омӯхтан истифода мебарад, маҷмӯи омӯзишӣ ном доранд. Ҳар мисоли омӯзишӣ намунаи омӯзишӣ ё танҳо намуна номида мешавад. Қисми системаи омӯзиши мошинӣ, ки меомӯзад ва пешгӯӣ мекунад, модел ном дорад. Шабакаҳои нейронӣ ва ҷангалҳои тасодуфӣ намунаҳои модел мебошанд.

Дар ин мисол вазифаи T муайян кардани спам дар номаҳои нав ва таҷрибаи E додаҳои омӯзишӣ мебошад. Меъёри самаранокии P-ро бояд муайян кард: масалан, метавон ҳиссаи номаҳои дуруст таснифшударо истифода бурд. Ин меъёри мушаххас дурустӣ (accuracy) ном дорад ва дар вазифаҳои таснифбандӣ бисёр истифода мешавад. Дар боби 3 чанд меъёри дигарро низ баррасӣ мекунем.

Агар танҳо нусхаи ҳамаи мақолаҳои Википедияро боргирӣ кунед, компютератон додаҳои бештар хоҳад дошт, аммо ногаҳон ягон вазифаро беҳтар иҷро намекунад. Ин омӯзиши мошинӣ нест.

Чаро омӯзиши мошиниро истифода мебарем?

Тасаввур кунед, ки бо усулҳои анъанавии барномарезӣ чӣ гуна филтри спам менависед (расми 1.1):

1. Аввал месанҷед, ки спам одатан чӣ гуна аст. Шояд пай баред, ки баъзе калимаҳо ё ибораҳо, масалан «4U», «credit card» («корти қарзӣ»), «free» («ройгон») ва «amazing» («аҷоиб»), дар сатри мавзуъ бисёр такрор мешаванд. Эҳтимол дар номи фиристанда, матн ва дигар қисмҳои нома низ чанд қонуниятро мушоҳида кунед.
2. Барои ҳар қонунияте, ки ёфтаед, алгоритми ошкорсозӣ менависед. Агар дар нома чанде аз ин аломатҳо пайдо шаванд, барнома онро ҳамчун спам қайд мекунад.
3. Барномаро месанҷед ва қадамҳои 1 ва 2-ро то он дам такрор мекунед, ки барнома барои ба кор даровардан ба қадри кофӣ хуб шавад.

Расми 1.1. Равиши анъанавӣ.

Азбаски масъала душвор аст, эҳтимол барнома ба рӯйхати дарози қоидаҳои мураккаб табдил меёбад, ки нигоҳдории он хеле мушкил хоҳад буд.

Филтри спаме, ки бар омӯзиши мошинӣ асос ёфтааст, худкор меомӯзад, ки кадом калимаҳо ва ибораҳо нишонаҳои хуби спаманд. Барои ин он қолабҳои калимаҳоеро пайдо мекунад, ки дар намунаҳои спам нисбат ба номаҳои одӣ ба таври ғайриодӣ бештар вомехӯранд (расми 1.2). Чунин барнома хеле кӯтоҳтар аст, нигоҳдории он осонтар буда, эҳтимол дурусттар ҳам кор мекунад.

Расми 1.2. Равиши омӯзиши мошинӣ.

Агар фиристандагони спам пай баранд, ки ҳамаи номаҳои дорои «4U» баста мешаванд, чӣ мешавад? Шояд ба ҷойи он «For U» нависанд. Филтре, ки бо усулҳои анъанавӣ навишта шудааст, бояд нав карда шавад, то номаҳои дорои «For U»-ро низ муайян кунад. Агар фиристандагони спам пайваста роҳҳои гузаштан аз филтрро ёбанд, шумо маҷбур мешавед беохир қоидаҳои нав нависед.

Филтри бар асоси омӯзиши мошинӣ худкор пай мебарад, ки «For U» дар номаҳои аз тарафи корбарон ҳамчун спам қайдшуда ғайриодӣ зиёд шудааст ва бе дахолати шумо онҳоро қайд кардан мегирад (расми 1.3).

Расми 1.3. Мутобиқшавии худкор ба тағйирот.

Омӯзиши мошинӣ инчунин дар масъалаҳое хуб кор мекунад, ки барои равишҳои анъанавӣ аз ҳад мураккабанд ё алгоритми ҳалли маълуми онҳо вуҷуд надорад. Масалан, шинохти нутқро гирем. Фарз мекунем, ки мехоҳед аз кори сода оғоз карда, барномае нависед, ки калимаҳои англисии «one» ва «two»-ро аз ҳам фарқ кунад. Шояд пай баред, ки «two» бо садои басомадаш баланд — «T» — оғоз мешавад. Метавон алгоритмеро мустақиман дар рамз ҷой дод, ки шиддати садои басомадаш баландро чен карда, бо ҳамин «one» ва «two»-ро фарқ кунад. Аммо маълум аст, ки ин усул барои ҳазорон калимае, ки миллионҳо одамони гуногун дар муҳитҳои пурғавғо ва бо даҳҳо забон мегӯянд, кор намекунад. Беҳтарин роҳи ҳал, ҳадди ақал имрӯз, навиштани алгоритмест, ки бо гирифтани сабтҳои зиёди ҳар калима худаш меомӯзад.

Ниҳоят, омӯзиши мошинӣ метавонад ба одамон ҳам дар омӯхтан ёрӣ диҳад (расми 1.4). Моделҳои онро метавон таҳлил кард, то бифаҳмем чӣ омӯхтаанд, ҳарчанд барои баъзе моделҳо ин кор душвор аст. Масалан, пас аз он ки филтри спам бо намунаҳои кофӣ омӯзонида шуд, метавон рӯйхати калимаҳо ва таркибҳои калимаҳоеро муайян кард, ки аз назари модел беҳтарин нишонаҳои спаманд. Баъзан ин кор ҳамбастагиҳои ғайричашмдошт ё тамоюлҳои навро ошкор карда, ба дарки беҳтари масъала мерасонад. Ҷустуҷӯи қонуниятҳои пинҳон дар ҳаҷми зиёди додаҳо додакавӣ (data mining) ном дорад ва омӯзиши мошинӣ дар ин кор хеле тавоност.

Расми 1.4. Омӯзиши мошинӣ метавонад ба омӯхтани одамон ёрӣ диҳад.

Пас, омӯзиши мошинӣ барои чунин ҳолатҳо хеле мувофиқ аст:

• Масъалаҳое, ки роҳҳои ҳалли мавҷудаашон кор ва нигоҳдории зиёд мехоҳанд, масалан рӯйхатҳои дарози қоидаҳо. Модели омӯзиши мошинӣ аксар вақт рамзро сода карда, аз равиши анъанавӣ беҳтар кор мекунад.
• Масъалаҳои мураккабе, ки равиши анъанавӣ барои онҳо роҳи ҳалли хуб намедиҳад. Усулҳои беҳтарини омӯзиши мошинӣ шояд роҳи ҳал ёбанд.
• Муҳитҳои тағйирёбанда. Системаи омӯзиши мошиниро метавон бо додаҳои нав ба осонӣ бозомӯзӣ карда, ҳамеша ба рӯз нигоҳ дошт.
• Дарёфти фаҳмиши нав дар бораи масъалаҳои мураккаб ва ҳаҷми зиёди додаҳо.

Намунаҳои истифода

Биёед чанд вазифаи мушаххаси омӯзиши мошинӣ ва усулҳои ҳалли онҳоро бинем.

Таҳлили тасвирҳои маҳсулот дар хатти истеҳсол барои таснифбандии худкори онҳо. Ин таснифбандии тасвир аст, ки одатан бо шабакаҳои нейронии конволютсионӣ (CNN; боби 12) ё трансформерҳои биноӣ (боби 16) иҷро мешавад.

Ошкор кардани омосҳо дар тасвирҳои скании мағзи сар. Ин сегментатсияи маъноии тасвир аст: ҳар пиксели тасвир тасниф мешавад, зеро мехоҳем ҷой ва шакли дақиқи омосҳоро муайян кунем. Одатан CNN ё трансформерҳои биноӣ истифода мешаванд.

Таснифбандии худкори мақолаҳои хабарӣ. Ин коркарди забони табиӣ (NLP) ва, мушаххастар, таснифбандии матн аст. Онро бо шабакаҳои нейронии бозгаштӣ (RNN) ва CNN ҳал кардан мумкин аст, аммо трансформерҳо боз ҳам беҳтар кор мекунанд (боби 15).

Қайд кардани худкори шарҳҳои таҳқиромез дар форумҳо. Ин ҳам таснифбандии матн аст ва бо ҳамон воситаҳои NLP иҷро мешавад.

Хулосакунии худкори ҳуҷҷатҳои дароз. Ин шохаи NLP, ки хулосакунии матн ном дорад, боз ҳамон воситаҳоро истифода мебарад.

Арзёбии хавфи ирсии шахс барои бемории муайян бо таҳлили пайдарпайии хеле дарози ДНК. Чунин вазифа кашфи қонуниятҳоеро талаб мекунад, ки дар қисмҳои аз ҳам дури пайдарпайиҳои хеле дароз ҷойгиранд. Дар ин кор моделҳои фазои ҳолат (SSM) махсусан тавоноянд. Ба бахши «State-Space Models (SSMs)» дар homl.info нигаред.

Сохтани чатбот ё ёвари шахсӣ. Ин ҷузъҳои гуногуни NLP, аз ҷумла фаҳмиши забони табиӣ (NLU) ва модулҳои саволу ҷавобро дар бар мегирад.

Пешгӯии даромади ширкат барои соли оянда бар асоси нишондиҳандаҳои зиёди фаъолият. Ин вазифаи регрессия, яъне пешгӯии қиматҳо мебошад. Онро бо ҳар модели регрессия, аз ҷумла регрессияи хаттӣ ё бисёрузвагӣ (боби 4), мошини векторҳои такягоҳӣ барои регрессия — замимаи онлайнии SVM дар homl.info — ҷангали тасодуфии регрессия (боби 6) ё шабакаи нейронии сунъӣ (боби 9) ҳал кардан мумкин аст. Агар пайдарпайиҳои нишондиҳандаҳои гузашта низ ба назар гирифта шаванд, RNN, CNN ё трансформерҳо мувофиқанд (бобҳои 13–15).

Вокуниши барнома ба фармонҳои овозӣ. Ин шинохти нутқ аст, ки коркарди намунаҳои аудиоиро талаб мекунад. Азбаски онҳо пайдарпайиҳои дарозу мураккабанд, одатан RNN, CNN ё трансформерҳо истифода мешаванд (бобҳои 13–15).

Ошкор кардани қаллобӣ бо кортҳои қарзӣ. Ин ошкорсозии ҳолатҳои ғайриодӣ (anomaly detection) аст, ки онро бо ҷангалҳои ҷудокунанда, моделҳои омехтаи гауссӣ (боби 8) ё автоэнкодерҳо (боби 18) ҳал кардан мумкин аст.

Гурӯҳбандии муштариён аз рӯйи харидҳояшон барои таҳияи стратегияи алоҳидаи бозорёбӣ барои ҳар гурӯҳ. Ин кластербандӣ аст, ки бо k-means, DBSCAN ва усулҳои дигар иҷро мешавад (боби 8).

Намоиши маҷмӯи мураккаби додаҳои дорои андозаҳои зиёд дар диаграммаи равшану фаҳмо. Ин тасвирсозии додаҳо мебошад, ки аксар вақт аз усулҳои коҳиши андозанокӣ истифода мебарад (боби 7).

Тавсияи маҳсулоти эҳтимолан ҷолиб барои муштарӣ бар асоси харидҳои пешина. Ин системаи тавсиядиҳанда аст. Як равиш ин аст, ки харидҳои гузашта ва маълумоти дигари муштариро ба шабакаи нейронии сунъӣ диҳем (боби 9), то эҳтимолитарин хариди навбатиро барорад. Чунин шабака одатан бо пайдарпайиҳои харидҳои пешинаи ҳамаи муштариён омӯзонида мешавад.

Сохтани боти доно барои бозӣ. Ин корро аксар вақт бо омӯзиши тақвиятӣ (RL; боби 19) ҳал мекунанд. Он шохаи омӯзиши мошинист, ки агентҳоро, масалан ботҳо, меомӯзонад дар муҳити муайян, масалан бозӣ, амалҳоеро интихоб кунанд, ки мукофоти умумии онҳоро бо гузашти вақт бештар месозанд. Масалан, бот метавонад ҳар боре, ки бозигар чанд холи ҳаёташро аз даст медиҳад, мукофот гирад. Барномаи машҳури AlphaGo, ки қаҳрамони ҷаҳонро дар бозии го мағлуб кард, бо истифодаи RL сохта шудааст.

Ин рӯйхатро метавон хеле дароз кард, аммо умедворам он ба шумо дар бораи фарохӣ ва мураккабии вазифаҳои ҳалшаванда бо омӯзиши мошинӣ ва усулҳои мувофиқ барои ҳар вазифа тасаввур дод.

Навъҳои системаҳои омӯзиши мошинӣ

Навъҳои чунин системаҳо он қадар зиёданд, ки онҳоро аз рӯйи меъёрҳои зерин ба гурӯҳҳои калон ҷудо кардан муфид аст:

• Чӣ гуна ҳангоми омӯзиш роҳнамоӣ мешаванд: омӯзиши бо назорат, беназорат, ниманазоратӣ, худназоратӣ ва ғайра.
• Оё метавонанд дар ҷараёни кор тадриҷан омӯзанд: омӯзиши онлайн ё дастаӣ.
• Оё танҳо нуқтаҳои нави додаҳоро бо нуқтаҳои маълум муқоиса мекунанд ё, мисли олимон, дар додаҳои омӯзишӣ қонуниятҳоро ёфта, модели пешгӯӣ месозанд: омӯзиши бар асоси намуна ё бар асоси модел.

Ин меъёрҳо ҳамдигарро истисно намекунанд ва онҳоро ба ҳар тарз метавон якҷо кард. Масалан, филтри муосири спам метавонад дар ҷараёни кор бо модели шабакаи нейронии амиқ омӯзад ва барои омӯзиш намунаҳои спам ва номаҳои одии аз тарафи одамон пешниҳодшударо истифода барад. Пас, он системаи омӯзиши онлайн, бар асоси модел ва бо назорат мебошад.

Ҳар меъёрро муфассалтар мебинем.

Назорат ҳангоми омӯзиш

Системаҳои омӯзиши мошиниро аз рӯйи ҳаҷм ва навъи назорате, ки ҳангоми омӯзиш мегиранд, гурӯҳбандӣ кардан мумкин аст. Гурӯҳҳо зиёданд, вале асосиҳоро баррасӣ мекунем: омӯзиши бо назорат, беназорат, худназоратӣ, ниманазоратӣ ва тақвиятӣ.

Омӯзиши бо назорат

Дар омӯзиши бо назорат (supervised learning) маҷмӯи омӯзишие, ки ба алгоритм медиҳед, ҷавобҳои дилхоҳро низ дар бар мегирад. Ин ҷавобҳо барчаспҳо (labels) ном доранд (расми 1.5).

Расми 1.5. Маҷмӯи омӯзишии барчаспдор барои таснифбандии спам — намунаи омӯзиши бо назорат.

Яке аз вазифаҳои маъмулии омӯзиши бо назорат таснифбандӣ аст. Филтри спам мисоли хубест: он бо намунаҳои зиёди номаҳо ва синфи онҳо — спам ё ғайриспам — омӯзонида мешавад ва бояд тасниф кардани номаҳои навро омӯзад.

Вазифаи маъмулии дигар пешгӯии қимати ададии ҳадаф, масалан нархи мошин, аз рӯйи маҷмӯи хусусиятҳо — масофаи тайшуда, синну сол, тамға ва ғайра — мебошад. Ин навъи вазифа регрессия ном дорад (расми 1.6). Барои омӯзонидани система бояд ба он намунаҳои зиёди мошинҳоро бо хусусиятҳо ва қиматҳои ҳадафашон, яъне нархҳо, пешниҳод кунед.

Баъзе моделҳои регрессия барои таснифбандӣ низ истифода мешаванд ва баръакс. Масалан, регрессияи логистикӣ одатан барои таснифбандӣ истифода мешавад, зеро метавонад қиматеро барорад, ки ба эҳтимоли мансубият ба синфи муайян мувофиқ аст, масалан эҳтимоли 20-фоизаи спам будан.

Расми 1.6. Масъалаи регрессия: пешгӯии қимат аз рӯйи хусусияти воридотӣ. Одатан хусусиятҳои воридотӣ якчандтоянд ва баъзан қиматҳои баромад низ якчандто мешаванд.

Эзоҳ. Дар омӯзиши бо назорат калимаҳои ҳадаф (target) ва барчасп (label) одатан ҳаммаъно шумурда мешаванд, аммо «ҳадаф» бештар дар регрессия ва «барчасп» бештар дар таснифбандӣ истифода мешавад. Хусусиятҳоро баъзан пешгӯикунандаҳо (predictors) ё атрибутҳо (attributes) низ меноманд. Ин истилоҳҳо метавонанд ба як намуна ишора кунанд, масалан «хусусияти масофаи тайкардаи ин мошин ба 15 000 баробар аст», ё ба ҳамаи намунаҳо, масалан «хусусияти масофаи тайшуда бо нарх ҳамбастагии қавӣ дорад».

Омӯзиши беназорат

Дар омӯзиши беназорат (unsupervised learning), чунон ки шояд тахмин кардед, додаҳои омӯзишӣ барчасп надоранд. Система кӯшиш мекунад бе омӯзгор омӯзад.

Масалан, фарз мекунем дар бораи меҳмонони блоги худ додаҳои зиёд доред. Метавонед алгоритми кластербандиро ба кор андозед, то гурӯҳҳои меҳмонони ба ҳам монандро ёбед (расми 1.7). Хусусиятҳо метавонанд гурӯҳи синнусолии корбар, минтақа, шавқу ҳавас, давомнокии нишастҳои истифода ва ғайра бошанд. Шумо ҳеҷ гоҳ ба алгоритм намегӯед, ки меҳмон ба кадом гурӯҳ тааллуқ дорад: он ин робитаҳоро бе ёрии шумо меёбад. Масалан, шояд пай барад, ки 40 фоизи меҳмонон наврасони дӯстдори комиксанд ва одатан баъди дарс блогро мехонанд, дар ҳоле ки 20 фоиз калонсолони дӯстдори асарҳои тахайюлии илмӣ буда, рӯзҳои истироҳат ба блог меоянд. Агар алгоритми кластербандии иерархиро истифода баред, он метавонад ҳар гурӯҳро боз ба гурӯҳҳои хурдтар ҷудо кунад. Ин ба шумо ёрӣ медиҳад барои ҳар гурӯҳ навиштаҳои мувофиқ омода кунед.

Расми 1.7. Кластербандӣ.

Алгоритмҳои тасвирсозӣ низ намунаҳои хуби омӯзиши беназоратанд: ба онҳо додаҳои зиёди мураккабу бебарчасп медиҳед ва онҳо намоиши дученака ё сеченакаи додаҳоро ҳосил мекунанд, ки ба осонӣ ба шакли график кашидан мумкин аст (расми 1.8). Ин алгоритмҳо мекӯшанд сохтори додаҳоро то ҳадди имкон нигоҳ доранд. Масалан, кӯшиш мекунанд кластерҳое, ки дар фазои воридот аз ҳам ҷудоянд, дар тасвир болои ҳам наафтанд. Бо ин роҳ метавонед бифаҳмед, ки додаҳо чӣ гуна ташкил шудаанд ва шояд қонуниятҳои ғайричашмдоштро пайдо кунед.

Вазифаи наздик ба ин коҳиши андозанокӣ (dimensionality reduction) аст: ҳадаф сода кардани додаҳо бе аз даст додани маълумоти зиёд мебошад. Як роҳ якҷо кардани чанд хусусияти ҳамбаста ба як хусусият аст. Масалан, масофаи тайкардаи мошин метавонад бо синну соли он ҳамбастагии қавӣ дошта бошад. Алгоритми коҳиши андозанокӣ онҳоро ба як хусусияте муттаҳид мекунад, ки фарсудашавии мошинро ифода менамояд. Ин истихроҷи хусусиятҳо (feature extraction) ном дорад.

Маслиҳат. Аксар вақт хуб аст, ки пеш аз додани додаҳои омӯзишӣ ба алгоритми дигари омӯзиши мошинӣ, масалан алгоритми омӯзиши бо назорат, шумораи андозаҳои онҳоро бо алгоритми коҳиши андозанокӣ кам кунед. Алгоритм хеле тезтар кор мекунад, додаҳо дар диск ва хотира ҷойи камтар мегиранд ва дар баъзе ҳолатҳо сифати натиҷа низ беҳтар мешавад.

Расми 1.8. Намунаи тасвирсозӣ бо t-SNE, ки кластерҳои маъноиро равшан мекунад.

Вазифаи дигари муҳими омӯзиши беназорат ошкорсозии ҳолатҳои ғайриодӣ аст: масалан, муайян кардани амалиётҳои ғайримуқаррарии корти қарзӣ барои пешгирии қаллобӣ, ёфтани нуқсонҳои истеҳсолӣ ё худкор хориҷ кардани қиматҳои дур аз маҷмӯи додаҳо пеш аз додани он ба алгоритми дигари омӯзиш. Ҳангоми омӯзиш ба система асосан намунаҳои муқаррарӣ нишон медиҳанд ва он шинохтани онҳоро меомӯзад. Баъд, ҳангоми дидани намунаи нав, муайян мекунад, ки он ба ҳолати муқаррарӣ монанд аст ё эҳтимол ҳолати ғайриодӣ мебошад (расми 1.9). Хусусиятҳо метавонанд масофа аз хона, вақти рӯз, рӯзи ҳафта, маблағи гирифташуда, гурӯҳи фурӯшанда, басомади амалиётҳо ва ғайра бошанд.

Вазифаи хеле монанд ошкорсозии навгониҳо (novelty detection) аст: он намунаҳои наверо меёбад, ки аз ҳамаи намунаҳои маҷмӯи омӯзишӣ фарқ мекунанд. Барои ин маҷмӯи омӯзишӣ бояд хеле «тоза» бошад ва ҳеҷ намунаеро дар бар нагирад, ки мехоҳед алгоритм онро ошкор кунад. Масалан, агар ҳазорон акси саг дошта бошед ва 1 фоизи онҳо сагҳои чихуахуа бошанд, алгоритми ошкорсозии навгонӣ набояд аксҳои нави чихуахуаро навгонӣ шуморад. Аммо алгоритми ошкорсозии ҳолатҳои ғайриодӣ метавонад ин сагҳоро он қадар камёбу аз дигар сагҳо фарқкунанда шуморад, ки онҳоро ҳамчун ҳолатҳои ғайриодӣ тасниф кунад. Ба чихуахуаҳо беэҳтиромӣ карданӣ нестем!

Расми 1.9. Ошкорсозии ҳолатҳои ғайриодӣ.

Ниҳоят, вазифаи дигари маъмули омӯзиши беназорат омӯзиши қоидаҳои ассотсиатсия (association rule learning) аст. Ҳадаф таҳлили ҳаҷми зиёди додаҳо ва дарёфти робитаҳои ҷолиб байни атрибутҳо мебошад. Масалан, фарз мекунем супермаркет доред. Таҳлили сабтҳои фурӯш бо ин усул метавонад нишон диҳад, ки харидорони чошнии барбекю ва чипси картошка одатан гӯшти стейк низ мехаранд. Пас, шояд хоҳед ин маҳсулотро ба ҳам наздик ҷойгир кунед.

Омӯзиши ниманазоратӣ

Азбаски барчаспгузории додаҳо одатан вақт ва хароҷоти зиёд мехоҳад, бисёр вақт намунаҳои бебарчаспи зиёд ва намунаҳои барчаспдори кам доред. Баъзе алгоритмҳо бо додаҳои қисман барчаспдор кор карда метавонанд. Ин омӯзиши ниманазоратӣ (semi-supervised learning) ном дорад (расми 1.10).

Расми 1.10. Омӯзиши ниманазоратӣ бо ду синф — секунҷаҳо ва чоркунҷаҳо: намунаҳои бебарчасп, ки бо доираҳо нишон дода шудаанд, ёрӣ медиҳанд намунаи нав — салибча — ба синфи секунҷаҳо мансуб дониста шавад, ҳарчанд он ба чоркунҷаҳои барчаспдор наздиктар аст.

Баъзе хидматҳои нигоҳдории акс, аз ҷумла Google Photos, мисолҳои хуби ин равишанд. Вақте ҳамаи аксҳои оилавиро бор мекунед, хидмат худкор муайян мекунад, ки ҳамон шахси A дар аксҳои 1, 5 ва 11 ва шахси дигари B дар аксҳои 2, 5 ва 7 ҳузур доранд. Ин қисми беназорати алгоритм, яъне кластербандӣ аст. Акнун система танҳо мехоҳад шумо бигӯед, ки ин одамон киҳоянд. Барои ҳар шахс як барчасп илова кунед ва система метавонад ҳамаи одамонро дар ҳамаи аксҳо номбар кунад. Ин барои ҷустуҷӯи аксҳо муфид аст.

Аксари алгоритмҳои омӯзиши ниманазоратӣ омезиши алгоритмҳои беназорат ва бо назоратанд. Масалан, бо алгоритми кластербандӣ намунаҳои монандро гурӯҳбандӣ карда, баъд ба ҳар намунаи бебарчасп барчаспи бештарини кластери онро додан мумкин аст. Пас аз барчаспгузории тамоми маҷмӯа ҳар алгоритми омӯзиши бо назоратро метавон истифода бурд.

Омӯзиши худназоратӣ

Равиши дигари омӯзиши мошинӣ аз маҷмӯи комилан бебарчасп сохтани маҷмӯи комилан барчаспдор аст. Боз ҳам, пас аз барчаспгузории тамоми маҷмӯа ҳар алгоритми омӯзиши бо назоратро истифода бурдан мумкин аст. Ин равиш омӯзиши худназоратӣ (self-supervised learning) ном дорад.

Масалан, агар маҷмӯи бузурги тасвирҳои бебарчасп дошта бошед, метавонед қисми хурди ҳар тасвирро тасодуфан пӯшонед ва моделро барои барқарор кардани тасвири аслӣ омӯзонед (расми 1.11). Ҳангоми омӯзиш тасвирҳои қисман пӯшида ҳамчун вуруди модел ва тасвирҳои аслӣ ҳамчун барчасп истифода мешаванд.

Расми 1.11. Намунаи омӯзиши худназоратӣ: вуруд дар чап ва ҳадаф дар рост.

Модели ҳосилшуда метавонад худаш ҳам хеле муфид бошад: масалан, барои барқарор кардани тасвирҳои осебдида ё тоза кардани ашёи нолозим аз аксҳо. Аммо аксар вақт омӯзонидани чунин модел ҳадафи ниҳоӣ нест. Одатан мехоҳед онро тағйир диҳед ва барои вазифаи каме дигаре, ки воқеан бароятон муҳим аст, танзими дақиқ кунед.

Масалан, фарз мекунем дар асл мехоҳед модели таснифбандии ҳайвоноти хонагӣ дошта бошед: ба он акси ҳар ҳайвони хонагиро медиҳед ва он муайян мекунад, ки ҳайвон ба кадом намуд тааллуқ дорад. Агар маҷмӯи бузурги аксҳои бебарчаспи ҳайвонот дошта бошед, метавонед аввал бо омӯзиши худназоратӣ модели барқарорсозии тасвирро омӯзонед. Вақте он хуб кор кардан гирифт, бояд намудҳои гуногуни ҳайвонотро фарқ карда тавонад: ҳангоми барқарор кардани акси гурбае, ки рӯяш пӯшида шудааст, бояд донад, ки ба он рӯйи саг илова накунад. Агар меъмории модел имкон диҳад — ва аксари меъмориҳои шабакаҳои нейронӣ медиҳанд — моделро метавон чунон тағйир дод, ки ба ҷойи барқарор кардани тасвир намуди ҳайвонро пешгӯӣ кунад. Қадами ниҳоӣ танзими дақиқи модел бо маҷмӯи барчаспдор аст. Модел аллакай медонад гурбаҳо, сагҳо ва дигар ҳайвонот чӣ гунаанд; ин қадам танҳо барои омӯхтани робитаи байни намудҳои ба модел шинос ва барчаспҳои интизории мо зарур аст.

Эзоҳ. Интиқоли дониш аз як вазифа ба вазифаи дигар омӯзиши интиқолӣ (transfer learning) ном дорад. Он имрӯз яке аз муҳимтарин усулҳои омӯзиши мошинӣ мебошад, махсусан ҳангоми истифодаи шабакаҳои нейронии амиқ, яъне шабакаҳои дорои қабатҳои зиёди нейронҳо. Ин мавзуъро дар қисми II муфассал баррасӣ мекунем.

Чунон ки дар боби 15 мебинем, моделҳои бузурги забонӣ (LLM) бо усули хеле монанд омӯзонида мешаванд: дар корпуси азими матн баъзе калимаҳоро тасодуфан мепӯшонанд ва моделро меомӯзонанд калимаҳои гумшударо пешгӯӣ кунад. Сипас ин модели бузурги пешомӯзонидашударо барои барномаҳои гуногун, аз таҳлили эҳсосот то чатботҳо, танзими дақиқ кардан мумкин аст.

Баъзеҳо омӯзиши худназоратиро қисми омӯзиши беназорат меҳисобанд, зеро он бо маҷмӯаҳои комилан бебарчасп кор мекунад. Аммо ҳангоми омӯзиш аз барчаспҳои тавлидшуда истифода мебарад ва аз ин ҷиҳат ба омӯзиши бо назорат наздиктар аст. Истилоҳи «омӯзиши беназорат» одатан барои кластербандӣ, коҳиши андозанокӣ ё ошкорсозии ҳолатҳои ғайриодӣ истифода мешавад. Омӯзиши худназоратӣ бошад, ба ҳамон вазифаҳои омӯзиши бо назорат — асосан таснифбандӣ ва регрессия — равона шудааст. Аз ин рӯ, беҳтар аст онро гурӯҳи алоҳида шуморем.

Омӯзиши тақвиятӣ

Омӯзиши тақвиятӣ (reinforcement learning) хусусияти тамоман дигар дорад. Системаи омӯзанда, ки дар ин замина агент номида мешавад, метавонад муҳитро мушоҳида кунад, амалеро интихоб ва иҷро намояд ва дар ҷавоб мукофот ё ҷазо дар шакли мукофоти манфӣ гирад (расми 1.12). Сипас бояд худаш беҳтарин стратегияро, ки сиёсат (policy) ном дорад, омӯзад, то бо гузашти вақт мукофоти бештар гирад. Сиёсат муайян мекунад, ки агент дар вазъияти муайян бояд кадом амалро интихоб кунад.

Расми 1.12. Омӯзиши тақвиятӣ.

Масалан, бисёр роботҳо барои омӯхтани роҳгардӣ алгоритмҳои омӯзиши тақвиятиро истифода мебаранд. Барномаи AlphaGo-и DeepMind низ намунаи хубест. Он моҳи майи соли 2017, вақте Кэ Ҷе (бозигари рақами яки ҳамонвақтаи ҷаҳон)-ро дар бозии го мағлуб кард, ба сархати хабарҳо баромад. AlphaGo сиёсати пирӯзии худро бо таҳлили миллионҳо бозӣ ва баъдан бо бозӣ кардани бозиҳои зиёди муқобили худаш омӯхт. Диққат диҳед, ки дар бозиҳо бо қаҳрамон омӯзиш хомӯш буд: AlphaGo танҳо сиёсати омӯхтаашро истифода мекард. Чунон ки дар бахши оянда мебинед, ин омӯзиши офлайн ном дорад.

Омӯзиши дастаӣ ва онлайн

Меъёри дигари гурӯҳбандии системаҳои омӯзиши мошинӣ ин аст, ки оё онҳо метавонанд аз ҷараёни додаҳои воридшаванда тадриҷан омӯзанд. Масалан, ҷангалҳои тасодуфиро (боби 6) танҳо аз сифр бо тамоми маҷмӯи додаҳо омӯзонидан мумкин аст: ин омӯзиши дастаӣ (batch learning) ном дорад. Моделҳои дигарро ҳар дафъа бо як дастаи додаҳо, масалан бо истифодаи фаромадани градиентӣ (боби 4), омӯзонидан мумкин аст: ин омӯзиши онлайн (online learning) ном дорад.

Омӯзиши дастаӣ

Дар омӯзиши дастаӣ система бояд бо истифодаи ҳамаи додаҳои дастрас омӯзонида шавад. Ин одатан вақт ва захираҳои ҳисоббарории зиёд мехоҳад, бинобар ин аксаран ба таври офлайн иҷро мешавад. Аввал система омӯзонида мешавад, баъд ба муҳити истифодаи воқеӣ гузошта мешавад ва дигар намеомӯзад: танҳо дониши гирифтаашро истифода мебарад. Ин омӯзиши офлайн (offline learning) ном дорад.

Мутаассифона, самаранокии модел одатан бо гузашти вақт оҳиста паст мешавад, зеро ҷаҳон тағйир меёбад, вале модел бетағйир мемонад. Ин падидаро аксаран ҷойивазкунии додаҳо (data drift) ё фарсудашавии модел (model rot) меноманд. Роҳи ҳал мунтазам бозомӯзонидани модел бо додаҳои нав аст. Басомади зарурии бозомӯзӣ ба мавриди истифода вобаста мебошад: агар модел аксҳои гурба ва сагро тасниф кунад, самаранокиаш хеле оҳиста паст мешавад; агар бо системаҳои зудтағйирёбанда, масалан пешгӯии бозори молиявӣ, кор кунад, эҳтимол зуд фарсуда мешавад.

Огоҳӣ. Ҳатто модели таснифбандии аксҳои гурба ва саг метавонад ба бозомӯзии мунтазам ниёз дошта бошад. Сабаб ин нест, ки гурбаву сагҳо якшаба дигар мешаванд, балки камераҳо, форматҳои тасвир, возеҳӣ, равшанӣ ва таносуби андозаҳо тағйир меёбанд. Ғайр аз ин, шояд соли оянда одамон зотҳои дигарро бештар дӯст доранд ё қарор диҳанд ба ҳайвоноташон кулоҳча пӯшонанд. Кӣ медонад?

Агар хоҳед системаи омӯзиши дастаӣ аз додаҳои нав, масалан навъи нави спам, огоҳ шавад, бояд версияи нави системаро аз сифр бо тамоми маҷмӯа — ҳам додаҳои нав ва ҳам куҳна — омӯзонед ва модели пешинаро бо он иваз кунед. Хушбахтона, тамоми раванди омӯзиш, арзёбӣ ва ба кор даровардани системаи омӯзиши мошиниро худкор кардан мумкин аст (расми 1.3). Пас, ҳатто системаи омӯзиши дастаӣ метавонад ба тағйирот мутобиқ шавад. Танҳо додаҳоро нав кунед ва версияи нави системаро ба қадри зарурат аз сифр омӯзонед.

Ин роҳи ҳал сода аст ва аксар вақт хуб кор мекунад, аммо омӯзиш бо тамоми додаҳо метавонад соатҳои зиёд гирад. Аз ин рӯ, одатан системаи навро ҳар 24 соат ё ҳатто ҳафтае як бор меомӯзонанд. Агар система бояд ба додаҳои зудтағйирёбанда, масалан пешгӯии нархи саҳмияҳо, мутобиқ шавад, роҳи зудтар вокунишдиҳанда лозим аст.

Илова бар ин, омӯзиш бо тамоми додаҳо захираҳои ҳисоббарории зиёд мехоҳад: CPU, ҷойи хотира, ҷойи диск, воридоту хориҷи диск ва шабака ва ғайра. Агар додаҳои зиёд дошта бошед ва системаро тавре худкор созед, ки ҳар рӯз аз сифр омӯзад, хароҷот хеле зиёд мешавад. Агар ҳаҷми додаҳо азим бошад ва система ҳамеша бояд ба рӯз монад, истифодаи омӯзиши дастаӣ ҳатто метавонад номумкин гардад.

Ниҳоят, агар система бояд мустақилона омӯзад ва захираҳои маҳдуд дошта бошад, масалан барномаи смартфон ё ровери Миррих, ҳамроҳ бурдани ҳаҷми бузурги додаҳои омӯзишӣ ва ҳар рӯз сарф кардани захираҳои зиёд барои омӯзиши чандсоата қобили қабул нест.

Дар ҳамаи ин ҳолатҳо интихоби беҳтар алгоритмҳоест, ки метавонанд тадриҷан омӯзанд.

Омӯзиши онлайн

Дар омӯзиши онлайн системаро тадриҷан меомӯзонед: намунаҳоро пайдарпай, яктоӣ ё дар гурӯҳҳои хурд, ки минидастаҳо (mini-batches) ном доранд, ба он медиҳед. Ҳар қадами омӯзиш зуду камхарҷ аст, бинобар ин система метавонад баробари ворид шудани додаҳои нав дар ҷараёни кор омӯзад (расми 1.13). Алгоритми аз ҳама маъмули омӯзиши онлайн фаромадани градиентӣ аст, аммо чанд алгоритми дигар низ вуҷуд дорад.

Расми 1.13. Дар омӯзиши онлайн модел омӯзонида шуда, ба муҳити истифодаи воқеӣ гузошта мешавад ва баъд бо ворид шудани додаҳои нав омӯзишро идома медиҳад.

Омӯзиши онлайн барои системаҳое муфид аст, ки бояд ба тағйирот фавран мутобиқ шаванд, масалан барои ошкор кардани қонуниятҳои нав дар бозори саҳмияҳо. Агар захираҳои ҳисоббарорӣ маҳдуд бошанд, масалан модел дар дастгоҳи мобилӣ омӯзонида шавад, низ интихоби хубест.

Аз ҳама муҳимаш, алгоритмҳои омӯзиши онлайнро барои омӯзонидани моделҳо бо маҷмӯаҳои азиме истифода бурдан мумкин аст, ки дар хотираи як компютер намеғунҷанд. Ин омӯзиши берун аз хотираи асосӣ (out-of-core learning) ном дорад. Алгоритм қисми додаҳоро бор мекунад, бо онҳо як қадами омӯзишро иҷро менамояд ва равандро то коркарди тамоми додаҳо такрор мекунад (расми 1.14).

Расми 1.14. Истифодаи омӯзиши онлайн барои кор бо маҷмӯаҳои азими додаҳо.

Яке аз параметрҳои муҳими системаҳои омӯзиши онлайн суръати мутобиқшавии онҳо ба додаҳои тағйирёбанда аст. Он суръати омӯзиш (learning rate) ном дорад. Агар онро баланд гузоред, система ба додаҳои нав зуд мутобиқ мешавад, вале майл дорад додаҳои куҳнаро низ зуд фаромӯш кунад. Ин фаромӯшии фоҷиавӣ (catastrophic forgetting) ё халали фоҷиавӣ (catastrophic interference) ном дорад. Шумо намехоҳед филтри спам танҳо навтарин навъҳои спами дидаашро муайян кунад! Агар суръати омӯзиш паст бошад, система инерсияи бештар дорад: сусттар меомӯзад, аммо ба ғавғои додаҳои нав ё пайдарпайиҳои нуқтаҳои ғайринамоянда — қиматҳои дур — низ камтар ҳассос мешавад.

Огоҳӣ. Омӯзиши берун аз хотираи асосӣ одатан офлайн, яъне берун аз системаи фаъол, иҷро мешавад. Пас номи «омӯзиши онлайн» метавонад гумроҳкунанда бошад: онро ҳамчун омӯзиши тадриҷӣ тасаввур кунед. Ҳамчунин минидастаҳоро аксар вақт танҳо «даста» меноманд, бинобар ин номи «омӯзиши дастаӣ» ҳам метавонад норавшан бошад. Онро ҳамчун омӯзиш аз сифр бо тамоми маҷмӯи додаҳо дарк кунед.

Мушкилоти калони омӯзиши онлайн ин аст, ки агар ба система додаҳои бад ворид шаванд, самаранокиаш паст мешавад ва вобаста ба сифати додаҳо ва суръати омӯзиш ин пастравӣ метавонад хеле зуд бошад. Агар система фаъол бошад, муштариён инро пай мебаранд. Масалан, додаҳои бад метавонанд аз хатои барномавӣ — мисли сенсори вайрони робот — ё аз кӯшиши касе барои фиреб додани система пайдо шаванд. Масалан, касе метавонад муҳаррики ҷустуҷӯро бо спам пур кунад, то дар натиҷаҳо ҷойи баланд гирад. Барои кам кардани ин хатар бояд системаро бодиққат назорат кунед ва ҳангоми паст шудани самаранокӣ омӯзишро фавран қатъ намоед; шояд ба ҳолати пешинаи дурусткор низ баргардед. Ҳамчунин метавонед додаҳои воридотиро назорат карда, ба ҳолатҳои ғайриодӣ вокуниш нишон диҳед, масалан бо алгоритми ошкорсозии ҳолатҳои ғайриодӣ (боби 8).

Омӯзиши бар асоси намуна ва бар асоси модел

Роҳи дигари гурӯҳбандии системаҳои омӯзиши мошинӣ тарзи умумиятдиҳӣ (generalization)-и онҳост. Аксари вазифаҳои омӯзиши мошинӣ ба пешгӯӣ дахл доранд: система бо дидани чанд намунаи омӯзишӣ бояд барои намунаҳое, ки ҳеҷ гоҳ надидааст, низ пешгӯии хуб карда тавонад, яъне дониши худро ба онҳо умумият диҳад. Нишондиҳандаи хуб дар додаҳои омӯзишӣ хуб аст, аммо кофӣ нест: ҳадафи воқеӣ кори хуб дар намунаҳои нав мебошад.

Ду равиши асосии умумиятдиҳӣ вуҷуд дорад: омӯзиши бар асоси намуна ва омӯзиши бар асоси модел.

Омӯзиши бар асоси намуна

Шояд содатарин шакли омӯзиш танҳо аз ёд кардан бошад. Агар филтри спамро бо ин роҳ месохтед, он танҳо номаҳоеро қайд мекард, ки айнан ба номаҳои қаблан аз тарафи корбарон ҳамчун спам қайдшуда баробаранд. Ин бадтарин роҳи ҳал нест, аммо бешубҳа беҳтарин ҳам нест.

Ба ҷойи қайд кардани номаҳои комилан яксон, филтрро метавон чунон барномарезӣ кард, ки номаҳои ба спамҳои маълум хеле монандро низ қайд кунад. Барои ин меъёри монандӣ байни ду нома лозим аст. Меъёри бисёр сода метавонад шумораи калимаҳои муштараки ду нома бошад. Агар нома бо спами маълум калимаҳои муштараки зиёд дошта бошад, система онро спам мешуморад.

Ин омӯзиши бар асоси намуна (instance-based learning) ном дорад: система мисолҳоро аз ёд мекунад ва баъд бо истифодаи меъёри монандӣ ҳолатҳои навро бо мисолҳои омӯхтааш ё қисми онҳо муқоиса карда, умумият медиҳад. Масалан, дар расми 1.15 намунаи нав ҳамчун секунҷа тасниф мешавад, зеро аксари намунаҳои ба он монанд ба ҳамин синф мансубанд.

Омӯзиши бар асоси намуна аксар вақт бо маҷмӯаҳои хурд, махсусан ҳангоми пайваста тағйир ёфтани додаҳо, хуб кор мекунад. Аммо бо зиёд шудани миқёси кор чандон хуб мутобиқ намешавад: дар муҳити истифодаи воқеӣ бояд нусхаи пурраи маҷмӯи омӯзишӣ ҷойгир карда шавад; барои пешгӯӣ ҷустуҷӯи намунаҳои монанд лозим аст, ки метавонад суст бошад; инчунин бо додаҳои дорои андозаҳои зиёд, аз ҷумла тасвирҳо, хуб кор намекунад.

Расми 1.15. Омӯзиши бар асоси намуна: дар ин мисол синфи се ҳамсояи наздиктаринро дар маҷмӯи омӯзишӣ ба назар мегирем.

Омӯзиши бар асоси модел ва раванди маъмулии омӯзиши мошинӣ

Роҳи дигари умумиятдиҳӣ аз маҷмӯи мисолҳо сохтани модели онҳо ва баъд истифодаи он барои пешгӯӣ мебошад. Ин омӯзиши бар асоси модел (model-based learning) ном дорад (расми 1.16).

Расми 1.16. Омӯзиши бар асоси модел.

Масалан, фарз мекунем мехоҳед бидонед, ки оё пул одамонро хушбахт мекунад. Барои ин додаҳои «Шохиси зиндагии беҳтар»-ро аз сомонаи Созмони ҳамкории иқтисодӣ ва рушд (OECD) ва омори Бонки Ҷаҳониро дар бораи маҷмӯи маҳсулоти дохилӣ (ММД) ба ҳар сари аҳолӣ боргирӣ мекунед. Сипас ҷадвалҳоро якҷо карда, аз рӯйи ММД ба ҳар сари аҳолӣ мураттаб месозед. Ҷадвали 1.1 бахше аз натиҷаро нишон медиҳад.

Ҷадвали 1.1. Оё пул одамонро хушбахттар мекунад?

Биёед додаҳои ин кишварҳоро дар график нишон диҳем (расми 1.17).

Расми 1.17. Оё дар ин ҷо тамоюлеро мебинед?

Ба назар мерасад, ки тамоюле ҳаст! Ҳарчанд додаҳо ғавғо доранд, яъне қисман тасодуфианд, чунин менамояд, ки бо зиёд шудани ММД ба ҳар сари аҳолӣ қаноатмандӣ аз зиндагӣ каму беш ба таври хаттӣ меафзояд. Пас қарор медиҳед, ки қаноатмандӣ аз зиндагиро ҳамчун функсияи хаттии ММД ба ҳар сари аҳолӣ моделсозӣ намоед. Яъне фарз мекунед, ки ҳар дуршавӣ аз ин хат танҳо ғавғои тасодуфист. Ин қадам интихоби модел ном дорад: шумо модели хаттии қаноатмандӣ аз зиндагиро бо танҳо як атрибут — ММД ба ҳар сари аҳолӣ — интихоб кардед (муодилаи 1.1).

Муодилаи 1.1. Модели содаи хаттӣ.

Қаноатмандӣ аз зиндагӣ = θ₀ + θ₁ × ММД ба ҳар сари аҳолӣ.

Ин модел ду параметри модел, θ₀ ва θ₁, дорад. Бо тағйир додани онҳо метавон ҳар функсияи хаттиро ифода кард, чунон ки дар расми 1.18 нишон дода шудааст.

Расми 1.18. Чанд модели эҳтимолии хаттӣ.

Пеш аз истифодаи модел бояд қиматҳои θ₀ ва θ₁-ро муайян кунед. Аз куҷо медонед, ки кадом қиматҳо самаранокии беҳтарин медиҳанд? Барои ҷавоб додан бояд меъёри самаранокиро муайян кунед. Метавон функсияи фоиданокӣ (utility function) ё функсияи мутобиқат (fitness function)-ро таъриф кард, ки хубии моделро чен мекунад. Ё метавон функсияи хароҷот (cost function), ки функсияи талафот (loss function) низ ном дорад, таъриф кард, ки бадии моделро чен менамояд. Дар масъалаҳои регрессияи хаттӣ одатан функсияи хароҷоте истифода мешавад, ки фосилаи байни пешгӯиҳои модели хаттӣ ва намунаҳои омӯзиширо чен мекунад. Ҳадаф камтарин кардани ин фосила аст.

Дар ҳамин ҷо алгоритми регрессияи хаттӣ ба кор меояд: ба он намунаҳои омӯзиширо медиҳед ва он параметрҳоеро меёбад, ки модели хаттиро ба додаҳо беҳтар мутобиқ мекунанд. Ин омӯзонидани модел ном дорад. Дар мисоли мо алгоритм меёбад, ки қиматҳои беҳтарин θ₀ = 3,75 ва θ₁ = 6,78 × 10⁻⁵ мебошанд.

Огоҳӣ. Калимаи «модел» метавонад маъноҳои гуногун дошта бошад: навъи модел, масалан регрессияи хаттӣ; меъмории пурра муайяншудаи модел, масалан регрессияи хаттӣ бо як вуруд ва як баромад; ё модели ниҳоии омӯзонидашуда, ки барои пешгӯӣ омода аст, масалан регрессияи хаттӣ бо як вуруд ва як баромад ва параметрҳои θ₀ = 3,75 ва θ₁ = 6,78 × 10⁻⁵. Интихоби модел интихоби навъ ва муайян кардани пурраи меъмории онро дар бар мегирад. Омӯзонидани модел иҷрои алгоритмест, ки параметрҳои беҳтар мутобиқшаванда ба додаҳои омӯзиширо меёбад, бо умеди он ки модел дар додаҳои нав низ хуб пешгӯӣ кунад.

Акнун модел ба додаҳои омӯзишӣ то ҳадди имкон барои модели хаттӣ наздик шудааст, чунон ки дар расми 1.19 мебинед.

Расми 1.19. Модели хаттие, ки ба додаҳои омӯзишӣ беҳтар аз ҳама мутобиқ аст.

Ниҳоят, омодаед моделро барои пешгӯӣ истифода баред. Масалан, мехоҳед бидонед сокинони Пуэрто-Рико то чӣ андоза хушбахтанд, аммо додаҳои OECD ҷавоб надоранд. Хушбахтона, моделро истифода бурда метавонед: ММД ба ҳар сари аҳолии Пуэрто-Рикоро меёбед — 33 442 доллар — ва ҳисоб мекунед, ки қаноатмандӣ аз зиндагӣ тақрибан чунин аст:

3,75 + 33 442 × 6,78 × 10⁻⁵ = 6,02.

Барои бедор кардани шавқи шумо мисоли 1.1 рамзи Python-ро нишон медиҳад, ки додаҳоро бор мекунад, вурудҳои X-ро аз барчаспҳои y ҷудо менамояд, барои тасвирсозӣ графики парокандагӣ месозад ва сипас модели хаттиро омӯзонида, пешгӯӣ мекунад.

Мисоли 1.1. Омӯзонидан ва истифодаи модели хаттӣ бо Scikit-Learn.

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression

# Боргирӣ ва омода кардани додаҳо
data_root = "https://github.com/ageron/data/raw/main/"
lifesat = pd.read_csv(data_root + "lifesat/lifesat.csv")
X = lifesat[["GDP per capita (USD)"]].values
y = lifesat[["Life satisfaction"]].values

# Тасвирсозии додаҳо
lifesat.plot(kind='scatter', grid=True,
             x="GDP per capita (USD)", y="Life satisfaction")
plt.axis([23_500, 62_500, 4, 9])
plt.show()

# Интихоби модели хаттӣ
model = LinearRegression()

# Омӯзонидани модел
model.fit(X, y)

# Пешгӯӣ барои Пуэрто-Рико
X_new = [[33_442.8]]  # ММД ба ҳар сари аҳолии Пуэрто-Рико дар соли 2020
print(model.predict(X_new))  # Натиҷа: [[6.01610329]]

Эзоҳ. Агар ба ҷойи ин алгоритми омӯзиши бар асоси намунаро истифода мебурдед, меёфтед, ки ММД ба ҳар сари аҳолии Лаҳистон — 32 238 доллар — ба Пуэрто-Рико аз ҳама наздиктар аст. Азбаски додаҳои OECD қаноатмандии сокинони Лаҳистонро 6,1 нишон медиҳанд, барои Пуэрто-Рико низ 6,1 пешгӯӣ мекардед. Агар каме доираи назарро васеъ карда, ду кишвари наздиктарини баъдиро бинед, Португалияро бо қаноатмандии 5,4 ва Эстонияро бо 5,7 меёбед. Миёнаи ин се қимат 5,73 аст, ки аз пешгӯии модели шумо каме пасттар мебошад. Ин алгоритми сода регрессияи k ҳамсояи наздиктарин (k-nearest neighbors regression) ном дорад. Дар ин мисол k = 3.

Барои дар рамзи боло иваз кардани регрессияи хаттӣ бо регрессияи k ҳамсояи наздиктарин, ин ду сатрро:

from sklearn.linear_model import LinearRegression
model = LinearRegression()

бо ин ду сатр иваз кардан кофист:

from sklearn.neighbors import KNeighborsRegressor
model = KNeighborsRegressor(n_neighbors=3)

Агар ҳама чиз хуб гузарад, модел пешгӯиҳои хуб мекунад. Дар акси ҳол, шояд атрибутҳои бештар — сатҳи шуғл, тандурустӣ, ифлосии ҳаво ва ғайра — ё додаҳои омӯзишии бештару босифаттар лозим шаванд. Ё шояд модели тавонотареро, масалан регрессияи бисёрузвагӣ, интихоб кунед.

Пас, шумо чунин корҳоро анҷом додед:

1. Додаҳоро омӯхтед.
2. Моделро интихоб кардед.
3. Онро бо додаҳои омӯзишӣ омӯзонидед: алгоритм қиматҳои параметрҳоеро ҷустуҷӯ кард, ки функсияи хароҷотро камтарин месозанд.
4. Ниҳоят, моделро барои пешгӯӣ дар ҳолатҳои нав истифода бурдед. Ин истинбот (inference) ном дорад ва умед доред, ки модел хуб умумият медиҳад.

Лоиҳаи маъмулии омӯзиши мошинӣ чунин аст. Дар боби 2 ин равандро бо гузаронидани як лоиҳа аз оғоз то анҷом амалан таҷриба мекунед.

Мо чанд гурӯҳи системаҳои омӯзиши мошиниро баррасӣ кардем, аммо ин соҳа боз ҳам бештар дорад! Масалан, омӯзиши ансамблӣ (ensemble learning) омӯзонидани якчанд модел ва якҷо кардани пешгӯиҳои алоҳидаи онҳо барои ба даст овардани пешгӯиҳои беҳтарро дар бар мегирад (боби 6). Омӯзиши федеративӣ (federated learning) равиши ғайримутамарказест, ки дар он моделҳо дар чанд дастгоҳ, масалан смартфонҳо, омӯзонида шуда, бе мубодилаи додаҳои хом ба ҳар корбар мутобиқ мегарданд. Бо ин роҳ махфияти корбар ҳифз мешавад. Метаомӯзиш (meta-learning) равиши «омӯхтани тарзи омӯзиш» аст: моделҳо меомӯзанд, ки вазифаҳои навро бо додаҳои кам чӣ гуна зуд аз худ кунанд. Ин рӯйхат идома дорад! Расми 1.20 гурӯҳбандии системаҳоеро, ки то ин ҷо баррасӣ кардем, ҷамъбаст мекунад.

Расми 1.20. Баррасии умумии гурӯҳҳои омӯзиши мошинӣ.

То ин ҷо мавзуъҳои зиёдеро фаро гирифтем: акнун медонед омӯзиши мошинӣ воқеан чист, чаро муфид аст, баъзе гурӯҳҳои маъмултарини системаҳои он кадоманд ва раванди кори лоиҳаи маъмулӣ чӣ гуна аст. Ҳоло мебинем, ки ҳангоми омӯзиш чӣ мушкил пеш омада, метавонад монеаи пешгӯии дуруст шавад.

Мушкилоти асосии омӯзиши мошинӣ

Азбаски вазифаи асосӣ интихоби модел ва омӯзонидани он бо додаҳост, ду чиз метавонад нодуруст бошад: «модели бад» ва «додаҳои бад». Аз мисолҳои додаҳои бад оғоз мекунем.

Нокифоя будани миқдори додаҳои омӯзишӣ

Барои он ки кӯдаки хурдсол фаҳмад себ чист, кофист ба себ ишора карда «себ» гӯед; шояд инро чанд бор такрор кардан лозим шавад. Акнун кӯдак себҳои рангу шаклҳои гуногунро мешиносад. Аҷоиб!

Омӯзиши мошинӣ ҳанӯз комилан ба ин дараҷа нарасидааст. Барои кори дурусти аксари алгоритмҳо додаҳои зиёд лозиманд. Ҳатто барои масъалаҳои хеле сода одатан ҳазорон мисол ва барои масъалаҳои мураккаб, аз ҷумла шинохти тасвир ё нутқ, шояд миллионҳо мисол зарур бошанд. Истисно ҳолатест, ки метавонед қисмҳои модели мавҷударо дубора истифода баред, яъне омӯзиши интиқолиро ба кор гиред.

Самаранокии ҳайратангези додаҳо

Дар мақолаи машҳури соли 2001 муҳаққиқони Microsoft Мишел Банко ва Эрик Брилл нишон доданд, ки алгоритмҳои хеле гуногуни омӯзиши мошинӣ, аз ҷумла алгоритмҳои нисбатан сода, ҳангоми гирифтани додаҳои кофӣ дар масъалаи мураккаби рафъи номуайянии маъно дар забони табиӣ қариб яксон хуб кор мекунанд (расми 1.21).

Расми 1.21. Аҳаммияти додаҳо дар муқоиса бо алгоритмҳо (каҷхатҳо тақрибан аз рӯйи мақолаи Банко ва Брилл, 2001, кашида шудаанд).

Ба гуфтаи муаллифон, «ин натиҷаҳо нишон медиҳанд, ки шояд бояд таносуби сарфи вақт ва маблағро барои таҳияи алгоритмҳо ва барои таҳияи корпус аз нав баррасӣ кунем».

Андешаи он ки дар масъалаҳои мураккаб додаҳо аз алгоритмҳо муҳимтаранд, бо мақолаи Питер Норвиг ва ҳамкоронаш бо номи «Самаранокии ҳайратангези додаҳо», ки соли 2009 нашр шуд, боз ҳам бештар паҳн гардид. Аммо бояд дар хотир дошт, ки маҷмӯаҳои хурду миёна ҳанӯз хеле маъмуланд ва гирифтани додаҳои иловагии омӯзишӣ ҳамеша осон ё арзон нест. Пас, ҳанӯз аз алгоритмҳо даст накашед.

Додаҳои омӯзишии ғайринамоянда

Барои хуб умумият додан муҳим аст, ки додаҳои омӯзишӣ ҳолатҳои наверо, ки мехоҳед барои онҳо пешгӯӣ кунед, дуруст намояндагӣ намоянд. Ин ҳам барои омӯзиши бар асоси намуна ва ҳам барои омӯзиши бар асоси модел дуруст аст.

Масалан, маҷмӯи кишварҳое, ки пештар барои омӯзонидани модели хаттӣ истифода бурдед, комилан намоянда набуд: дар он ягон кишвар бо ММД ба ҳар сари аҳолии камтар аз 23 500 ё бештар аз 62 500 доллар вуҷуд надошт. Расми 1.22 нишон медиҳад, ки пас аз илова кардани чунин кишварҳо додаҳо чӣ гуна мешаванд.

Агар бо ин додаҳо модели хаттӣ омӯзонед, хати яклухт ҳосил мешавад; модели пешина бо хати нуқтадор нишон дода шудааст. Чунон ки мебинед, илова кардани чанд кишвари ғоиб на танҳо моделро хеле тағйир медиҳад, балки равшан месозад, ки чунин модели содаи хаттӣ эҳтимол ҳеҷ гоҳ хуб кор намекунад. Ба назар мерасад, ки кишварҳои бисёр сарватманд аз кишварҳои миёнаҳолтар хушбахттар нестанд; дар асл, каме камтар хушбахт менамоянд! Баръакс, баъзе кишварҳои камбизоат аз бисёр кишварҳои сарватманд хушбахттар ба назар мерасанд.

Бо истифодаи маҷмӯи омӯзишии ғайринамоянда моделеро омӯзонидед, ки эҳтимол пешгӯиҳои дуруст намекунад, махсусан барои кишварҳои бисёр камбизоат ва бисёр сарватманд.

Хеле муҳим аст, ки маҷмӯи омӯзишӣ намояндаи ҳолатҳои пешгӯишаванда бошад. Ин кор аксар вақт аз он чи менамояд душвортар аст: агар маҷмӯи интихобшуда хеле хурд бошад, ғавғои намунагирӣ (sampling noise) ба вуҷуд меояд, яъне додаҳо аз рӯйи тасодуф ғайринамоянда мешаванд. Аммо ҳатто маҷмӯаҳои интихобшудаи хеле калон ҳам метавонанд ғайринамоянда бошанд, агар усули интихоб нуқсон дошта бошад. Ин ғарази намунагирӣ (sampling bias) ном дорад.

Расми 1.22. Маҷмӯи омӯзишии намояндатар.

Мисолҳои ғарази намунагирӣ

Шояд машҳуртарин мисол дар интихоботи президентии ИМА дар соли 1936, ҳангоми рақобати Лэндон ва Рузвелт, рух дода бошад. Маҷаллаи Literary Digest пурсиши хеле бузурге гузаронда, ба тақрибан 10 миллион одам нома фиристод. Он 2,4 миллион ҷавоб гирифт ва бо эътимоди баланд пешгӯӣ кард, ки Лэндон 57 фоизи овозҳоро мегирад. Аммо Рузвелт бо 62 фоизи овозҳо пирӯз шуд. Нуқсон дар усули намунагирии маҷалла буд:

1. Барои ёфтани суроғаҳои гирандагони пурсиш, маҷалла аз феҳристҳои телефон, рӯйхатҳои обуначиёни маҷаллаҳо, аъзои клубҳо ва монанди инҳо истифода бурд. Ҳамаи ин рӯйхатҳо бештар одамони доротарро фаро мегирифтанд, ки эҳтимоли овоз доданашон ба ҷумҳурихоҳон ва, бинобар ин, ба Лэндон бештар буд.
2. Камтар аз 25 фоизи пурсидашудагон ҷавоб доданд. Ин боз ғарази намунагириро ба вуҷуд овард: эҳтимол одамони ба сиёсат камтаваҷҷуҳ, онҳое, ки маҷалларо дӯст намедоштанд, ва гурӯҳҳои муҳими дигар берун монданд. Ин навъи махсус ғарази беҷавобӣ (nonresponse bias) ном дорад.

Мисоли дигар: мехоҳед системаи шинохти клипҳои мусиқии фанк созед. Як роҳи сохтани маҷмӯи омӯзишӣ ҷустуҷӯи «funk music» дар YouTube ва истифодаи видеоҳои натиҷаҳо мебошад. Аммо ин ба фарзияе такя мекунад, ки муҳаррики ҷустуҷӯи YouTube маҷмӯи намояндаи ҳамаи клипҳои фанкро бармегардонад. Дар асл, натиҷаҳо эҳтимол ба фоидаи ҳунармандони машҳур ғараз доранд. Агар дар Бразилия зиндагӣ кунед, видеоҳои зиёди «funk carioca» мегиред, ки ба мусиқии Ҷеймс Браун тамоман монанд нестанд. Аммо аз тарафи дигар, боз чӣ гуна маҷмӯи калони омӯзишӣ ба даст меоред?

Додаҳои бесифат

Маълум аст, ки агар додаҳои омӯзишӣ пур аз хато, қиматҳои дур ва ғавғо бошанд, масалан аз сабаби ченкуниҳои бесифат, пайдо кардани қонуниятҳои асосӣ барои система душвортар мешавад. Пас эҳтимоли кори хуби он кам мегардад. Сарф кардани вақт барои тозакунии додаҳои омӯзишӣ аксар вақт арзанда аст. Дар асл, аксари мутахассисони илми додаҳо қисми назарраси вақти худро маҳз ба ин кор мебахшанд. Инҳо чанд мисоли зарурати тозакунианд:

• Агар баъзе намунаҳо ошкоро қиматҳои дур бошанд, шояд танҳо хориҷ кардани онҳо ё кӯшиши ислоҳи дастии хатоҳояшон муфид бошад.
• Агар дар баъзе намунаҳо чанд хусусият набошад, масалан 5 фоизи муштариён синну солашонро нагуфта бошанд, бояд қарор диҳед: оё ин атрибутро тамоман нодида мегиред, ин намунаҳоро хориҷ мекунед, қиматҳои гумшударо, масалан бо медианаи синну сол, пур мекунед ё як моделро бо ин хусусият ва дигареро бе он меомӯзонед.

Хусусиятҳои номарбут

Чунон ки мегӯянд: «Додаи бад ворид шавад, натиҷаи бад мебарояд» (garbage in, garbage out). Система танҳо вақте омӯхта метавонад, ки додаҳои омӯзишӣ хусусиятҳои марбути кофӣ дошта бошанд ва хусусиятҳои номарбут дар онҳо аз ҳад зиёд набошанд. Интихоби маҷмӯи хуби хусусиятҳо барои омӯзиш қисми муҳими муваффақияти лоиҳа мебошад. Ин раванд, ки муҳандисии хусусиятҳо (feature engineering) ном дорад, қадамҳои зеринро дар бар мегирад:

• Интихоби хусусиятҳо: аз миёни хусусиятҳои мавҷуда интихоб кардани муфидтаринҳо барои омӯзиш.
• Истихроҷи хусусиятҳо: якҷо кардани хусусиятҳои мавҷуда барои ҳосил кардани хусусияти муфидтар. Чунон ки пештар дидем, алгоритмҳои коҳиши андозанокӣ дар ин кор ёрӣ медиҳанд.
• Сохтани хусусиятҳои нав бо ҷамъоварии додаҳои нав.

Акнун, ки мисолҳои зиёди додаҳои бадро дидем, чанд мисоли алгоритмҳои бадро баррасӣ мекунем.

Аз ҳад мутобиқ шудан ба додаҳои омӯзишӣ

Фарз мекунем ба кишвари хориҷӣ сафар кардаед ва ронандаи таксӣ шуморо фиреб медиҳад. Шояд хоҳед бигӯед, ки ҳамаи ронандагони таксии он кишвар дузданд. Мо одамон бисёр вақт аз ҳад зиёд умумият медиҳем. Мутаассифона, агар эҳтиёт накунем, мошинҳо низ ба ҳамин дом меафтанд. Дар омӯзиши мошинӣ ин аз ҳад мутобиқшавӣ (overfitting) ном дорад: модел дар додаҳои омӯзишӣ хуб кор мекунад, аммо ба додаҳои нав хуб умумият намедиҳад.

Расми 1.23 модели бисёрузвагии дараҷаи баланди қаноатмандӣ аз зиндагиро нишон медиҳад, ки ба додаҳои омӯзишӣ сахт аз ҳад мутобиқ шудааст. Ҳарчанд он дар додаҳои омӯзишӣ аз модели содаи хаттӣ хеле беҳтар кор мекунад, оё воқеан ба пешгӯиҳояш бовар мекардед?

Расми 1.23. Аз ҳад мутобиқ шудан ба додаҳои омӯзишӣ.

Моделҳои мураккаб, аз ҷумла шабакаҳои нейронии амиқ, метавонанд қонуниятҳои нозуки додаҳоро пайдо кунанд. Аммо агар маҷмӯа ғавғодор ё хеле хурд бошад — ки худ ғавғои намунагириро ба вуҷуд меорад — эҳтимол модел дар худи ғавғо қонуният меёбад, мисли мисоли ронандаи таксӣ. Равшан аст, ки ин қонуниятҳо ба намунаҳои нав умумият намеёбанд.

Масалан, ба модели қаноатмандӣ аз зиндагӣ атрибутҳои хеле бештар, аз ҷумла атрибутҳои бемаълумот, мисли номи кишвар, медиҳед. Модели мураккаб метавонад чунин «қонуният»-ро ёбад: ҳамаи кишварҳои маҷмӯи омӯзишӣ, ки дар номи англисии онҳо ҳарфи w ҳаст, қаноатмандии бештар аз 7 доранд: New Zealand — Зеландияи Нав (7,3), Norway — Норвегия (7,6), Sweden — Шветсия (7,3) ва Switzerland — Швейтсария (7,5). То чӣ андоза бовар доред, ки қоидаи «w — қаноатмандӣ» барои Rwanda — Руанда ё Zimbabwe — Зимбабве низ кор мекунад? Маълум аст, ки ин қонуният дар додаҳои омӯзишӣ комилан тасодуфӣ пайдо шудааст. Аммо модел роҳи муайян кардани онро надорад, ки қонуният воқеист ё танҳо натиҷаи ғавғои додаҳост.

Огоҳӣ. Аз ҳад мутобиқшавӣ вақте рух медиҳад, ки модел нисбат ба миқдор ва сатҳи ғавғои додаҳои омӯзишӣ аз ҳад мураккаб аст ва омӯхтани қонуниятҳои тасодуфиро оғоз мекунад. Роҳҳои эҳтимолии ҳал:

• Моделро сода кунед: модели дорои параметрҳои камтарро интихоб намоед, масалан модели хаттиро ба ҷойи модели бисёрузвагии дараҷаи баланд; шумораи атрибутҳои додаҳои омӯзиширо кам кунед ё ба модел маҳдудият гузоред.
• Додаҳои омӯзишии бештар ҷамъ кунед.
• Ғавғоро дар додаҳои омӯзишӣ кам кунед, масалан хатоҳоро ислоҳ карда, қиматҳои дурро хориҷ намоед.

Маҳдуд кардани модел барои сода кардани он ва кам кардани хавфи аз ҳад мутобиқшавӣ мунтазамсозӣ (regularization) ном дорад. Масалан, модели хаттии пештар таърифкардаамон ду параметр — θ₀ ва θ₁ — дорад. Ин ба алгоритми омӯзиш ду дараҷаи озодӣ медиҳад, то моделро ба додаҳо мутобиқ кунад: ҳам баландии хатро (θ₀) ва ҳам нишебии онро (θ₁) тағйир диҳад. Агар маҷбур кунем θ₁ = 0 бошад, алгоритм танҳо як дараҷаи озодӣ хоҳад дошт ва барои дуруст мутобиқ шудан ба додаҳо хеле душворӣ мекашад: танҳо метавонад хатро боло ё поён барад, то ба намунаҳои омӯзишӣ ҳарчи наздик шавад. Дар натиҷа хат тақрибан дар атрофи миёна ҷой мегирад. Воқеан, модели хеле сода!

Агар иҷозат диҳем θ₁ тағйир ёбад, аммо талаб кунем, ки хурд монад, алгоритм амалан байни як ва ду дараҷаи озодӣ хоҳад дошт. Он моделеро ҳосил мекунад, ки аз модели дорои ду дараҷаи озодӣ содатар, аммо аз модели дорои як дараҷаи озодӣ мураккабтар аст. Бояд тавозуни дурустеро ёбед: модел ба додаҳои омӯзишӣ хуб мутобиқ шавад ва ҳамзамон ба қадри кофӣ сода монад, то ба додаҳои нав низ хуб умумият диҳад.

Расми 1.24 се моделро нишон медиҳад. Хати нуқтадор модели аввалияест, ки бо кишварҳои ҳамчун доира нишон додашуда омӯзонида шудааст; кишварҳои чоркунҷашакл дар омӯзиши он набуданд. Хати яклухт модели дуюмест, ки бо ҳамаи кишварҳо — ҳам доираҳо ва ҳам чоркунҷаҳо — омӯзонида шудааст. Хати канда-канда бошад, бо ҳамон додаҳои модели аввал, вале бо маҳдудияти мунтазамсозӣ омӯзонида шудааст. Мебинед, ки мунтазамсозӣ моделро маҷбур кардааст нишебии хурдтар дошта бошад. Ин модел ба додаҳои омӯзишӣ — доираҳо — мисли модели аввал хуб мутобиқ нест, аммо дар асл ба намунаҳои нави ҳангоми омӯзиш надидааш — чоркунҷаҳо — беҳтар умумият медиҳад.

Расми 1.24. Мунтазамсозӣ хавфи аз ҳад мутобиқшавиро кам мекунад.

Шиддати мунтазамсозиро ҳангоми омӯзиш бо гиперпараметр идора кардан мумкин аст. Гиперпараметр параметри алгоритми омӯзиш аст, на параметри худи модел. Аз ин рӯ, худи алгоритми омӯзиш онро тағйир намедиҳад: қимат бояд пеш аз омӯзиш гузошта шавад ва ҳангоми омӯзиш доимӣ мемонад. Агар гиперпараметри мунтазамсозиро хеле калон гузоред, модели қариб уфуқӣ, яъне бо нишебии наздик ба сифр, мегиред. Алгоритм қариб ҳатман ба додаҳои омӯзишӣ аз ҳад мутобиқ намешавад, аммо эҳтимоли ёфтани роҳи ҳалли хуб низ камтар мешавад. Танзими гиперпараметрҳо қисми муҳими сохтани системаи омӯзиши мошинист; дар боби оянда мисоли муфассал мебинед.

Каммутобиқшавӣ ба додаҳои омӯзишӣ

Чунон ки шояд тахмин кардед, каммутобиқшавӣ (underfitting) муқобили аз ҳад мутобиқшавист: модел барои омӯхтани сохтори асосии додаҳо аз ҳад сода аст. Масалан, модели хаттии қаноатмандӣ аз зиндагӣ ба ин мушкил майл дорад: воқеият аз модел мураккабтар аст, бинобар ин пешгӯиҳояш ҳатто барои намунаҳои омӯзишӣ ҳам нодуруст мешаванд.

Роҳҳои асосии ислоҳ чунинанд:

• Модели тавонотар бо параметрҳои бештар интихоб кунед.
• Ба алгоритм хусусиятҳои беҳтар диҳед, яъне муҳандисии хусусиятҳоро истифода баред.
• Маҳдудиятҳои моделро кам кунед, масалан қимати гиперпараметри мунтазамсозиро поён баред.

Мушкилоти ҷойгиркунӣ дар муҳити истифода

Ҳатто агар маҷмӯи калону тозаи додаҳо дошта бошед ва модели аълое омӯзонед, ки на каммутобиқ ва на аз ҳад мутобиқ бошад, ҳангоми ҷойгиркунӣ дар муҳити истифода ҳанӯз мушкил пеш омада метавонад. Масалан, модел барои нигоҳдорӣ хеле мураккаб, барои ғунҷидан дар хотира хеле калон ё хеле суст бошад; бо зиёд шудани миқёси кор дуруст мутобиқ нашавад; осебпазириҳои амниятӣ дошта бошад; агар зуд-зуд нав накунед, куҳна шавад ва ғайра.

Пас, лоиҳаи омӯзиши мошинӣ танҳо додаҳо ва моделҳо нест. Аммо малакаҳои ҳалли ин мушкилоти амалиётӣ аз малакаҳои моделсозии додаҳо хеле фарқ мекунанд. Аз ин рӯ, ширкатҳо аксар вақт гурӯҳи махсуси MLOps — амалиёти омӯзиши мошинӣ доранд, ки ин корҳоро иҷро мекунад.

Нигоҳе ба тасвири умумӣ

То ин ҷо дар бораи омӯзиши мошинӣ бисёр чиз омӯхтед. Аммо азбаски мафҳумҳо зиёд буданд, шояд каме сардаргум шуда бошед. Биёед як қадам ба қафо гузошта, ба тасвири умумӣ нигоҳ кунем:

• Омӯзиши мошинӣ ба мошинҳо имкон медиҳад, ки ба ҷойи рамзгузории мустақими қоидаҳо, бо омӯхтан аз додаҳо вазифаеро беҳтар иҷро кунанд.
• Системаҳои он навъҳои гуногун доранд: бо назорат ё беназорат, дастаӣ ё онлайн, бар асоси намуна ё бар асоси модел.
• Дар лоиҳа додаҳоро ба маҷмӯи омӯзишӣ ҷамъ карда, онро ба алгоритми омӯзиш медиҳед. Агар алгоритм бар асоси модел бошад, баъзе параметрҳоро танзим мекунад, то модел ба маҷмӯи омӯзишӣ мутобиқ шавад, яъне дар худи он пешгӯиҳои хуб кунад. Сипас умед дорем дар ҳолатҳои нав низ хуб пешгӯӣ мекунад. Агар алгоритм бар асоси намуна бошад, мисолҳоро аз ёд мекунад ва барои умумиятдиҳӣ намунаҳои навро бо меъёри монандӣ бо намунаҳои омӯхтааш муқоиса менамояд.
• Агар маҷмӯи омӯзишӣ хеле хурд бошад ё додаҳо ғайринамоянда, ғавғодор ё пур аз хусусиятҳои номарбут бошанд, система хуб кор намекунад: додаи бад ворид шавад, натиҷаи бад мебарояд. Модел набояд аз ҳад сода бошад, вагарна каммутобиқ мешавад, ва набояд аз ҳад мураккаб бошад, вагарна аз ҳад мутобиқ мешавад. Ниҳоят, маҳдудиятҳои ҷойгиркунӣ дар муҳити истифода бояд бодиққат баррасӣ шаванд.

Танҳо як мавзуи муҳими дигар боқӣ монд: пас аз омӯзонидани модел намехоҳед танҳо «умед» кунед, ки он ба ҳолатҳои нав хуб умумият медиҳад. Мехоҳед онро арзёбӣ карда, дар ҳолати зарурат танзими дақиқ намоед. Биёед бубинем чӣ гуна.

Санҷиш ва тасдиқ

Ягона роҳи фаҳмидани он ки модел ба ҳолатҳои нав то чӣ андоза хуб умумият медиҳад, воқеан дар ҳолатҳои нав санҷидани он аст. Як роҳ ин аст, ки моделро ба муҳити истифодаи воқеӣ гузошта, самаранокиашро назорат кунед. Ин кор мекунад, аммо агар модел хеле бад бошад, корбарон шикоят мекунанд. Пас, фикри беҳтарин нест.

Интихоби беҳтар ҷудо кардани додаҳо ба ду маҷмӯа аст: маҷмӯи омӯзишӣ (training set) ва маҷмӯи санҷишӣ (test set). Чунон ки номҳо нишон медиҳанд, моделро бо маҷмӯи омӯзишӣ меомӯзонед ва бо маҷмӯи санҷишӣ месанҷед. Мизони хато дар ҳолатҳои нав хатои умумиятдиҳӣ (generalization error) ё хатои берун аз намуна (out-of-sample error) ном дорад. Бо арзёбии модел дар маҷмӯи санҷишӣ ин хаторо тахмин мекунед. Ин қимат нишон медиҳад, ки модел бо намунаҳои пештар надидааш то чӣ андоза хуб кор хоҳад кард.

Агар хатои омӯзиш паст бошад, яъне модел дар маҷмӯи омӯзишӣ кам хато кунад, аммо хатои умумиятдиҳӣ баланд бошад, ин маънои онро дорад, ки модел ба додаҳои омӯзишӣ аз ҳад мутобиқ шудааст.

Маслиҳат. Одатан 80 фоизи додаҳоро барои омӯзиш ва 20 фоизро барои санҷиш ҷудо мекунанд. Аммо ин ба андозаи маҷмӯа вобаста аст: агар 10 миллион намуна дошта бошад, ҷудо кардани 1 фоиз маънои маҷмӯи санҷишии 100 000-намунагиро дорад, ки эҳтимол барои тахмини хуби хатои умумиятдиҳӣ аз кофӣ ҳам зиёдтар аст.

Танзими гиперпараметрҳо ва интихоби модел

Арзёбии модел нисбатан сода аст: маҷмӯи санҷиширо истифода баред. Аммо фарз мекунем байни ду навъи модел, масалан модели хаттӣ ва бисёрузвагӣ, дудилаед. Чӣ гуна интихоб мекунед? Як роҳ омӯзонидани ҳар ду ва муқоисаи умумиятдиҳии онҳо бо маҷмӯи санҷишӣ мебошад.

Акнун фарз мекунем модели хаттӣ беҳтар умумият медиҳад, аммо мехоҳед барои пешгирии аз ҳад мутобиқшавӣ каме мунтазамсозӣ илова кунед. Савол ин аст: қимати гиперпараметри мунтазамсозиро чӣ гуна интихоб мекунед? Як роҳ омӯзонидани 100 модели гуногун бо 100 қимати гуногуни ин гиперпараметр аст. Фарз мекунем қимати беҳтаринро меёбед, ки модели дорои хатои камтарини умумиятдиҳӣ, масалан танҳо 5 фоиз, медиҳад. Онро ба муҳити истифода мегузоред, аммо мутаассифона, он тавре интизор будед кор намекунад ва 15 фоиз хато медиҳад. Чӣ рӯй дод?

Мушкил дар он аст, ки шумо хатои умумиятдиҳиро дар маҷмӯи санҷишӣ чандин бор чен карда, модел ва гиперпараметрҳоро ба тавре мутобиқ сохтед, ки барои ҳамон маҷмӯи мушаххас модели беҳтарин ҳосил шавад. Аз ин рӯ, эҳтимол модел дар додаҳои нав ҳамон қадар хуб кор намекунад.

Роҳи маъмули ҳал тасдиқ бо маҷмӯи ҷудошуда (holdout validation) ном дорад (расми 1.25): танҳо як қисми маҷмӯи омӯзиширо барои арзёбии чанд модели номзад ва интихоби беҳтаринашон ҷудо мекунед. Маҷмӯи нави ҷудошуда маҷмӯи тасдиқӣ (validation set) ё маҷмӯи таҳия (development set, dev set) ном дорад.

Мушаххастар, моделҳои гуногунро бо гиперпараметрҳои гуногун дар маҷмӯи омӯзишии хурдшуда, яъне маҷмӯи пурра бе қисми тасдиқӣ, меомӯзонед ва моделеро интихоб мекунед, ки дар маҷмӯи тасдиқӣ беҳтар кор мекунад. Баъди ин раванд модели беҳтаринро бо тамоми маҷмӯи омӯзишӣ, аз ҷумла қисми тасдиқӣ, боз меомӯзонед ва модели ниҳоиро мегиред. Дар охир ин модели ниҳоиро дар маҷмӯи санҷишӣ арзёбӣ мекунед, то хатои умумиятдиҳиро тахмин намоед.

Расми 1.25. Интихоби модел тавассути тасдиқ бо маҷмӯи ҷудошуда.

Ин роҳ одатан хеле хуб кор мекунад. Аммо агар маҷмӯи тасдиқӣ хеле хурд бошад, арзёбии моделҳо нодақиқ мешавад: шояд тасодуфан модели ғайрибеҳтаринро интихоб кунед. Агар хеле калон бошад, маҷмӯи боқимондаи омӯзишӣ аз маҷмӯи пурра хеле хурдтар мешавад. Чаро ин бад аст? Азбаски модели ниҳоӣ бо тамоми маҷмӯа омӯзонида мешавад, муқоисаи моделҳои номзаде, ки бо маҷмӯи хеле хурдтар омӯзонида шудаанд, чандон мувофиқ нест. Ин монанди интихоби тезтарин давандаи масофаи кӯтоҳ барои иштирок дар марафон аст.

Як роҳи ҳал санҷиши салибии такрорӣ (repeated cross-validation) бо истифодаи маҷмӯаҳои хурди зиёди тасдиқӣ мебошад. Ҳар модел пас аз омӯзиш бо қисми боқимондаи додаҳо, барои ҳар маҷмӯи тасдиқӣ як бор арзёбӣ мешавад. Бо гирифтани миёнаи ҳамаи арзёбиҳои модел, ченаки хеле дақиқтари самаранокии онро мегиред. Аммо як нуқсон ҳаст: вақти омӯзиш ба шумораи маҷмӯаҳои тасдиқӣ зарб мешавад.

Номувофиқии додаҳо

Дар баъзе ҳолатҳо гирифтани додаҳои зиёди омӯзишӣ осон аст, аммо онҳо эҳтимол додаҳои муҳити истифодаи воқеиро комилан намояндагӣ намекунанд. Масалан, мехоҳед барномаи мобилие созед, ки акси гулро гирифта, намуди онро худкор муайян кунад. Миллионҳо акси гулро аз интернет ба осонӣ боргирӣ кардан мумкин аст, аммо онҳо ба аксҳое, ки воқеан бо барнома дар дастгоҳи мобилӣ гирифта мешаванд, пурра мувофиқ нестанд. Шояд танҳо 1 000 акси намоянда, яъне воқеан бо барнома гирифташуда, дошта бошед.

Дар ин ҳолат муҳимтарин қоида ин аст, ки ҳам маҷмӯи тасдиқӣ ва ҳам маҷмӯи санҷишӣ бояд додаҳои интизоршавандаи муҳити истифодаи воқеиро то ҳадди имкон хуб намояндагӣ кунанд. Пас онҳо бояд танҳо аз аксҳои намоянда иборат бошанд: аксҳоро омехта карда, нисфашонро ба маҷмӯи тасдиқӣ ва нисфи дигарро ба маҷмӯи санҷишӣ гузоред. Бовар ҳосил кунед, ки нусхаҳои яксон ё қариб яксон дар ҳар ду маҷмӯа наафтанд. Пас аз омӯзонидани модел бо аксҳои интернетӣ, агар натиҷаи он дар маҷмӯи тасдиқӣ ноумедкунанда бошад, намедонед сабаб аз ҳад мутобиқшавӣ ба маҷмӯи омӯзишист ё танҳо номувофиқии аксҳои интернетӣ бо аксҳои барномаи мобилӣ.

Як роҳи ҳал ин аст, ки қисми аксҳои омӯзишии интернетиро дар маҷмӯи алоҳидаи дигар нигоҳ доред. Эндрю Нг онро маҷмӯи омӯзишӣ-таҳия (train-dev set) номидааст (расми 1.26). Пас аз омӯзонидани модел бо маҷмӯи омӯзишӣ, на бо train-dev, онро дар train-dev арзёбӣ мекунед. Агар бад кор кунад, пас ба маҷмӯи омӯзишӣ аз ҳад мутобиқ шудааст. Бояд моделро сода ё мунтазамсозӣ кунед, додаҳои омӯзишии бештар гиред ва додаҳоро тоза намоед.

Аммо агар дар train-dev хуб кор кунад, метавонед моделро дар маҷмӯи таҳия, яъне dev, арзёбӣ кунед. Агар дар он бад кор кунад, пас мушкил аз номувофиқии додаҳост. Метавонед аксҳои интернетиро пешкоркард кунед, то ба аксҳои ояндаи барномаи мобилӣ бештар монанд шаванд, ва баъд моделро боз омӯзонед. Вақте моделе доред, ки ҳам дар train-dev ва ҳам дар dev хуб кор мекунад, онро бори охир дар маҷмӯи санҷишӣ арзёбӣ намоед, то бидонед дар муҳити истифодаи воқеӣ эҳтимол чӣ гуна кор хоҳад кард.

Расми 1.26. Вақте додаҳои воқеӣ каманд — тарафи рост — метавонед додаҳои зиёди монандро — тарафи чап — барои омӯзиш истифода баред ва қисми онҳоро дар маҷмӯи train-dev барои арзёбии аз ҳад мутобиқшавӣ ҷудо кунед. Сипас додаҳои воқеиро барои арзёбии номувофиқии додаҳо — маҷмӯи dev — ва самаранокии модели ниҳоӣ — маҷмӯи санҷишӣ — истифода мебаред.

Теоремаи «Хӯроки бепул вуҷуд надорад»

Модел намоиши содакардашудаи додаҳост. Мақсади содакунӣ дур кардани ҷузъиёти зиёдатие мебошад, ки эҳтимол ба намунаҳои нав умумият намеёбанд. Вақте навъи муайяни моделро интихоб мекунед, ғайримустақим дар бораи додаҳо фарзияҳо мегузоред. Масалан, агар модели хаттиро интихоб кунед, фарз мекунед, ки додаҳо дар асл сохтори хаттӣ доранд ва фосилаи байни намунаҳо ва хати рост танҳо ғавғост, ки онро бе мушкил нодида гирифтан мумкин аст.

Дар мақолаи машҳури соли 1996 Дэвид Уолперт нишон дод: агар дар бораи додаҳо тамоман ҳеҷ фарзияе накунед, асосе нест, ки як моделро аз модели дигар бартар донед. Ин теоремаи «Хӯроки бепул вуҷуд надорад» (No Free Lunch, NFL) ном дорад. Барои баъзе маҷмӯаҳо модели хаттӣ беҳтарин аст, барои дигарон шабакаи нейронӣ. Моделе нест, ки аз пеш кафолат дода шавад аз дигарон беҳтар кор мекунад — номи теорема низ аз ҳамин ҷост.

Ягона роҳи бо итминон донистани он ки кадом модел беҳтарин аст, арзёбии ҳамаи онҳост. Азбаски ин имконнопазир аст, дар амал дар бораи додаҳо чанд фарзияи оқилона мегузоред ва танҳо чанд модели муносибро арзёбӣ мекунед. Масалан, барои вазифаҳои сода моделҳои хаттиро бо дараҷаҳои гуногуни мунтазамсозӣ ва барои масъалаи мураккаб шабакаҳои гуногуни нейрониро месанҷед.