Боби 11. Шабакаҳои нейронии сунъӣ

Дар ин боб меомӯзем

• Шабакаи нейронӣ аз чӣ иборат аст: гиреҳҳо, пайвандҳо, вазнҳо ва функсияи фаъолсозӣ.
• Чаро шабакаҳои нейрониро «қуттии сиёҳ» меноманд ва кай онҳоро истифода бурдан бамаврид аст.
• Персептрон чӣ гуна қарор қабул мекунад: мисоли ҳисоб қадам ба қадам.
• Нейрони сигмоидӣ ва функсияи tanh.
• Персептрони бисёрқабата ва омӯзиши амиқ.

Ин боб моро бо шабакаҳои нейронии сунъӣ — Artificial Neural Networks (ANN) шинос мекунад. Онҳо асоси омӯзиши амиқ ва бисёре аз низомҳои муосири зеҳни сунъӣ мебошанд.

Шабакаҳои нейронии сунъӣ, ки онҳоро кӯтоҳ шабакаҳои нейронӣ низ меноманд, яке аз усулҳои маъмули омӯзиши мошинӣ мебошанд. Онҳо додаҳоро тавассути шабакае аз қабатҳои коркард таҳлил мекунанд.

Номи ин усул аз монандии умумии сохтори он ба мағзи инсон гирифта шудааст. Ин маънои онро надорад, ки шабакаҳои нейронии сунъӣ нусхаи рақамии раванди қабули қарори мағз мебошанд. Аммо байни онҳо баъзе монандиҳои умумӣ вуҷуд доранд.

Расми 11.1. Сохтори нейрони мағзи инсон.

Масалан, мағз аз нейронҳои ба ҳам пайваст иборат аст. Дендритҳо сигналҳои воридотиро қабул мекунанд. Нейрон дар посух сигнали барқӣ ҳосил мекунад, ки тавассути аксон ва нӯгҳои он ба нейронҳои дигар интиқол меёбад.

Ба ҳамин монанд, шабакаҳои нейронии сунъӣ аз воҳидҳои ҳисоббарории ба ҳам пайваст иборатанд, ки онҳоро гиреҳҳо — nodes меноманд. Гиреҳҳо тавассути пайвандҳо бо якдигар ҳамкорӣ мекунанд.

Гиреҳҳои шабака ба қабатҳо ҷудо мешаванд. Қабати аввал додаҳои воридотӣ, масалан, қиматҳои ададӣ, матн, пикселҳои тасвир ё садоро дар шакли мувофиқи ададӣ қабул мекунад.

Сипас ҳар гиреҳи воридотӣ иттилоотро тавассути пайвандҳои шабака ба қабати навбатӣ мефиристад.

Расми 11.2. Гиреҳҳо, пайвандҳо ва вазнҳо, инчунин ҷамъбандӣ ва функсияи фаъолсозӣ дар шабакаи нейронии сода.

Ҳар пайванди шабака вазни ададӣ дорад, ки ҳангоми омӯзиш тағйир дода мешавад.

Нейрон қиматҳои воридотиро бо вазнҳои мувофиқ зарб карда, онҳоро ҷамъ мекунад. Сипас ба натиҷа функсияи фаъолсозӣ — activation function татбиқ мешавад.

Дар содатарин ҳолати остонавӣ, агар ҷамъ ба остонаи муайян расад, нейрон фаъол мешавад; дар акси ҳол, фаъол намешавад. Ин тарзи кор ба принсипи «ҳама ё ҳеҷ» монанд аст.

Вазнҳои пайвандҳо метавонанд аз якдигар фарқ кунанд. Аз ин рӯ, гиреҳҳо ба як воридот ба тарзҳои гуногун посух медиҳанд ва метавонанд хусусиятҳои гуногунро омӯзанд.

Дар омӯзиши назоратшаванда натиҷаи пешгӯишудаи модел бо натиҷаи воқеӣ, ки дуруст буданаш маълум аст, муқоиса мешавад. Фарқи байни онҳо тавассути функсияи хато ё талафот — loss function арзёбӣ мегардад.

Ҳадафи омӯзиш кам кардани ин хато мебошад, то пешгӯии модел ба натиҷаи дуруст наздик шавад. Барои ин вазнҳои шабака тадриҷан тағйир дода мешаванд.

Ҷузъи асосии ин раванд паҳншавии баръакси хато — backpropagation ном дорад. Ҳангоми гузариши пешрав додаҳо аз қабати воридотӣ ба қабати натиҷавӣ ҳаракат мекунанд. Паҳншавии баръакс бошад, иттилооти марбут ба хатогиро аз қабати натиҷавӣ ба қабатҳои пешина интиқол медиҳад, то саҳми вазнҳо дар хато ҳисоб ва онҳо нав карда шаванд.

Мушкили «қуттии сиёҳ»

Яке аз камбудиҳои моделҳои шабакавӣ мушкили қуттии сиёҳ — black-box dilemma мебошад.

Гарчанде шабака метавонад натиҷаҳои дақиқ диҳад, аз сохтори дохилии он на ҳамеша равшан мешавад, ки ҳар тағйирёбанда ба қарор чӣ гуна таъсир расондааст.

Масалан, агар шабакаи нейрониро барои пешгӯии натиҷаи маъракаи Kickstarter, яъне платформаи ҷамъоварии маблағ барои лоиҳаҳои эҷодӣ, истифода барем, он метавонад тағйирёбандаҳои зиёдеро таҳлил кунад:

• гурӯҳи лоиҳа;
• асъор;
• муҳлати анҷоми маърака;
• ҳадди ақали маблағи дастгирӣ;
• дигар хусусиятҳо.

Аммо шарҳ додани робитаи ҳар яке аз ин тағйирёбандаҳо бо расидан ё нарасидани маърака ба ҳадафи маблағгузорӣ метавонад душвор бошад.

Алгоритмҳое ба монанди дарахтҳои қарор ва регрессияи хаттӣ одатан фаҳмотаранд, зеро робитаи тағйирёбандаҳоро бо натиҷа равшантар нишон медиҳанд.

Илова бар ин, ду шабакаи нейронии дорои сохтор ва вазнҳои гуногун метавонанд натиҷаи яксон диҳанд. Ин муайян кардани таъсири хусусиятҳои алоҳидаро боз ҳам душвортар мекунад.

Пас саволе ба миён меояд: агар шабакаи нейронӣ «қуттии сиёҳ» бошад, кай бояд онро истифода бурд?

Шабакаҳои нейронӣ одатан барои вазифаҳои пешгӯии дорои хусусиятҳои зиёди воридотӣ ва қолабҳои мураккаб мувофиқанд. Онҳо махсусан дар масъалаҳое муфиданд, ки барои компютер душвор, вале барои инсон сода менамоянд.

Як мисол CAPTCHA мебошад — санҷише дар сомонаҳо барои фарқ кардани инсон аз барномаи худкор.

Мисоли дигар муайян кардани он аст, ки оё пиёдагард омодаи қадам гузоштан ба роҳи мошини наздикшаванда ҳаст ё не.

Дар ҳар ду ҳолат ба даст овардани пешгӯии зуд ва дақиқ аз шарҳи муфассали таъсири ҳар тағйирёбанда ба натиҷа муҳимтар аст.

Сохтани шабакаи нейронӣ

Шабакаи маъмули нейрониро ба се қисми асосӣ ҷудо кардан мумкин аст:

• қабати воридотӣ;
• қабат ё қабатҳои ниҳонӣ;
• қабати натиҷавӣ.

Додаҳо аввал ба қабати воридотӣ дохил мешаванд. Қабатҳои ниҳонӣ хусусиятҳои воридшударо таҳлил ва коркард мекунанд. Натиҷаи ниҳоӣ тавассути қабати натиҷавӣ ҳосил мешавад.

Расми 11.3. Се қисми асосии шабакаи нейронӣ.

Қабатҳои миёнаро «ниҳонӣ» меноманд, зеро онҳо байни воридот ва натиҷа кор мекунанд ва қиматҳои онҳо одатан мустақиман ҳамчун додаҳои аслӣ ё ҷавоби ниҳоӣ пешниҳод намешаванд.

Барои муқоиса, вақте чор хати ба шакли мураббаъ пайвастро мебинем, чашмони мо онҳоро фавран ҳамчун мураббаъ мешиносанд. Мо раванди дохилиеро, ки аз чор хат (воридот) мураббаъ (натиҷа) мешиносад, мустақиман эҳсос намекунем.

Шабакаҳои нейронӣ низ додаҳоро дар қабатҳо коркард карда, натиҷаи ниҳоӣ ҳосил мекунанд.

Илова кардани қабатҳои ниҳонӣ метавонад қобилияти моделро барои таҳлили қолабҳои мураккаб зиёд кунад. Моделҳои дорои қабатҳои зиёди коркард ба соҳаи омӯзиши амиқ — deep learning дохил мешаванд.

Барои пайваст кардани гиреҳҳои шабака усулҳои гуногун мавҷуданд. Яке аз содатаринҳо шабакаи пешрав — feed-forward network мебошад. Дар он сигналҳо танҳо ба як самт ҳаракат мекунанд ва пайванди бозгашт вуҷуд надорад.

Содатарин намунаи чунин шабака персептрон — perceptron мебошад, ки профессор Фрэнк Розенблатт дар солҳои 1950 пешниҳод карда буд.

Расми 11.4. Намоиши сохтори персептрон.

Персептрон ҳамчун функсияи қабули қарор сохта шудааст: он воридотро қабул карда, натиҷаи дуӣ медиҳад.

Сохтори он аз як ё чанд воридот, воҳиди коркард — нейрон — ва як натиҷа иборат аст. Воридот ба нейрон дода мешавад, коркард мегардад ва натиҷа ҳосил мешавад.

Персептрони сода яке аз ду қиматро медиҳад: 0 ё 1.

Қимати 1 ҳолати фаъол ва 0 ҳолати ғайрифаъолро ифода мекунад. Дар шабакаи калонтар ин натиҷаҳо ба қабати навбатӣ дода мешаванд; саҳми қимати сифр дар ҷамъбандии вазндор сифр мешавад.

Ҳамчун усули омӯзиши назоратшаванда, персептрон бо панҷ қадами зерин омӯзонида мешавад:

1. Додаҳои воридотӣ ба нейрон дода мешаванд.
2. Персептрон вазнҳоро татбиқ карда, пешгӯӣ ҳосил мекунад.
3. Фарқи байни пешгӯӣ ва натиҷаи воқеӣ ҳисоб карда мешавад.
4. Вазнҳо мувофиқи хато тағйир дода мешаванд.
5. Ин қадамҳо то расидан ба дақиқии қаноатбахш такрор мешаванд. Сипас модели омӯзонидашударо дар додаҳои санҷишӣ арзёбӣ кардан мумкин аст.

Барои нишон додани ин раванд, персептронеро бо ду воридот мегирем:

[ x_1=24 ]

[ x_2=16 ]

Ба ҳар воридот вазни ибтидоӣ медиҳем ва онҳоро барои коркард ба нейрон мефиристем.

Расми 11.5. Ба пайвандҳои персептрон вазнҳо дода мешаванд.

Вазнҳо чунинанд:

[ w_1=0.5 ]

[ w_2=-1 ]

Ҳар воридотро ба вазни мувофиқ зарб мекунем:

[ 24\times0.5=12 ]

[ 16\times(-1)=-16 ]

Гарчанде персептрон натиҷаи дуӣ медиҳад, остонаи функсияи фаъолсозии онро метавон бо роҳҳои гуногун муайян кард.

Дар ин мисол қоидаи зеринро истифода мебарем:

[ y= \begin{cases} 1, & \text{агар } z\geq0\ 0, & \text{агар } z<0 \end{cases} ]

Дар ин ҷо z ҷамъи вазндори воридот аст.

Яъне, агар ҷамъ мусбат ё ба сифр баробар бошад, натиҷа 1 мешавад. Агар ҷамъ манфӣ бошад, натиҷа 0 мешавад.

Расми 11.6. Функсияи фаъолсозӣ: барои қимати манфӣ натиҷа 0 ва барои қимати ба сифр баробар ё мусбат натиҷа 1 аст.

Ҳисоб мекунем:

[ z=12+(-16)=-4 ]

Азбаски натиҷа аз сифр хурд аст, персептрон 0 медиҳад.

Агар натиҷаи дурусти ин намуна 1 бошад, ин пешгӯӣ хато аст ва вазнҳо бояд тағйир дода шаванд.

Барои нишон додани таъсири тағйири вазн, вазни дуюмро аз −1 ба −0.5 иваз мекунем:

[ 24\times0.5=12 ]

[ 16\times(-0.5)=-8 ]

[ z=12+(-8)=4 ]

Акнун ҷамъ мусбат аст ва персептрон 1 медиҳад. Дар шабакаи калонтар ин натиҷа ба қабати навбатии коркард интиқол меёбад.

Дар ин мисол остонаи фаъолсозӣ 0 буд. Аммо онро метавон тағйир дод, масалан:

[ y= \begin{cases} 1, & \text{агар } z>3\ 0, & \text{агар } z\leq3 \end{cases} ]

Расми 11.7. Функсияи фаъолсозӣ: агар қимат аз 3 калон бошад, натиҷа 1; агар ба 3 баробар ё аз он хурд бошад, натиҷа 0 аст.

Яке аз маҳдудиятҳои персептрон он аст, ки натиҷаи он танҳо 0 ё 1 мебошад. Агар қимати ҷамъшуда ба остона наздик бошад, тағйироти хурди вазн ё узви озод — bias метавонад натиҷаро якбора аз 0 ба 1 ё баръакс иваз кунад.

Дар шабакаи калон чунин тағйирот метавонад ба қабатҳои минбаъда таъсир расонад ва омӯзонидани моделро душвор кунад.

Алтернативаи он нейрони сигмоидӣ мебошад. Ин нейрон ба персептрон монанд аст, аммо ба ҷойи функсияи остонавии дуӣ аз функсияи сигмоид истифода мебарад.

Натиҷаи он метавонад ҳар қимате байни 0 ва 1 бошад. Аз ин рӯ, тағйироти хурди вазн ё воридот одатан ба тағйироти ҳамвори натиҷа оварда мерасонад, на ба ҷаҳиши ногаҳонӣ байни ду ҳолат.

Аммо нейрони сигмоидӣ қиматҳои манфӣ ҳосил намекунад. Варианти дигар функсияи тангенси гиперболӣ — tanh мебошад, ки натиҷаҳои он байни −1 ва 1 қарор мегиранд.

Расми 11.8. Графики функсияи тангенси гиперболӣ.

То ин ҷо шабакаҳои содаи нейрониро баррасӣ кардем. Барои сохтани шабакаи пешрафтатар метавон нейронҳои сигмоидӣ ё дорои дигар функсияҳои фаъолсозиро дар қабатҳои бештар пайваст кард.

Ҳамчунин, метавон аз чандин воҳиди нейронӣ персептрони бисёрқабата сохт.

Персептронҳои бисёрқабата

Персептрони бисёрқабата — Multilayer Perceptron (MLP) мисли дигар шабакаҳои нейронии сунъӣ метавонад барои пешгӯии тағйирёбандаи гурӯҳӣ — тасниф — ё ададии пайваста — регрессия — истифода шавад.

Қувваи он аз пайваст кардани воҳидҳои зиёди ҳисоббарорӣ дар як модели ягонаи пешгӯӣ бармеояд.

Расми 11.9. Персептрони бисёрқабата барои таснифи майли сиёсии корбари шабакаи иҷтимоӣ.

Дар ин мисол модел аз се қабат иборат аст.

Қабати воридотӣ чор гиреҳ дорад, ки ҳар кадом як хусусиятро ифода мекунад:

• синну сол;
• шаҳр;
• таҳсилот;
• ҷинс.

Ин хусусиятҳо барои пешгӯии майли сиёсии корбари шабакаи иҷтимоӣ истифода мешаванд.

Сипас воридот ба қабати миёна ё ниҳонӣ дода мешавад. Ҳар гиреҳи ин қабат функсияи ҳисоббарорӣ, масалан, функсияи сигмоидро истифода мебарад ва вазнҳои худро дорад.

Дар мисоли расм қабати ниҳонӣ панҷ гиреҳ дорад. Ҳар яке аз чор хусусияти воридотӣ ба ҳамаи панҷ гиреҳ пайваст мешавад. Ҳамин тавр, ҳар гиреҳи ниҳонӣ ҳамаи чор хусусиятро коркард мекунад.

Қабати натиҷавӣ ду натиҷаи имконпазир дорад: Ҳизби консервативӣ ё Ҳизби демократӣ. Модел майли эҳтимолии корбарро ба яке аз ин ду гурӯҳ тасниф мекунад.

Шумораи гиреҳҳои ҳар қабат вобаста ба шумораи хусусиятҳои воридотӣ ва вазифаи пешгӯӣ тағйир меёбад.

Умуман, персептронҳои бисёрқабата метавонанд барои таҳлили маҷмӯаҳои бузург ва мураккаби додаҳо муфид бошанд, агар вақт ва захираҳои ҳисоббарории кофӣ дастрас бошанд.

Барои маҷмӯаҳои хурдтар алгоритмҳои камталабтар, аз қабили дарахтҳои қарор ва регрессияи логистикӣ, метавонанд самараноктар бошанд.

Азбаски MLP гиперпараметрҳои зиёд дорад, танзими он низ метавонад вақт ва заҳмати бештар талаб кунад.

Аз ҷиҳати вақти кор, омӯзонидани MLP одатан нисбат ба усулҳои содае чун регрессияи логистикӣ тӯлонитар аст. Муқоисаи суръати он бо SVM ба ҳаҷми додаҳо, сохтори шабака ва навъи SVM вобаста мебошад.

Омӯзиши амиқ

Барои таҳлили қолабҳои нисбатан сода метавон аз персептрони бисёрқабатаи хурд ё алгоритмҳои дигар, масалан, регрессияи логистикӣ ва k ҳамсояи наздиктарин истифода бурд.

Аммо вақте қолабҳои додаҳо мураккабтар мешаванд, махсусан ҳангоми доштани шумораи зиёди воридот, аз қабили пикселҳои тасвир, модели камқабата метавонад барои таҳлили самараноки онҳо кофӣ набошад.

Шабакаи нейронии дорои қабатҳои зиёд метавонад хусусиятҳои зиёди воридотиро коркард карда, сохторҳои мураккабро тавассути таркиби қолабҳои содатар омӯзад.

Расми 11.10. Шинохти чеҳра бо истифода аз омӯзиши амиқ.

Масалан, шабака дар қабатҳои аввал метавонад канорҳо ва хатҳои гуногун, аз ҷумла хатҳои моилро ошкор кунад. Қабатҳои баъдӣ ин аломатҳоро якҷоя карда, сохторҳои мураккабтарро мешиносанд.

Мисли сохтмон аз пораҳои хурд, шабака натиҷаҳои гиреҳҳоро муттаҳид мекунад, то муайян намояд, ки воридот, масалан, чеҳраи инсон аст ё гурба. Сипас метавонад хусусиятҳои инфиродии онро низ шиносад.

Ин равиш омӯзиши амиқ ном дорад. «Амиқ» будани он ба истифодаи чандин қабати пайдарпайи коркард ишора мекунад. Барои шумораи қабатҳое, ки шабакаро ҳатман «амиқ» мегардонанд, ҳадди ягонаи умумӣ вуҷуд надорад.

Шинохти ашё яке аз самтҳои маъмули истифодаи омӯзиши амиқ мебошад. Масалан, мошинҳои худрон аз он барои шинохтани пиёдагардон ва дигар воситаҳои нақлиёт истифода мебаранд. Баъзе шабакаҳои ин соҳа метавонанд зиёда аз 150 қабат дошта бошанд.

Самтҳои дигари истифодаи омӯзиши амиқ инҳоянд:

• таҳлили қаторҳои замонӣ — омӯзиши тамоюлҳои додаҳое, ки дар давраҳо ё фосилаҳои муайяни вақт чен шудаанд;
• шинохти нутқ;
• таҳлили эҳсосот ё муносибати баёншуда дар матн;
• ҷудокунии матн ба бахшҳои мавзуӣ;
• шинохти воҳидҳои номдор, аз қабили номи одамон, ҷойҳо ва ташкилотҳо.

Сенарияҳои дигари истифода ва усулҳои мувофиқи омӯзиши амиқ дар ҷадвали 11.1 оварда шудаанд.

Ҷадвали 11.1. Самтҳои маъмули истифода ва усулҳои мувофиқи омӯзиши амиқ.

Ин ҷадвал тавсияҳои китоби аслиро меорад. Аз он вақт соҳа хеле тағйир ёфтааст: имрӯз барои матн ва нутқ бештар трансформерҳо истифода мешаванд, шабакаҳои эътиқоди амиқ ва RNTN бошанд, қариб истифода намешаванд. Шабакаҳои конволютсионӣ барои тасвирҳо ҳоло ҳам маъмуланд.

Дар бисёр вазифаҳои махсус, дар баробари MLP, меъмориҳои дигар истифода мешаванд, аз ҷумла:

• шабакаҳои конволютсионӣ — convolutional networks;
• шабакаҳои бозгаштӣ — recurrent networks;
• шабакаҳои эътиқоди амиқ — deep belief networks;
• шабакаҳои нейронии тензории рекурсивӣ — Recursive Neural Tensor Networks (RNTN).

Ин меъмориҳо барои вазифаҳои гуногуни амалӣ таҳия шудаанд. Шабакаҳои конволютсионӣ, махсусан дар коркарди тасвирҳо, аз усулҳои маъруфу тавоно мебошанд. Ҳамзамон, усулҳо ва навъҳои нави шабакаҳои нейронӣ пайваста рушд мекунанд. Масалан, имрӯз барои коркарди матн ва нутқ бештар трансформерҳо — transformers истифода мешаванд, ки асоси моделҳои бузурги забонӣ ба монанди ChatGPT мебошанд.

Чиро бояд дар ёд дошт

• Нейрони сунъӣ воридотро ба вазнҳо зарб карда ҷамъ мекунад ва ба натиҷа функсияи фаъолсозиро татбиқ мекунад.
• Омӯзиш — ин тағйир додани вазнҳост, то хатои пешгӯӣ кам шавад; паҳншавии баръакси хато ҳисоб мекунад, ки ҳар вазнро чӣ қадар тағйир додан лозим аст.
• Персептрон танҳо 0 ё 1 медиҳад; нейронҳои сигмоидӣ ва tanh натиҷаи ҳамвор медиҳанд ва омӯзиши шабакаро осонтар мекунанд.
• Шабакаҳои нейронӣ барои масъалаҳои дорои хусусиятҳои зиёд ва қолабҳои мураккаб (тасвир, нутқ, матн) хубанд, аммо шарҳ додани қарорҳои онҳо душвор аст.
• Дар маҷмӯаҳои хурд алгоритмҳои содатар, ба монанди дарахтҳои қарор ва регрессияи логистикӣ, аксар вақт самараноктаранд.