Боби 12. Дарахтҳои қарор

Дар ин боб меомӯзем

• Дарахти қарор чист ва чаро онро ба осонӣ шарҳ додан мумкин аст.
• Дарахтҳои тасниф ва дарахтҳои регрессия.
• Дарахт чӣ гуна сохта мешавад: гиреҳи реша, шохаҳо ва баргҳо.
• Энтропия ва фоидаи иттилоотӣ: ҳисоб дар мисоли даҳ корманд.
• Чаро як дарахт ба аз ҳад мутобиқшавӣ майл дорад.
• Бэггинг, ҷангалҳои тасодуфӣ ва boosting — якҷоя кардани чандин дарахт.

Қобилияти шабакаҳои нейронии сунъӣ барои ҳалли доираи васеи вазифаҳои омӯзишӣ баъзе коршиносонро водор кардааст, ки онҳоро беҳтарин алгоритми омӯзиши мошинӣ номанд.

Гарчанде барои ин андеша далелҳои қавӣ мавҷуданд, шабакаҳои нейронӣ роҳи ҳалли универсалии ҳамаи масъалаҳо нестанд. Дар баъзе ҳолатҳо онҳо маҳдудият доранд ва дарахтҳои қарор — decision trees ҳамчун алтернативаи маъруф пешниҳод мешаванд.

Аввалин маҳдудияти истифодаи шабакаҳои нейронӣ барои ҳамаи масъалаҳо ҳаҷми зиёди додаҳо ва захираҳои ҳисоббарориест, ки барои омӯзиш талаб мекунанд.

Барномаҳои ба шабакаҳои нейронӣ асосёфта, масалан, низоми шинохти тасвирҳои Google, барои шинохтани гурӯҳҳои ашёи одӣ, аз қабили сагҳо, ба миллионҳо намунаи нишонагузоришуда такя мекунанд. На ҳар ташкилот барои ҷамъоварии чунин додаҳо ва омӯзонидани модели бузург захираҳои кофӣ дорад.

Маҳдудияти дигари муҳим мушкили қуттии сиёҳ аст: сохтори қабули қарори модел ба осонӣ шарҳ дода намешавад.

Дарахтҳои қарор бошанд, шаффоф ва фаҳмо мебошанд. Онҳо метавонанд бо додаҳои камтар кор кунанд ва захираҳои ҳисоббарории камтар талаб намоянд. Ин бартариҳо онҳоро барои вазифаҳои нисбатан сода алтернативаи маъмули шабакаҳои нейронӣ мегардонанд.

Дарахтҳои қарор асосан барои ҳалли масъалаҳои тасниф истифода мешаванд, аммо онҳоро барои регрессия, яъне пешгӯии натиҷаҳои ададӣ, низ истифода бурдан мумкин аст.

Дарахтҳои тасниф бо истифода аз хусусиятҳои ададӣ ва гурӯҳӣ натиҷаи гурӯҳиро пешгӯӣ мекунанд.

Дарахтҳои регрессия низ хусусиятҳои ададӣ ва гурӯҳиро қабул мекунанд, аммо натиҷаи ададӣ медиҳанд.

Дарахтҳои қарорро дар вазифаҳои гуногун истифода бурдан мумкин аст: аз интихоби гирандаи стипендия то пешгӯии фурӯши интернетӣ ва интихоби довталаби муносиб барои ҷойи кор.

Расми 12.1. Намунаи дарахти регрессия: пешгӯии нархи манзил. Мисоли шартии таълимӣ; шартҳо ва рақамҳо барои шарҳи сохтори дарахт интихоб шудаанд.

Расми 12.2. Намунаи дарахти тасниф: додан ё надодани қарз. Мисоли шартии таълимӣ; шартҳо ва рақамҳо барои шарҳи сохтори дарахт интихоб шудаанд.

Яке аз сабабҳои маъруфияти дарахтҳои қарор он аст, ки онҳоро метавон ба шакли графикӣ нишон дод ва ба одамони ғайримутахассис осон шарҳ дод.

Масалан, агар муштарӣ пурсад, ки чаро ба ӯ қарзи манзилӣ надоданд, метавон раванди қабули қарорро бо дарахт нишон дод. Бо модели «қуттии сиёҳ» чунин шарҳи мустақим душвортар аст.

Сохтани дарахти қарор

Дарахти қарор аз гиреҳи реша — root node оғоз мешавад. Сипас додаҳо аз рӯйи шартҳо тақсим шуда, шохаҳо ба вуҷуд меоянд.

Шохаҳо гиреҳҳоро ба якдигар мепайванданд. Дар гиреҳҳои дохилӣ шартҳои нав санҷида мешаванд ва додаҳо боз тақсим мегарданд.

Вақте гиреҳ дигар ба шохаҳои нав ҷудо намешавад, он барг — leaf ё гиреҳи ниҳоӣ — terminal node ном мегирад ва натиҷаи пешгӯиро медиҳад.

Аз гиреҳи реша сар карда, дарахт додаҳоро ба зермаҷмӯаҳо тақсим мекунад. Масалан, хусусияти «вазъи ҳаво» метавонад қиматҳои «офтобӣ», «абрнок» ва «боронӣ» дошта бошад.

Ҳадаф сохтани дарахти то ҳадди имкон хурд ва ҳамзамон самаранок аст. Барои ин хусусиятеро интихоб мекунанд, ки додаҳоро ба гурӯҳҳои бештар якҷинса тақсим кунад ва омехтагии синфҳоро дар гиреҳҳои нав кам намояд.

Яке аз меъёрҳои чен кардани ин омехтагӣ энтропия мебошад.

Энтропия нишон медиҳад, ки намунаҳои синфҳои гуногун дар як гурӯҳ то чӣ андоза омехтаанд. Ба забони сода, мехоҳем гурӯҳҳои ҳосилшуда нисбат ба гурӯҳи пешина якҷинсатар бошанд.

Барои ин метавон аз алгоритми ҳарис — greedy истифода бурд. Чунин алгоритм дар ҳар қадам тақсимотеро интихоб мекунад, ки дар ҳамон лаҳза беҳтарин натиҷаро медиҳад.

Намунаи он ID3 — Iterative Dichotomiser 3 мебошад, ки Ҷ. Р. Куинлан пешниҳод кардааст. ID3 дар ҳар қадам хусусиятеро интихоб мекунад, ки боиси бештар кам шудани энтропия, яъне бештар шудани фоидаи иттилоотӣ мегардад.

Барои фаҳмидани ин раванд мисоли зеринро мебинем.

Ҷадвали 12.1. Хусусиятҳои кормандон.

Дар ин ҷадвал даҳ корманд, се хусусияти воридотӣ ва як натиҷа мавҷуд аст.

Хусусиятҳои воридотӣ чунинанд:

• аз нишондиҳандаҳои асосии фаъолият — KPI — зиёдтар натиҷа нишон додан;
• қобилияти роҳбарӣ;
• аз 30 сол камтар син доштан.

Натиҷа бошад, мансабаш баланд шуд ё нашуд мебошад.

Ҳадафи мо таснифи кормандон аз рӯйи ҳамин се хусусият аст.

Хусусияти якум: аз KPI зиёдтар натиҷа нишон додан

Агар додаҳоро аз рӯйи ин хусусият тақсим кунем, ҳосил мешавад:

• шаш корманде, ки аз KPI зиёдтар натиҷа нишон додаанд ва мансабашон баланд шудааст — Ҳа;
• чор корманде, ки аз KPI зиёдтар натиҷа нишон надодаанд ва мансабашон баланд нашудааст — Не.

Ин хусусият ду гурӯҳи комилан якҷинса месозад.

Хусусияти дуюм: қобилияти роҳбарӣ

Тақсимот аз рӯйи ин хусусият чунин мешавад:

• ду корманди дорои қобилияти роҳбарӣ, ки мансабашон баланд шудааст;
• чор корманди бе қобилияти роҳбарӣ, ки мансабашон баланд шудааст;
• ду корманди дорои қобилияти роҳбарӣ, ки мансабашон баланд нашудааст;
• ду корманди бе қобилияти роҳбарӣ, ки мансабашон баланд нашудааст.

Ин хусусият ду гурӯҳи омехта месозад.

Хусусияти сеюм: синни камтар аз 30 сол

Тақсимот чунин мешавад:

• се корманди то 30-сола, ки мансабашон баланд шудааст;
• се корманди 30-сола ё калонтар, ки мансабашон баланд шудааст;
• чор корманди то 30-сола, ки мансабашон баланд нашудааст.

Ин хусусият як гурӯҳи якҷинса ва як гурӯҳи омехта месозад.

Расми 12.3. Се тақсимоти имконпазир. Доираи пур — мансабаш баланд шуд, доираи холӣ — нашуд. Энтропияҳо дар бахши «Ҳисоб кардани энтропия» ҳисоб карда мешаванд.

Аз ин се хусусият, «Аз KPI зиёдтар натиҷа нишон додан» беҳтарин тақсимотро медиҳад: ду гурӯҳи комилан якҷинса.

Хусусияти «Синни камтар аз 30 сол» натиҷаи дуюми беҳтаринро медиҳад, зеро яке аз гурӯҳҳои он якҷинса аст.

Хусусияти «Қобилияти роҳбарӣ» бошад, ду гурӯҳи омехта месозад.

Аз ин рӯ, хусусияти якум ҳамчун саволи аввал барои тақсим кардани маҷмӯи додаҳо интихоб мешавад.

Новобаста аз он ки ID3 ё алгоритми дигар истифода мешавад, ин раванди тақсимоти пайдарпай, ки тақсимкунии рекурсивӣ — recursive partitioning ном дорад, то иҷро шудани шарти бозистодан идома меёбад.

Шартҳои эҳтимолии бозистодан метавонанд чунин бошанд:

• дар баргҳо камтар аз шумораи муайяни намунаҳо, масалан, 3–5 намуна боқӣ мондааст;
• ҳамаи намунаҳои гиреҳ ба як синф тааллуқ доранд;
• тақсимоти нав беҳбудии кофӣ намедиҳад.

Ҳисоб кардани энтропия

Акнун ҳисобҳои математикиро мебинем, ки барои интихоби хусусияти дорои энтропияи камтарин истифода мешаванд.

Тавре гуфта шуд, сохтани дарахт аз интихоби хусусият барои гиреҳи реша оғоз мешавад. Ҳар натиҷаи он, масалан, «Ҳа» ё «Не», ба шохаи алоҳида мебарад.

Сипас барои тақсимоти минбаъда хусусияти дигар интихоб мешавад.

Азбаски мехоҳем дар ҳар гиреҳ шумораи ҳарчи бештари намунаҳои ҳамсинф ҷамъ шаванд, интихоби хусусият бояд ба кам шудани энтропия асос ёбад.

Энтропия бо воҳиди бит чен мешавад. Барои ин аз логарифми асосаш 2 истифода мебаранд.

Барои ду синф формула чунин аст:

[ H=-p_1\log_2p_1-p_2\log_2p_2 ]

Дар ин ҷо p₁ ва p₂ ҳиссаи ҳар синф дар гиреҳ мебошанд.

Барои ду синф энтропия аз 0 то 1 бит мешавад:

• 0 — гиреҳ комилан якҷинса аст;
• 1 — ду синф ба миқдори баробар омехтаанд.

Ҳангоми ҳисоб, ҳади (0\log_2 0) ба 0 баробар гирифта мешавад.

Ҳисобҳоро метавон бо ҳисобкунаки илмӣ ё бо Python (math.log2) анҷом дод.

1. Аз KPI зиёдтар натиҷа нишон додан

Дар гурӯҳи «Ҳа»:

• шаш корманд мансаби баландтар гирифтааст;
• ягон корманди мансабаш баланднашуда нест.

Пас:

[ p_1=\frac66,\qquad p_2=\frac06 ]

Дар гурӯҳи «Не»:

• ягон корманд мансаби баландтар нагирифтааст;
• ҳар чор корманд дар синфи «мансабаш баланд нашуд» ҳастанд.

Яъне:

[ p_1=\frac04,\qquad p_2=\frac44 ]

Қадами 1. Энтропияи ҳар гиреҳро меёбем:

[ H_{\text{Ҳа}}

-\frac66\log_2\frac66 -\frac06\log_2\frac06 =0 ]

[ H_{\text{Не}}

-\frac04\log_2\frac04 -\frac44\log_2\frac44 =0 ]

Қадами 2. Миёнаи вазндори энтропияҳоро ҳисоб мекунем:

[ H_{\text{тақсимот}}

\frac6{10}\times0+\frac4{10}\times0 =0 ]

2. Қобилияти роҳбарӣ

Дар гурӯҳи «Ҳа» чор корманд ҳаст:

• ду нафар мансаби баландтар гирифтааст;
• ду нафар нагирифтааст.

[ p_1=\frac24,\qquad p_2=\frac24 ]

Дар гурӯҳи «Не» шаш корманд ҳаст:

• чор нафар мансаби баландтар гирифтааст;
• ду нафар нагирифтааст.

[ p_1=\frac46,\qquad p_2=\frac26 ]

Қадами 1. Энтропияи ҳар гиреҳ:

[ H_{\text{Ҳа}}

-\frac24\log_2\frac24 -\frac24\log_2\frac24 =1 ]

[ H_{\text{Не}}

-\frac46\log_2\frac46 -\frac26\log_2\frac26 \approx0.9183 ]

Қадами 2. Миёнаи вазндор:

[ H_{\text{тақсимот}}

\frac4{10}\times1+\frac6{10}\times0.9183 ]

[ H_{\text{тақсимот}}\approx0.951 ]

3. Синни камтар аз 30 сол

Дар гурӯҳи «Ҳа» ҳафт корманд ҳаст:

• се нафар мансаби баландтар гирифтааст;
• чор нафар нагирифтааст.

[ p_1=\frac37,\qquad p_2=\frac47 ]

Дар гурӯҳи «Не» се корманд ҳаст ва ҳамаи онҳо мансаби баландтар гирифтаанд:

[ p_1=\frac33,\qquad p_2=\frac03 ]

Қадами 1. Энтропияи ҳар гиреҳ:

[ H_{\text{Ҳа}}

-\frac37\log_2\frac37 -\frac47\log_2\frac47 \approx0.9852 ]

[ H_{\text{Не}}

-\frac33\log_2\frac33 -\frac03\log_2\frac03 =0 ]

Қадами 2. Миёнаи вазндор:

[ H_{\text{тақсимот}}

\frac7{10}\times0.9852+\frac3{10}\times0 ]

[ H_{\text{тақсимот}}\approx0.690 ]

Натиҷаҳо

Мувофиқи ҳисобҳо, хусусияти «Аз KPI зиёдтар натиҷа нишон додан» таснифи комил медиҳад. Пас аз истифодаи он дигар ба васеъ кардани дарахт ниёз надорем.

Номзади дуюми беҳтарин «Синни камтар аз 30 сол» мебошад.

«Қобилияти роҳбарӣ» энтропияи баландтарин дорад. Ин маънои онро дорад, ки гурӯҳҳо хеле омехта мемонанд ва фоидаи иттилоотӣ — information gain кам аст.

Барои дидани ин фарқ, энтропияи маҷмӯи додаҳоро пеш аз тақсимот ҳисоб мекунем. Фоидаи иттилоотӣ — information gain — нишон медиҳад, ки тақсимот энтропияро чӣ қадар кам кардааст.

Шаш нафар мансаби баландтар гирифтаанд ва чор нафар нагирифтаанд:

[ H_{\text{ибтидоӣ}}

-\frac6{10}\log_2\frac6{10} -\frac4{10}\log_2\frac4{10} \approx0.971 ]

Фоидаи иттилоотии хусусияти «Қобилияти роҳбарӣ»:

[ IG=H_{\text{ибтидоӣ}}-H_{\text{пас аз тақсимот}} ]

[ IG\approx0.971-0.951=0.020 ]

Яъне, ин хусусият ҳамагӣ тақрибан 0.02 бит фоидаи иттилоотӣ медиҳад.

Барои муқоиса, фоидаи хусусияти «Синни камтар аз 30 сол» тақрибан (0.971-0.690=0.281) бит ва фоидаи хусусияти «Аз KPI зиёдтар натиҷа нишон додан» (0.971-0=0.971) бит аст — ҳамаи номуайяниро бартараф мекунад.

Аз ҳад мутобиқшавӣ

Яке аз маҳдудиятҳои муҳими дарахтҳои қарор майли онҳо ба аз ҳад мутобиқшавӣ ба додаҳои омӯзишӣ мебошад.

Дарахт метавонад қолабҳои маҷмӯи омӯзиширо хеле дақиқ ҷудо кунад, аммо дар додаҳои санҷишӣ натиҷаи заиф диҳад. Сабаб метавонад аз худ кардани хусусиятҳои тасодуфии маҷмӯи омӯзишӣ ё намояндагии нокифояи он бошад.

Илова бар ин, дарахт бо тақсим кардани пайдарпайи додаҳо сохта мешавад. Тағйироти хурд дар тақсимоти қисми боло ё миёнаи дарахт метавонад сохтори минбаъда ва пешгӯии ниҳоиро ба таври ҷиддӣ тағйир диҳад.

Яке аз сабабҳо табиати ҳариси алгоритм мебошад.

Аз тақсимоти аввал сар карда, алгоритм хусусиятеро интихоб мекунад, ки дар ҳамон қадам гурӯҳҳои якҷинсатари беҳтарин месозад.

Мисли кӯдаке, ки пеши қуттии кулчақанд нишастааст, алгоритми ҳарис паёмадҳои дарозмуддати интихоби кӯтоҳмуддаташро пурра ба назар намегирад.

Хусусияте, ки беҳтарин тақсимоти аввалро медиҳад, ҳатман дар охир беҳтарин моделро намесозад. Баъзан тақсимоти ибтидоии зоҳиран заифтар метавонад ба модели ниҳоии дақиқтар оварда расонад.

Аз ин рӯ, гарчанде дарахтҳои қарор фаҳмо ва барои тасниф самараноканд, метавонанд ноустувор бошанд ва махсусан дар додаҳои дорои тағйирпазирии зиёд ба аз ҳад мутобиқшавӣ дучор шаванд.

Бэггинг — Bagging

Ба ҷойи такя кардан ба як дарахт, метавон чандин дарахт сохт ва пешгӯиҳои онҳоро якҷоя кард.

Яке аз равишҳои маъмули ин кор бэггинг — bagging мебошад.

Дар бэггинг барои ҳар дарахт намунаи тасодуфии додаҳои омӯзишӣ гирифта мешавад. Сипас натиҷаҳо якҷоя карда мешаванд:

• барои регрессия — бо миёнагирии пешгӯиҳо;
• барои тасниф — бо овоздиҳӣ.

Хусусияти асосии бэггинг намунагирии бутстрэп — bootstrap sampling мебошад. Дар он намунаҳо ба таври тасодуфӣ бо баргардонӣ интихоб мешаванд: як намуна метавонад чанд бор интихоб шавад ва намунаи дигар умуман интихоб нашавад.

Барои он ки дарахтҳои гуногун иттилооти фарқкунанда омӯзанд, байни додаҳои омӯзишии онҳо бояд гуногунӣ вуҷуд дошта бошад. Сохтани панҷ ё даҳ модели комилан яксон фоидаи зиёд надорад.

Намунагирии бутстрэп ин гуногуниро фароҳам меорад. Дар бэггинг ҳар дарахт бо варианти каме фарқкунандаи маҷмӯи омӯзишӣ омӯзонида мешавад.

Ин кор мушкили аз ҳад мутобиқшавиро пурра бартараф намекунад. Аммо қолабҳои асосии додаҳо дар дарахтҳои бештар такрор мешаванд ва дар пешгӯии ниҳоӣ таъсири бештар мегиранд.

Дар натиҷа, бэггинг метавонад таъсири нуқтаҳои ғайримуқаррариро кам карда, парокандагии баланди як дарахти қарорро паст намояд.

Ҷангалҳои тасодуфӣ — Random Forests

Усули ба бэггинг наздик ҷангали тасодуфӣ мебошад.

Ҳар ду равиш чандин дарахт месозанд ва метавонанд аз намунагирии бутстрэп истифода баранд. Аммо ҷангали тасодуфӣ дар ҳар тақсимот интихоби хусусиятҳоро низ маҳдуд мекунад.

Яъне, алгоритм барои ҳар тақсимот ҳамаи хусусиятҳои дастрасро намесанҷад. Ба ҷойи ин, зермаҷмӯи тасодуфии онҳоро баррасӣ мекунад.

Дар бэггинг дарахтҳо метавонанд ба ҳам монанд шаванд, зеро барои кам кардани энтропия аксар вақт ҳамон хусусияти қавиро дар қисми аввали дарахт интихоб мекунанд.

Дар натиҷа, пешгӯиҳои дарахтҳо бо ҳам сахт ҳамбаста мешаванд ва фоидаи миёнагирӣ барои кам кардани парокандагӣ маҳдуд мегардад.

Ҷангали тасодуфӣ ин мушкилро бо маҳдуд кардани маҷмӯи хусусиятҳои ҳар тақсимот кам мекунад. Ин ба хусусиятҳои дигар низ имкони интихоб шудан медиҳад.

Бо якҷоя кардани дарахтҳои гуногун ва камтар ҳамбаста, пешгӯии ниҳоӣ одатан устувортар ва боэътимодтар мешавад.

Бо вуҷуди истифодаи зермаҷмӯи хусусиятҳо, ҷангали тасодуфии маъмулӣ ҳамоно усули омӯзиши назоратшаванда мебошад.

Расми 12.4. Сохтани дарахтҳои тасодуфӣ ва якҷоя кардани онҳо барои пешгӯӣ.

Одатан шумораи нисбатан зиёди дарахтҳо, масалан, 100 ё бештар, барои ҳамвор кардани тағйироти тасодуфии пешгӯиҳо муфид аст.

Аммо бо зиёд шудани дарахтҳо фоидаи ҳар дарахти нав тадриҷан кам мешавад. Пас аз як ҳад, дарахтҳои иловагӣ метавонанд бештар вақти коркардро зиёд кунанд, бе он ки беҳбудии назаррасе диҳанд.

Вобаста ба маҷмӯи додаҳо, 100–150 дарахт метавонад нуқтаи оғози муносиб бошад.

Муаллиф ва коршиноси додаҳо Скотт Ҳартшорн тавсия медиҳад, ки пеш аз зиёд кардани шумораи дарахтҳо ба беҳтарсозии гиперпараметрҳои дигар диққат диҳем. Ин вақти коркарди таҷрибаҳои аввалро кам мекунад. Баъдтар зиёд кардани дарахтҳо метавонад беҳбудии иловагӣ диҳад.

Ҷангалҳои тасодуфӣ гуногунҷабҳаанд ва бо қолабҳои мураккаби додаҳо хуб кор мекунанд. Дар баъзе вазифаҳо усулҳои дигар, аз ҷумла тақвияти градиентӣ, метавонанд дақиқии баландтар диҳанд.

Бо вуҷуди ин, ҷангали тасодуфӣ барои зуд сохтани модели ибтидоии муқоисавӣ — benchmark model муфид аст.

Тақвиятдиҳӣ — Boosting

Boosting оилаи дигари алгоритмҳост, ки пешгӯиҳои чандин модел, аксар вақт дарахтҳои қарорро, якҷоя мекунад.

Ҳадафи он муттаҳид кардани моделҳои заиф ба як модели қавӣ мебошад.

«Заиф» маънои онро дорад, ки модели алоҳида пешгӯии чандон хуб намекунад ва шояд танҳо андаке аз тахмини тасодуфӣ беҳтар бошад.

Модели «қавӣ» бошад, натиҷаи ҳадафро боэътимодтар пешгӯӣ мекунад.

Ғояи асосӣ ин аст, ки моделҳои нав ба камбудиҳои моделҳои пешина диққат диҳанд.

Ин ба омӯзгоре монанд аст, ки барои беҳтар кардани натиҷаи синф ба хонандагони дар санҷиши охирин заифтар дарсҳои иловагӣ медиҳад.

Яке аз алгоритмҳои маъмули ин оила тақвияти градиентӣ — gradient boosting мебошад.

Дар он дарахтҳо пайдарпай сохта мешаванд. Ҳар дарахти нав аз иттилооти хатои модели то он вақт ҳосилшуда истифода мекунад ва кӯшиш менамояд пешгӯиро беҳтар созад.

Яъне, бар хилофи ҷангали тасодуфӣ, дарахтҳо мустақил аз ҳам омӯзонида намешаванд. Ҳар дарахти нав барои ислоҳ кардани қисми хатои маҷмӯи дарахтҳои пешина сохта мешавад.

Дар баъзе усулҳои boosting ба намунаҳое, ки нодуруст пешгӯӣ шудаанд, вазни бештар медиҳанд. Ба намунаҳои дуруст пешгӯишуда диққати камтар дода мешавад.

Дар gradient boosting ин ғоя тавассути омӯзонидани модели нав барои кам кардани функсияи талафот, бо истифода аз градиентҳои он, амалӣ мешавад.

Пешгӯиҳои заифи давраҳои аввал метавонанд дар давраҳои минбаъда беҳтар карда шаванд. Ин раванд то расидан ба шарти бозистодан идома меёбад.

Натиҷаи ниҳоӣ аз якҷоякунии вазндори саҳми моделҳои пайдарпай ҳосил мешавад.

Расми 12.5. Кам кардани хатои пешгӯӣ тавассути чандин дарахт ва ҳосил кардани натиҷаи ниҳоӣ.

Бо танзимоти мувофиқ boosting метавонад бо шумораи нисбатан ками дарахтҳо натиҷаи хуб диҳад. Аммо илова кардани дарахтҳои бештар на ҳамеша фоидаовар аст.

Дар ҷангали тасодуфӣ зиёд кардани дарахтҳо одатан устувории натиҷаро беҳтар мекунад. Дар boosting бошад, идома додани омӯзиш метавонад ба аз ҳад мутобиқшавӣ оварда расонад.

Сабаб дар таваҷҷуҳи пайвастаи алгоритм ба хатоҳои пешина аст.

Ин хусусият аксар вақт дақиқии баланд медиҳад. Аммо агар додаҳо нуқтаҳои ғайримуқаррарии зиёд дошта бошанд, алгоритм метавонад барои мувофиқ шудан ба ҳамин ҳолатҳои истисноӣ аз ҳад кӯшиш кунад.

Умуман, модел набояд ба нуқтаҳои ғайримуқаррарӣ аз ҳад мутобиқ шавад. Аммо boosting пайваста ба хатоҳое посух медиҳад, ки дар раванди омӯзиш ошкор мешаванд.

Аз ин рӯ, барои баъзе маҷмӯаҳои мураккаби дорои нуқтаҳои ғайримуқаррарии зиёд, ҷангали тасодуфӣ метавонад алтернативаи муносибтар бошад.

Камбудии дигари boosting вақти омӯзиши пайдарпай мебошад. Ҳар дарахт барои сохта шудан ба натиҷаи дарахтҳои пешина ниёз дорад. Ин имкони ҳамзамон омӯзонидани ҳамаи дарахтҳоро маҳдуд мекунад.

Дар ҷангали тасодуфӣ бошад, дарахтҳоро метавон ҳамзамон омӯзонд, ки дар бисёр ҳолатҳо омӯзишро тезтар мекунад.

Камбудии охирин, ки ба boosting, ҷангалҳои тасодуфӣ ва бэггинг дахл дорад, аз даст рафтани содагии визуалӣ ва осонии шарҳи як дарахти қарор мебошад.

Вақте садҳо дарахт доред, намоиш додан ва фаҳмидани сохтори умумии қабули қарор душвортар мешавад.

Аммо агар вақт ва захираҳои кофӣ барои омӯзонидани модели boosting дошта бошед ва додаҳо қолабҳои устувор дошта бошанд, натиҷаи ниҳоӣ метавонад хеле арзишманд бошад.

Пас аз омӯзиш чунин модел метавонад пешгӯиҳоро зуд ва дақиқ ҳосил кунад. Boosting, дар баробари омӯзиши амиқ, яке аз равишҳои маъруфи омӯзиши мошинӣ мебошад.

Чиро бояд дар ёд дошт

• Дарахти қарор додаҳоро бо саволҳои пайдарпай тақсим мекунад; онро ба одамони ғайримутахассис ҳам осон шарҳ додан мумкин аст.
• Дар ҳар қадам хусусияте интихоб мешавад, ки энтропияро бештар кам мекунад, яъне фоидаи иттилоотии бештар медиҳад.
• Як дарахт ноустувор аст ва ба аз ҳад мутобиқшавӣ майл дорад.
• Бэггинг ва ҷангали тасодуфӣ дарахтҳоро мустақилона месозанд ва натиҷаро бо овоздиҳӣ ё миёнагирӣ якҷоя мекунанд.
• Boosting дарахтҳоро пайдарпай месозад: ҳар дарахти нав хатои пешинаҳоро ислоҳ мекунад.