Боби 13. Моделсозии ансамблӣ

Дар ин боб меомӯзем

• Моделсозии ансамблӣ чист ва чаро якҷоя кардани моделҳо аксар вақт дақиқтар аст.
• Ансамблҳои пайдарпай ва ҳамзамон.
• Ансамблҳои якҷинса ва гуногунҷинса.
• Чор равиши асосӣ: маҷмӯи моделҳои номзад, бэггинг, boosting ва стекинг.
• Нархи дақиқӣ: шарҳпазирии камтар.

Ҳангоми қабули қарорҳои муҳим мо одатан мехоҳем андешаҳои чанд нафарро ҷамъ оварем, на ин ки танҳо ба як дидгоҳ ё сухани аввалин нафар такя кунем.

Ба ҳамин монанд, дар омӯзиши мошинӣ муҳим аст, ки чанд алгоритмро баррасӣ ва санҷем, то модели мувофиқтаринро барои додаҳои худ пайдо кунем.

Дар омӯзиши мошинии пешрафта ҳатто якҷоя кардани чанд алгоритм ё модел метавонад фоидаовар бошад. Ин равиш моделсозии ансамблӣ — ensemble modeling ном дорад. Он натиҷаҳои моделҳои гуногунро муттаҳид карда, модели ягонаи пешгӯӣ месозад.

Бо якҷоя кардани натиҷаҳои чанд модел, ба ҷойи такя ба як пешгӯӣ, моделсозии ансамблӣ имкон медиҳад, ки дар бораи маънои додаҳо як хулосаи муштарак ҳосил шавад.

Пешгӯиҳои муттаҳидшуда аксар вақт нисбат ба пешгӯии як усули алоҳида дақиқтаранд. Аммо муҳим аст, ки моделҳои ансамбл то андозае аз ҳам фарқ кунанд. Дар акси ҳол, онҳо метавонанд ҳамон хатоҳоро такрор кунанд.

Дар масъалаҳои тасниф, пешгӯиҳои чанд модел одатан тавассути овоздиҳӣ муттаҳид мешаванд: синфе интихоб мешавад, ки бештар овоз гирифтааст.

Дар масъалаҳои регрессия бошад, одатан аз миёнагирии қиматҳои ададӣ истифода мешавад.

Моделҳои ансамблиро инчунин метавон ба гурӯҳҳои зерин ҷудо кард:

• пайдарпай ё ҳамзамон;
• якҷинса ё гуногунҷинса.

Ансамблҳои пайдарпай ва ҳамзамон

Дар ансамблҳои пайдарпай — sequential, моделҳои нав бо назардошти хатоҳои моделҳои пешина омӯзонида мешаванд.

Дар баъзе усулҳо ба намунаҳое, ки қаблан нодуруст тасниф шудаанд, вазни бештар медиҳанд. Дар усулҳои дигар модели нав мустақиман барои кам кардани хатои пешгӯии ансамбли мавҷуда омӯзонида мешавад.

Тақвияти градиентӣ — gradient boosting ва AdaBoost намунаҳои ансамблҳои пайдарпай мебошанд.

Ансамблҳои ҳамзамон — parallel бошанд, моделҳоро мустақилона месозанд ва хатои умумиро тавассути якҷоя кардани натиҷаҳо, масалан, миёнагирӣ ё овоздиҳӣ, кам мекунанд.

Ҷангалҳои тасодуфӣ — random forests намунаи ин равиш мебошанд.

Ансамблҳои якҷинса ва гуногунҷинса

Агар ансамбл аз чанд модели як навъи алгоритм сохта шавад, онро ансамбли якҷинса — homogeneous ensemble меноманд.

Масалан, чанд дарахти қарор метавонанд якҷоя кор карда, як пешгӯии ниҳоӣ диҳанд. Бэггинг — bagging намунаи чунин равиш аст.

Агар ансамбл аз алгоритмҳои гуногун сохта шавад, онро ансамбли гуногунҷинса — heterogeneous ensemble меноманд.

Масалан, метавон шабакаи нейрониро бо дарахти қарор якҷоя кард. Натиҷаҳои кластербандии k-means низ метавонанд ҳамчун қисми низоми мураккабтар дар ҳамкорӣ бо модели дигар истифода шаванд.

Муҳим аст, ки усулҳои интихобшуда якдигарро пурра кунанд.

Масалан, шабакаи нейронӣ одатан додаҳои воридотии бе қиматҳои гумшударо талаб мекунад. Баъзе татбиқҳои дарахтҳои қарор бошанд, метавонанд қиматҳои гумшударо мустақиман коркард кунанд.

Бо тарҳрезии мувофиқ метавон ин ду усулро якҷоя истифода бурд: шабакаи нейронӣ намунаҳои дорои маълумоти кофиро пешгӯӣ мекунад ва дарахти қарор барои ҳолатҳои дорои маълумоти нопурра истифода мешавад.

Аммо чунин ҳамкорӣ худкор ба вуҷуд намеояд: бояд тарзи коркарди додаҳои гумшуда ва интихоби модели мувофиқ пешакӣ муайян карда шавад.

Гарчанде ансамбл дар бисёр ҳолатҳо аз як алгоритми алоҳида беҳтар кор мекунад, мураккабии он метавонад камбудӣ бошад.

Дар ин ҷо ҳамон мувозинате вуҷуд дорад, ки ҳангоми муқоисаи як дарахти қарор бо маҷмӯи дарахтҳо мебинем: шаффофият ва осонии шарҳ додани модели сода ба хотири дақиқии модели мураккабтар коҳиш меёбад.

Ҷангалҳои тасодуфӣ, бэггинг ва boosting метавонанд дақиқии баландтар диҳанд, аммо фаҳмондани раванди умумии қабули қарори онҳо душвортар аст.

Дар бисёр ҳолатҳо сифати пешгӯӣ афзалият мегирад. Бо вуҷуди ин, шарҳпазирӣ ҳангоми интихоби алгоритм барои додаҳои шумо омили муҳим боқӣ мемонад.

Усулҳои асосӣ

Дар ин бахш чор равиши асосиро мебинем. Бэггинг ва boosting дар боби 12 муфассал шарҳ дода шудаанд, аз ин рӯ дар ин ҷо онҳоро кӯтоҳ ёдовар мешавем:

• бэггинг — bagging;
• тақвиятдиҳӣ — boosting;
• маҷмӯи моделҳои номзад — bucket of models;
• стекинг — stacking.

Маҷмӯи моделҳои номзад — Bucket of Models

Дар ин равиш чанд модели дорои алгоритмҳои гуногун бо як маҷмӯи додаҳои омӯзишӣ омӯзонида мешавад. Сипас моделе интихоб мегардад, ки дар додаҳои арзёбӣ натиҷаи беҳтарин нишон додааст.

Дар амал барои чунин интихоб беҳтар аст аз маҷмӯи тасдиқӣ — validation set ё санҷиши салибӣ истифода барем ва маҷмӯи санҷиширо барои арзёбии ниҳоӣ нигоҳ дорем.

Ин равиш бештар интихоби модел мебошад, зеро натиҷаҳои моделҳо ҳатман ба як пешгӯии муштарак муттаҳид намешаванд.

Бэггинг — Bagging

Бэггинг намунаи ансамбли якҷинса ва ҳамзамон мебошад.

Моделҳо бо намунаҳои тасодуфии додаҳо омӯзонида мешаванд. Сипас пешгӯиҳои онҳо тавассути миёнагирӣ ё овоздиҳӣ ба натиҷаи ягона муттаҳид мегарданд.

Тақвиятдиҳӣ — Boosting

Boosting равиши маъмули дигарест, ки одатан аз моделҳои як навъ истифода мебарад.

Дар он моделҳо пайдарпай сохта мешаванд. Ҳар модели нав ба хатоҳои натиҷаи қаблӣ диққат медиҳад ва кӯшиш мекунад онҳоро кам кунад.

Gradient boosting ва AdaBoost намунаҳои ин оила мебошанд.

Стекинг — Stacking

Стекинг чанд моделро дар як маҷмӯи додаҳо истифода бурда, натиҷаҳои онҳоро ба модели дигар медиҳад, то пешгӯии ниҳоиро ҳосил кунад.

Бар хилофи бэггинг ва шаклҳои маъмули boosting, стекинг одатан натиҷаҳои алгоритмҳои гуногун-ро якҷоя мекунад.

Ҳамчунин, ба ҷойи он ки ба ҳар модел тавассути миёнагирӣ ё овоздиҳии сода эътимоди баробар диҳад, стекинг меомӯзад, ки натиҷаи кадом моделро дар кадом ҳолат бештар ба назар гирад.

Моделҳои ибтидоиро моделҳои сатҳи 0 — level-0 меноманд.

Пешгӯиҳои онҳо ба модели сатҳи 1 — level-1, ё метамодел, дода мешаванд. Метамодел тарзи якҷоя кардани онҳоро омӯхта, натиҷаи ниҳоӣ медиҳад.

Дар ин ҷо як шарти муҳим ҳаст. Барои омӯзиши метамодел ҳар пешгӯӣ бояд аз моделе гирифта шавад, ки ҳамон намуна дар омӯзишаш иштирок накардааст. Модел намунаҳоеро, ки бо онҳо омӯхтааст, аз намунаҳои нав беҳтар пешгӯӣ мекунад. Агар метамодел бо чунин пешгӯиҳо омӯзад, ба моделе, ки додаҳоро «аз ёд» кардааст, аз ҳад зиёд эътимод мекунад ва дар додаҳои нав бад кор мекунад — аз ҳад мутобиқшавӣ.

Ин шартро бо санҷиши салибӣ (ниг. ба боби 4) иҷро мекунанд: додаҳои омӯзишӣ ба k қисм тақсим мешаванд ва пешгӯӣ барои ҳар қисм аз моделе гирифта мешавад, ки бо k − 1 қисми дигар омӯхтааст. StackingClassifier ва StackingRegressor дар Scikit-learn инро худкор иҷро мекунанд.

Расми 13.1. Сохтори алгоритми стекинг.

Гарчанде стекинг дар саноат низ истифода мешавад, беҳбудии он баъзан нисбат ба мураккабии иловагиаш хурд аст. Аз ин рӯ, ташкилотҳо аксар вақт содагӣ ва самаранокии boosting ё бэггингро афзал медонанд.

Аммо стекинг дар мусобиқаҳои омӯзиши мошинӣ, аз ҷумла Kaggle ва Netflix Prize, усули маъруф аст.

Мусобиқаи Netflix, ки аз соли 2006 то 2009 баргузор шуд, барои моделе ҷоиза пешниҳод мекард, ки низоми тавсияи муҳтавои Netflix-ро ба таври назаррас беҳтар намояд.

Дастаи ғолиб — BellKor’s Pragmatic Chaos — аз ҷумла шакли стекинги хаттиро истифода бурд. Он пешгӯиҳои садҳо модели гуногунро, ки бо алгоритмҳои мухталиф сохта шуда буданд, якҷоя мекард.

Чиро бояд дар ёд дошт

• Ансамбл пешгӯиҳои чанд моделро якҷоя мекунад: дар тасниф бо овоздиҳӣ, дар регрессия бо миёнагирӣ.
• Моделҳои ансамбл бояд аз ҳам фарқ кунанд, вагарна ҳамон хатоҳоро такрор мекунанд.
• Бэггинг ва ҷангали тасодуфӣ ҳамзамон, boosting пайдарпай кор мекунанд.
• Стекинг пешгӯиҳои алгоритмҳои гуногунро ба метамодел медиҳад, ки тарзи якҷоя кардани онҳоро меомӯзад. Метамодел бояд бо пешгӯиҳое омӯзад, ки бо санҷиши салибӣ ба даст омадаанд, яъне барои намунаҳое, ки модели сатҳи 0 бо онҳо наомӯхтааст.
• Ансамбл одатан дақиқтар, аммо аз як модели сода душвортар шарҳ дода мешавад.