Як хулосабарории ҷудогона содатар аст. Вале агар рӯзона миллионҳо дархост вуҷуд дошта бошад, хароҷоти умумии хулосабарорӣ метавонад хеле зиёд шавад.

Басомад низ фарқ мекунад. Омӯзонидан метавонад ҳар ҳафта ё ҳар моҳ анҷом ёбад, аммо хулосабарорӣ барои ҳар амалиёт ё дархости муҳити амалиётӣ рух медиҳад.

Омӯзонидан метавонад чанд соат давом кунад, дар ҳоле ки сервиси хулосабарорӣ шояд ба таъхири камтар аз чандсад миллисония ниёз дошта бошад. Ин фарқ сабаб мешавад, ки меъмории омӯзонидан ва меъмории хидматрасонии модел талаботи гуногун дошта бошанд.

5.3. Истифодаи модели забонӣ тавассути интерфейс одатан хулосабарорӣ аст

Агар провайдер модели бузурги бунёдиро қаблан омӯзонида бошад ва шумо тавассути интерфейс аз он хоҳиш кунед, ки матнеро хулоса кунад, дар ҳолати маъмул вазнҳои асосии модел тағйир намеёбанд.

Паём ба модел дода мешавад, гузариши рӯ ба пеш ва раванди тавлид иҷро мегардад ва ҷавоб бармегардад. Пас, даъвати интерфейс ба омӯзонидан баробар нест.

Агар модел дар ҳамон суҳбат маълумоти чанд паём пеш гуфтаи шуморо истифода кунад, сабаб метавонад мавҷудияти маълумот дар контекст бошад, на тағйири параметрҳо.

Ин фарқ барои фаҳмидани танзими дақиқ, бозёбии иттилоот ва муҳандисии контекст аҳамияти асосӣ дорад.

5.4. Умумисозӣ — ҳадафи асосии омӯзонидан

Фарз кунед, модел ба ҳамаи додаҳои омӯзишӣ қариб бе хато ҷавоб медиҳад. Оё метавон хулоса кард, ки модел хеле хуб аст? Не.

Ҳадафи омӯзиши мошинӣ одатан аз нав тавлид кардани намунаҳои гузашта нест. Модел бояд рӯйи намунаҳое, ки пештар надидааст, низ натиҷаи муфид диҳад. Ин қобилият «умумисозӣ» ном дорад.

Дар мисоли хона, агар модел бо масоҳатҳои 50, 70, 90, 110 ва 130 омӯзонида шуда бошад ва барои хонаи 100-метра низ нархи оқилона пешгӯӣ кунад, нишонае аз умумисозӣ дорем.

Модел танҳо ҷадвали ҷустуҷӯ нест. Он робитаеро омӯхтааст, ки ба нуқтаи нав низ татбиқ мешавад.

5.5. Аз ҳад зиёд мутобиқшавӣ: вақте модел ба гузашта аз ҳад зиёд такя мекунад

Фарз кунед, маҷмӯи додаҳо хурд аст ва яке аз хонаҳо аз сабаби шароити махсуси оилавӣ бо нархи ғайриодӣ фурӯхта шудааст.

Агар модел он қадар мураккаб бошад, ки барои дақиқ гузаштан аз ҳар як нуқта, аз ҷумла ин истисно, шакли хеле печида пайдо кунад, хатои омӯзонидан метавонад қариб сифр шавад. Аммо модел рӯйи хонаҳои нав бад кор кунад.

Ин ҳолат аз ҳад зиёд мутобиқшавӣ — Overfitting — аст.

Аз ҳад зиёд мутобиқшавиро набояд танҳо бо «аз ёд кардани сабтҳо» яксон донист. Модел метавонад ба намунаҳои тасодуфӣ ё ғайриумумии додаҳо аз ҳад зиёд такя кунад.

Мисоли маъруф маҷмӯи тасвирҳоест, ки дар он сагҳо бештар рӯйи алаф ва гурбаҳо бештар дар дохили хонаанд. Модел метавонад як қисми қарорро бар асоси пасзамина қабул кунад ва ҳангоми дидани саг дар дохили хона хато кунад.

Хатои кам дар омӯзонидан ≠ Умумисозии хуб

5.6. Мутобиқшавии нокифоя: вақте модел иқтидор ё сохтори кофӣ надорад

Аз тарафи дигар, модел метавонад аз аввал барои масъала аз ҳад зиёд сода бошад.

Агар қаллобиро танҳо аз рӯйи маблағ бо функсияи хаттӣ пешгӯӣ кунем, дар ҳоле ки намунаи воқеӣ ба таъсири мутақобилаи ҷой, дастгоҳ, вақт ва таърихи муштарӣ вобаста аст, модел ҳатто рӯйи додаҳои омӯзишӣ низ наметавонад қонунияти асосиро хуб дарёбад.

Ин мутобиқшавии нокифоя — Underfitting — аст.

Ҳадаф пайдо кардани моделест, ки на он қадар сода бошад, ки қонуниятро аз даст диҳад ва на он қадар ба ҷузъиёти маҷмӯи омӯзишӣ часпад, ки дар оянда ноком шавад.

Дар омӯзиши амиқи муосир робитаи иқтидор ва умумисозӣ аз як графики сода мураккабтар аст, аммо зарурати умумисозӣ ҳамоно боқӣ мемонад.

5.7. Чаро додаҳоро ба омӯзишӣ, эътиборсанҷӣ ва санҷишӣ ҷудо мекунем?

Агар барои баҳогузории ниҳоӣ ҳамон додаҳое истифода шаванд, ки модел бо онҳо омӯзонида шудааст, фаҳмидан мумкин нест, ки он рӯйи додаҳои нав чӣ гуна кор мекунад.

Фарз кунед, як миллион амалиёти таърихӣ дорем. Масалан, метавон 800 ҳазорро барои омӯзонидан, 100 ҳазорро барои эътиборсанҷӣ ва 100 ҳазорро барои санҷиши ниҳоӣ ҷудо кард.

Ин ададҳо танҳо мисоланд. Усули тақсим ба табиати додаҳо вобаста аст.

Маҷмӯи омӯзишӣ мустақиман дар навсозии параметрҳо иштирок мекунад. Маҷмӯи эътиборсанҷӣ барои қарорҳои таҳия, монанди интихоби модел ё гиперпараметр, истифода мешавад.

Маҷмӯи санҷишӣ бояд то ҳадди имкон аз раванди қабули қарор дур бимонад, то дар охир баҳодиҳии нисбатан беғаразонаи кори моделро рӯйи додаҳои надида таъмин кунад.

Агар борҳо натиҷаи санҷишро бинем ва бар асоси он моделро тағйир диҳем, раванди таҳия ба санҷиш низ мутобиқ мешавад ва санҷиш мустақилияти худро аз даст медиҳад. Ин ба донишҷӯе монанд аст, ки пеш аз имтиҳони ниҳоӣ саволҳои онро борҳо мебинад.

5.8. Робита бо санҷиши нармафзори классикӣ

Дар нармафзори детерминистӣ одатан барои вуруд натиҷаи дақиқи интизоршаванда муайян мешавад.

Масалан: бақия 100 аст, дархости гирифтани 120 пешниҳод мешавад ва натиҷа бояд радкунӣ бошад. Агар система иҷозат диҳад, хато равшан аст.

Аммо модели қаллобӣ метавонад аз сад ҳазор намуна баъзе қаллобиҳоро дуруст ошкор кунад, баъзеро аз даст диҳад ва як қатор амалиёти солимро иштибоҳан қайд кунад.

Пас, баҳогузории модел ба рафтори оморӣ рӯйи маҷмӯи намояндаи додаҳо менигарад.

Ин фарқ маънои аз байн рафтани санҷиши классикиро надорад. Қисматҳои қатъӣ, монанди иҷозатҳо, шартномаи интерфейс, сохтори ҷавоб, транзаксияҳои пойгоҳи додаҳо ва сиёсатҳои молиявӣ, ҳамоно ба санҷишҳои ошкор ниёз доранд.

Худи модел ғайр аз инҳо ба баҳогузории оморӣ низ ниёз дорад. Системаи воқеии зеҳни сунъӣ ҳар ду навъи санҷишро талаб мекунад.

5.9. Миёнабурҳои оморӣ ва тағйири намунаҳо

Дар ошкорсозии қаллобӣ фарз кунед, ки аксари намунаҳои қаллобии омӯзишӣ ба як қабулкунандаи пардохт марбутанд.

Модел метавонад ба робитаи рӯякии «ин қабулкунанда = қаллобӣ» такя кунад ва рӯйи додаҳои омӯзишӣ хеле хуб намояд. Агар қаллобон қабулкунандаро иваз кунанд, модел ногаҳон заиф мешавад.

Ин намунаи омӯзиши миёнабурӣ аст: модел чизеро пайдо кардааст, ки барои додаҳои гузашта муфид буд, аммо моҳияти умумии масъаларо хуб дарк накардааст.

5.10. Ихроҷи додаҳо

Яке аз хатарҳои муҳим ворид шудани маълумоти оянда ё маълумоти қисми санҷишӣ ба омӯзонидан аст.

Масалан, мумкин аст дар модели қаллобӣ хусусияте истифода шавад, ки ҳангоми қабули қарори воқеӣ ҳанӯз дастрас нест ва танҳо баъди баррасии ниҳоӣ ҳосил мешавад.

Агар чунин хусусият нохоста ба омӯзонидан ворид шавад, модел дар санҷиш натиҷаҳои аъло медиҳад, вале дар муҳити амалиётӣ он маълумотро дошта наметавонад.

Ҳамчунин, агар намунаҳои хеле монанди як муштарӣ ҳам дар маҷмӯи омӯзишӣ ва ҳам дар маҷмӯи санҷишӣ бошанд, модел метавонад аз ин монандӣ истифода кунад ва натиҷаи санҷиш аз ҳад зиёд хушбинона шавад.

Аз ҳамин сабаб тақсимоти содаи тасодуфӣ ҳамеша кофӣ нест. Сохтори додаҳо ва шароити муҳити амалиётӣ бояд ҳангоми тарҳрезии тақсимот ба назар гирифта шаванд.

5.11. Паёми меъмории умумисозӣ

Ҳеҷ маҷмӯи санҷишӣ наметавонад тамоми ояндаро фаро гирад. Пас, ҷойгир кардани модел ҳамеша як навъ хавфи оморӣ дорад.

Аз ҳамин ҷо мониторинг, баррасии инсонӣ, ҳадди қабули қарор ва роҳи эҳтиётӣ аҳамият пайдо мекунанд. Агар модел ҳеҷ гоҳ хато намекард, бисёре аз ин назоратҳо лозим намешуданд.

Агар модел адади 0.93 тавлид кунад, низ набояд бе санҷиш гуфт: «Модел 93 фоиз мутмаин аст». Тафсири чунин адад ба навъи модел, ҳадафи омӯзонидан ва калибркунӣ вобаста аст. Он метавонад танҳо баҳо бошад.

Ин фарқ дар баҳсҳои баъдӣ оид ба баҳогузорӣ дақиқтар баррасӣ хоҳад шуд.

6. Вақте модел ба меъморӣ ворид мешавад, «дуруст будан» дигар танҳо сифр ё як нест

То ин ҷо қариб ҳамаи ҷузъҳои техникии лозимро сохтем. Акнун бояд аз сатҳи худи модел як зина боло равем ва бубинем, ки ворид шудани ҷузъи омӯхташуда ва оморӣ ба система кадом фарзияҳои меъмории нармафзорро тағйир медиҳад.