Боби 14. Хотима: оё агентҳои зеҳни сунъӣ аз назорат берун мешаванд?

Боби 14. Хотима: оё агентҳои зеҳни сунъӣ аз назорат берун мешаванд?

Зеҳни сунъӣ дигар танҳо абзоре нест, ки ба саволи мо ҷавоб диҳад ё бароямон матн нависад. Насли нави системаҳои зеҳни сунъӣ бо номи AI Agent, ё «агенти зеҳни сунъӣ», метавонад чанд марҳилаи корро ба таври худкор иҷро кунад: аз ҷустуҷӯ дар интернет ва кор бо файлҳо то иҷрои фармонҳо, истифодаи нармафзорҳо ва дар баъзе мавридҳо ҳамкории мустақим бо системаҳои гуногун.

Ҳамин қобилият нигаронии ҷиддиеро ба вуҷуд овардааст: агар агенти зеҳни сунъӣ хато кунад, оё танҳо ҷавоби нодуруст медиҳад ё метавонад воқеан кореро анҷом диҳад, ки набояд мекард?

Ин савол дигар танҳо мавзӯи асарҳои илмӣ-тахайюлӣ нест. Ҳар қадар агентҳои зеҳни сунъӣ барои иҷрои корҳо салоҳияти бештар пайдо кунанд, ҳамон қадар амният, назорати инсон ва маҳдуд кардани дастрасии онҳо муҳимтар мешавад.

Ин боби охирини китоб аст. Дар он аз тафсилоти техникӣ як қадам дур шуда, ба саволи калонтар назар мекунем: агентҳо чӣ хатар доранд ва чӣ гуна онҳоро таҳти назорат нигоҳ дорем. Барои хондани ин боб код лозим нест.

Он чи дар ин китоб омӯхтем

• Бобҳои 1–5. Агент модели забонӣ (LLM) аст, ки абзор дорад ва дар давраи «мулоҳиза → амал → мушоҳида» то расидан ба ҳадаф кор мекунад. Аввалин агенти худро сохтем.
• Бобҳои 6–7. Ба агент ҳолат ва хотираи кӯтоҳмуддат додем (LangGraph) ва қолабҳои асосӣ — CoT, ReAct, иштироки инсон ва системаҳои бисёрагентиро — омӯхтем.
• Боби 8. Барои ҳар нақш модели мувофиқ интихоб мекунем: на ҳар кор модели калонтарин ва гаронтаринро талаб мекунад.
• Бобҳои 9–10. Натиҷаи моделро бо шартномаҳо (Pydantic) месанҷем, абзорҳоро тавассути MCP пайваст мекунем ва иҷрои онҳоро маҳдуд ва ҷудо нигоҳ медорем.
• Бобҳои 11–12. Агентро пеш аз ба кор андохтан ва баъд аз он месанҷем ва хотираи дарозмуддати онро бодиққат идора мекунем.
• Боби 13 (барои хонандагони пешрафта). Агентҳо чӣ гуна аз таҷрибаи худ беҳтар шуда метавонанд.

Ҳамаи ин бобҳо дар як нукта ба ҳам мерасанд: агент на танҳо ҷавоб медиҳад, балки амал мекунад. Маҳз аз ҳамин ҷо хатарҳо оғоз мешаванд.

Мушкил аз куҷо оғоз мешавад?

Фарз кунед, ки ба як агент дастрасӣ ба почтаи электронӣ, файлҳои корӣ ва як нармафзори муҳосибӣ додаед.

Шумо аз он хоҳиш мекунед:

«Ҳисобномаҳои пардохтнашударо санҷ».

Агар система танҳо гузориш таҳия кунад, хатар нисбатан маҳдуд аст.

Аммо агар агент иҷозат дошта бошад, ки худаш паёми электронӣ фиристад, файлҳоро тағйир диҳад ё амалиёти молиявӣ анҷом диҳад, хатои он метавонад паёмади воқеӣ дошта бошад.

Масалан, эҳтимол дорад:

• файли нодурустро интихоб кунад;
• ба муштарӣ маълумоти нодуруст фиристад;
• паёми электрониро ба шахси дигар фиристад;
• маълумоти махфиро дар ихтиёри хидмати дигар қарор диҳад;
• ё амалеро анҷом диҳад, ки корбар аслан интизораш набуд.

Пас, масъала танҳо ин нест, ки «зеҳни сунъӣ хато мекунад».

Масъалаи муҳимтар он аст, ки зеҳни сунъӣ хатои худро ба амали воқеӣ табдил медиҳад.

Дастрасии бештар — хатари бештар

Яке аз муҳимтарин принсипҳои амниятӣ дар мавриди агентҳо чунин аст:

Ҳар қадар дастрасӣ бештар бошад, эҳтимоли зарар дар сурати хато ё сӯиистифода ҳамон қадар зиёдтар мешавад.

Агар агент танҳо иҷозати хондани як файли оммавиро дошта бошад, паёмади хатои он одатан маҳдуд мемонад.

Аммо агар ҳамон агент ба почтаи электронӣ, ҳисоби молиявӣ, маълумоти муштариён ва системаҳои дохилии ширкат дастрасӣ дошта бошад, вазъ комилан дигар мешавад.

Аз ҳамин сабаб, коршиносони амнияти киберӣ ба мафҳуми ҳадди ақалли дастрасии зарурӣ таъкид мекунанд.

Яъне агент бояд танҳо ба ҳамон захираҳое дастрасӣ дошта бошад, ки барои иҷрои вазифааш заруранд.

Оё агентҳои зеҳни сунъиро дар ҳамлаҳои киберӣ истифода бурдан мумкин аст?

Бале, ин яке аз нигарониҳои муҳими амнияти киберӣ аст.

Зеҳни сунъӣ метавонад баъзе марҳилаҳои кори ҳамлагаронро тезтар ва худкортар кунад: аз ҷамъоварии маълумоти дастрас ба умум то таҳияи матнҳои фиребанда ва кумак ба таҳлили додаҳо.

Аммо набояд тасаввур кунем, ки агентҳои зеҳни сунъӣ ногаҳон ҷойи ҳакерҳои инсониро гирифтаанд.

Дар бисёр ҳолатҳо сухан бештар дар бораи афзоиши суръат, васеъ шудани миқёс ва худкор кардани як қисми фаъолиятҳо меравад.

Ин боис шудааст, ки ширкатҳо ва мутахассисони амнияти киберӣ рафтори агентҳои худкорро бодиққаттар назорат кунанд.

Оё агент худаш қарор қабул карда метавонад?

То андозае — бале. Аммо ин ба тарзи тарҳрезии система вобаста аст.

Агент одатан дар асоси ҳадафе, ки ба он дода шудааст, вазъи мавҷударо месанҷад, барои расидан ба ҳадаф нақша месозад ва сипас бо истифода аз абзорҳои дар ихтиёрашбуда амал мекунад.

Мушкил дар он аст, ки ҳадафи муайянкардаи инсон на ҳамеша ба натиҷаи интизордоштаи ӯ оварда мерасонад.

Масалан, агар ба агент бигӯед:

«Хароҷоти ширкатро то ҳадди имкон кам кун»,

эҳтимол дорад система роҳҳоеро барои кам кардани хароҷот пайдо кунад, ки аз назари роҳбари ширкат қобили қабул набошанд.

Дар асл, агент метавонад дастурро иҷро кунад, аммо мақсади воқеии инсонро дуруст нафаҳмида бошад.

Маҳз дар ҳамин ҷо масъалаи назорат ва ҳамоҳанг сохтани зеҳни сунъӣ бо ҳадафу арзишҳои инсон аҳаммият пайдо мекунад.

Занҷираи хатоҳо

Яке аз нигарониҳои муҳим дар бораи агентҳо ин аст, ки хатоҳои онҳо метавонанд пайдарпай идома ёбанд.

Фарз кунед, ки агент дар марҳилаи аввал маълумоти нодуруст пайдо мекунад.

Сипас дар асоси ҳамон маълумот:

1. қарори нодуруст қабул мекунад;
2. он қарорро ба марҳилаи баъдӣ мегузаронад;
3. абзори дигареро фаъол мекунад;
4. натиҷаи нодурустро ба корбар гузориш медиҳад.

Дар ин ҳолат, як хатои хурд метавонад ба чанд амали нодуруст табдил ёбад.

Аз ҳамин сабаб, ҳангоми тарҳрезии системаҳои агентӣ танҳо дақиқии модел муҳим нест; назорати марҳилаҳои иҷрои кор низ аҳаммият дорад. Дар боби 9 дидем, ки хатоҳои хурд дар занҷираи қадамҳо зиёд мешаванд ва санҷиши натиҷа дар ҳар қадам онро ислоҳ мекунад.

Инсон ҳанӯз бояд дар раванди қабули қарор иштирок кунад

Яке аз роҳҳои муҳими ҳалли масъала истифодаи мафҳуми Human-in-the-Loop, яъне иштироки инсон дар раванди кор ва қабули қарор, аст.

Ин маънои онро дорад, ки ҳангоми амалҳои ҳассос агент иҷозат надорад марҳилаи ниҳоиро бе тасдиқи инсон анҷом диҳад.

Масалан:

Агент → пешниҳоди интиқоли пул → тасдиқи инсон → анҷом додани амалиёти молиявӣ.

Ё:

Агент → омода кардани паёми электронӣ → санҷиши инсон → фиристодан.

Ин равиш метавонад суръати корро каме коҳиш диҳад, аммо барои амалҳои ҳассос як қабати муҳими амниятӣ фароҳам меорад. Дар боби 7 дидем, ки дар LangGraph чунин таваққуф барои тасдиқи инсон бо чанд сатри код сохта мешавад.

Чаро ширкатҳо ба агентҳои зеҳни сунъӣ таваҷҷуҳ пайдо кардаанд?

Бо вуҷуди ин нигарониҳо, доираи истифодаи агентҳо хеле васеъ аст.

Ширкатҳо метавонанд онҳоро барои корҳои зерин истифода баранд:

• таҳлили ҳуҷҷатҳо;
• посух додан ба муштариён;
• идора кардани вазифаҳои такрорӣ;
• таҳлили додаҳо;
• таҳияи гузориш;
• банақшагирӣ;
• дастгирии нармафзор;
• ҷустуҷӯи маълумот;
• идора кардани раванди кор.

Аз ҳамин сабаб, гумон аст, ки ширкатҳо танҳо ба хотири хатарҳои амниятӣ аз истифодаи агентҳо даст кашанд.

Роҳи мантиқитар — истифодаи бехатар ва таҳти назорати онҳо аст.

Агентҳои зеҳни сунъиро чӣ гуна бояд назорат кард?

Агар агентҳо ба зиндагии рӯзмарра ва фаъолияти соҳибкорӣ ворид шаванд, чанд принсип аҳаммияти зиёд пайдо мекунад:

1. Дастрасии маҳдуд

Агент набояд ба тамоми маълумот ва ҳисобҳои корбарӣ дастрасӣ дошта бошад. (Боби 10: рӯйхати абзорҳои иҷозатдодашуда, контейнер, як ҷузвдони иҷозатдодашуда барои файлҳо.)

2. Тасдиқи амалҳои ҳассос

Беҳтар аст пардохт, нест кардани маълумот, фиристодани маълумоти махфӣ ва тағйир додани танзимоти муҳим тасдиқи инсонро талаб кунанд. (Бобҳои 7 ва 10: иштироки инсон ва дарвозаи тасдиқ.)

3. Сабти фаъолиятҳо

Бояд маълум бошад, ки агент чӣ кор кардааст ва бо кадом сабаб он амалро анҷом додааст. (Боби 11: сабтҳои пайгирӣ ва мушоҳидапазирӣ.)

4. Имкони қатъи фаврӣ

Система бояд роҳи фавран боздоштани агентро дошта бошад. (Боби 6: ҳар давра шарти анҷом дорад; боби 10: буҷаи даъватҳо ва вақт.)

5. Озмоиш пеш аз истифодаи воқеӣ

Агентро набояд бевосита дар системаҳои ҳассос ба кор андохт. Беҳтар аст аввал онро дар муҳити озмоишӣ санҷид. (Боби 11: сенарияҳои санҷиш бо корбарони «душвор».)

6. Санҷиши натиҷаҳо

Ҳатто агар агент корҳоро худкор анҷом диҳад ҳам, амалҳои муҳими он бояд қобили санҷиш бошанд. (Боби 9: санҷиши натиҷа бо Pydantic.)

7. Хотираи бодиққат

Агент набояд пароль, калиди API ё маълумоти шахсии ҳассосро дар хотираи дарозмуддат нигоҳ дорад, ва хотираи кӯҳна ё нодуруст бояд тоза карда шавад. (Боби 12.)

Пеш аз ба кор андохтани агент: рӯйхати санҷиш

Агар аввалин агенти худро барои кори воқеӣ омода мекунед, ба ин саволҳо ҷавоб диҳед:

1. Агент ба кадом абзорҳо ва маълумот дастрасӣ дорад? Оё ҳамаашон воқеан лозиманд?
2. Кадом амалҳо бебозгаштанд (пардохт, нест кардан, фиристодан)? Оё онҳо тасдиқи инсонро талаб мекунанд?
3. Оё ҳар давра ҳадди қадамҳо, вақт ва хароҷот дорад?
4. Оё натиҷаи модел пеш аз истифода санҷида мешавад?
5. Оё коди тавлидкардаи модел дар муҳити ҷудошуда иҷро мешавад?
6. Оё ҳар қадами агент сабт мешавад, то баъдтар фаҳмед, ки чаро ин корро кард?
7. Оё агентро бо корбарони шитобкор, сардаргум ва бадният санҷидед?
8. Оё агент дар хотираи худ маълумоти махфӣ нигоҳ намедорад?

Агар ба ягон савол ҷавоби «не» ё «намедонам» бошад, аз ҳамон ҷо оғоз кунед.

Ин мавзӯъ ба корбарони одӣ чӣ иртибот дорад?

Шояд фикр кунем, ки агентҳои зеҳни сунъӣ танҳо барои ширкатҳои бузург ва мутахассисони технология ҳастанд. Аммо эҳтимол дорад ин технология тадриҷан ба маҳсулоти рӯзмарра низ роҳ ёбад.

Ёварони ҳушманди оянда метавонанд:

• вақти мулоқотро таъйин кунанд;
• почтаи электрониро идора кунанд;
• хариди интернетӣ анҷом диҳанд;
• сафарро ба нақша гиранд;
• файлҳоро ба тартиб дароранд;
• маълумоти гуногунро аз чанд хидмат ҷамъ оваранд.

Дар чунин шароит, саволи муҳим барои корбар танҳо ин нест:

«Ин зеҳни сунъӣ то чӣ андоза ҳушманд аст?»

Балки бояд пурсид:

«Ин зеҳни сунъӣ ба чӣ чизҳо дастрасӣ дорад?»

Хулоса: ояндаи зеҳни сунъӣ танҳо ба ҳушмандтар шудан вобаста нест

Зеҳни сунъӣ рӯз ба рӯз тавонотар мешавад. Агентҳои зеҳни сунъӣ яке аз муҳимтарин қадамҳо дар роҳи табдил ёфтани он аз абзори ҷавобдиҳанда ба ёвари иҷрокунандаи корҳо ҳастанд.

Аммо ҳар қадар ба як система салоҳияти бештар диҳем, ҳамон қадар масъулияти бештаре барои назорати он хоҳем дошт.

Аз ҳамин сабаб, ҳангоми баррасии технологияҳои нав танҳо тавоноӣ ва имкониятҳои маҳсулот муҳим нестанд. Амният, ҳифзи ҳаёти хусусӣ, сатҳи дастрасӣ ва назорати корбар низ бояд ба назар гирифта шаванд.

Шояд саволи оянда ин набошад:

«Оё зеҳни сунъӣ метавонад мустақилона кор кунад?»

Балки саволи муҳимтар чунин бошад:

«То чӣ андоза бояд ба он иҷозат диҳем, ки мустақилона кор кунад?»

Ҷавоб ба ҳамин савол метавонад самти ояндаи агентҳои зеҳни сунъиро муайян кунад: ояндае, ки дар он зеҳни сунъӣ эҳтимолан танҳо ҷавоб намедиҳад, балки воқеан ба кор шурӯъ мекунад.

Қадами навбатӣ

Беҳтарин роҳи омӯхтани агентҳо — сохтани онҳост. Аз агенти хурде оғоз кунед, ки як вазифаи равшан ва як-ду абзор дорад (боби 5), баъд ба он ҳолат ва хотира илова кунед (боби 6), натиҷаҳояшро санҷед (бобҳои 9 ва 11) ва танҳо пас аз он дастрасии онро васеъ кунед. Агар хоҳед амиқтар равед, қисмҳои «Барои хонандагони пешрафта»-и бобҳо ва боби 13 роҳи навбатии шумост; коди пурраи мисолҳои бобҳои 6–13 дар анбори китоби аслӣ ҷойгир аст.