Çox agentli sistemlərdə 5 istehsal problemi və Deep Insight onları necə həll etdi

Niyə agent bizim biznes məntiqimizə əməl etmir, doğrulama addımlarını atmır və ya kənar halları tutmur?

Siz təklifi düzəldirsiniz, daha çox nümunə əlavə edirsiniz, modeli dəyişdirirsiniz. Eyni problemlər təkrarlanır. Bunun səbəbi agentlərin müəyyən edilmiş təlimat ardıcıllığına əməl etməməsidir. Onlar kontekstdən asılı olaraq öz mühakimələrini edirlər. Təkcə təlimatlar kifayət deyil. Siz agentin necə düşündüyünü, nə zaman yoxladığını və işlər səhv gedəndə nə edəcəyini dizayn etməlisiniz. Məhz buna görə də təkbaşına operativ mühəndislikdən kənara çıxmaq və agentin bütün idrak arxitekturasını və icra axınını dizayn etmək kritik hala gəldi.

Bu problemlərin öhdəsindən gəlmək üçün AWS Solutions Architecture komandası istehsal səviyyəli multi-agent sistemi olan Deep Insight qurdu. Bu yazı seriyasında komandanın Deep Insight qurarkən ilk əldən öyrəndiklərini üç yazıda paylaşırıq. Anthropic tərəfindən təklif olunan Kontekst Mühəndisliyi üsullarını (çox agentli arxitektura, strukturlaşdırılmış qeyd alma, dövrədə insan və s.) real istehsal mühitində necə tətbiq etdiyimizi nəzərdən keçirəcəyik. Biz, həmçinin yol boyu qarşılaşdığımız güzəştləri (kod ilə) və bu agenti AWS-də yerləşdirmək və idarə etməkdən əldə etdiyimiz əməliyyat anlayışlarını əhatə edirik.

Bu üç hissədən ibarət seriyanın 1-ci hissəsidir. O, istənilən istehsal multi-agent sisteminin həll etməli olduğu beş əsas problemi müəyyənləşdirir və Strands Agents SDK və Amazon Bedrock-dan Amazon Bedrock AgentCore, Application Load Balancer və AWS Fargate-ə qədər yığının hər bir təbəqəsinin onlara necə müraciət etdiyini göstərir. 2 və 3-cü hissələr Kontekst Mühəndisliyi və istehsalın tətbiqini əhatə edir.

Deep Insight, mürəkkəb məlumatların təhlilini avtomatlaşdırılmış anlayışlara çevirən çox agentli sistemdir. CSV faylı və təbii dil sorğusunu nəzərə alaraq, ixtisaslaşdırılmış agentlərin iyerarxiyası (Koordinator, Planlayıcı, Nəzarətçi, Koder, Qiymətləndirici, Məruzəçi və İzləyici) təhlil üzərində əməkdaşlıq edir. Onlar birlikdə məlumatları yükləyir, təhlillər aparır, diaqramlar yaradır, hesablamaları təsdiqləyir və sitatlarla peşəkar hesabat (.docx) hazırlayır.

Memarlığı daha sonra ətraflı araşdıracağıq. Əvvəlcə onu hərəkətdə görək. Demo üçün biz Yummy Food ( yummy-food-market.csv ) adlı qondarma qida şirkətinin reklam məlumatlarını sütun tərifləri faylı ( column_definitions.json ) ilə qidalandırırıq və təklifi təqdim edirik: Bunu satış və marketinq nöqteyi-nəzərindən təhlil edin, diaqramlar və anlayışlar yaradın və .docx hesabatı hazırlayın. Deep Insight təhlil planı yaradır, onu təsdiq üçün istifadəçiyə təqdim edir və təsdiq edildikdən sonra təhlili həyata keçirir.

Aşağıdakı Deep Insight veb demo videosu məlumatların yüklənməsi və təhlil planının nəzərdən keçirilməsindən real vaxt rejimində yayıma və hazır hesabatın endirilməsinə qədər tam iş prosesini göstərir.

Deep Insight tam quraşdırma təlimatı ilə GitHub-da açıq mənbəlidir və istehsala qədər inkişafı əhatə edən üç yerləşdirmə variantını təklif edir.

Üçüncüsü, idarə olunan AgentCore versiyasıdır, Amazon Bedrock AgentCore tərəfindən dəstəklənən istehsal yerləşdirmə variantıdır, istənilən çərçivə və ya modellə agentləri miqyasda qurmaq, əlaqələndirmək və optimallaşdırmaq üçün platformadır. Bu versiya agentləri Amazon Bedrock AgentCore-un qabiliyyəti olan AgentCore işləmə müddətində yerləşdirir. Sistem AWS Fargate-də ayrıca yerləşdirilən xüsusi Kod Tərcüməçisi ilə tamamilə şəxsi virtual şəxsi bulud (VPC) daxilində işləyir və agentlər eyni vaxtda istifadəçi başına təcrid olunmuş mühitlərdə işləyir. Sessiya izolyasiyasına və şəxsi VPC yerləşdirməyə ehtiyacınız olduqda düzgün seçimdir. 3-cü hissə onun yerləşdirilməsi və əməliyyatlarını ətraflı şəkildə əhatə edir.

Hər üçü eyni multi-agent arxitekturasını paylaşır, ona görə də inkişafda təsdiqlənmiş agent olduğu kimi istehsala yerləşdirilir.

İstehsal multi-agent sisteminin qurulması yaxşı göstərişlərdən daha çox tələb edir. Agentlərin necə əməkdaşlıq etdiyini, onların necə düşündüyünü, onları necə yerləşdirdiyinizi, kodu harada təhlükəsiz icra etdiklərini və əməliyyat sağlamlığına necə nəzarət etdiyinizi həll etmək üçün sizə düzgün texnologiya yığını və infrastruktur lazımdır. Deep Insight bu beş əsas sahə üzrə problemləri həll edir. Agentlər həm kod, həm də hesabat məzmunu yaratdıqlarına görə, biz 2-ci Həll təfərrüatında istehsal üçün məsul AI nəzarətlərini əhatə edirik.

Aşağıdakı memarlıq diaqramı (Şəkil 1) bunu bir baxışda göstərir. Yaşıl qutular əvvəlki cədvəldəki 1 və 2 çağırışlarına cavab verən Strands Agents çox agent strukturunu təmsil edir. Biz bunu qarşıdakı Həll təfərrüatı 1: Çox agentli sistem dizaynı bölməsində ətraflı şəkildə əhatə edəcəyik. Diaqramda göstərilən qalan infrastruktur komponentləri 2-ci Həll təfərrüatında nəzərdən keçirəcəyimiz 3, 4 və 5 problemlərini həll edir: İstehsalın yerləşdirilməsi və istismarı