SmartAItomation
„Cel mai util a fost să învăț cum transform o nemulțumire vagă într-o verificare pe care o pot repeta după o schimbare.”
Perspectiva unui inginer — de solicitat unui viitor participant
LIVE ONLINE · DOUĂ GRUPE NOI
Evaluări AI pentru
Ingineri și PM
Cum știi că aplicația ta AI chiar funcționează?
Învață să evaluezi și să îmbunătățești aplicațiile LLM. Descoperă tiparele de erori, construiește evaluări de încredere și îmbunătățește acuratețea, fiabilitatea și costurile.
4 săptămâni21 nov. · 500 €19 dec. · 1.000 €EUR
Ion MoșnoiInginer AI și trainer · 11+ ani în AI/ML
ÎN PRACTICĂ
Analizează.
Măsoară.
Îmbunătățește.
CONSTRUIEȘTE PE BAZA REZULTATELOR
Află ce trebuie corectat.
Verifică dacă a ajutat.
Un demo promițător este un început. Pentru un AI fiabil ai nevoie de o metodă prin care identifici erorile, le măsori și decizi ce merită schimbat.
Începi cu bazele AI și construiești un agent. Apoi îi analizezi erorile, creezi date sintetice pentru evaluare și folosești evaluări de încredere pentru a-l îmbunătăți.
Îți pui aceste întrebări când construiești aplicații AI?
- Cum evaluez răspunsurile care necesită judecată umană?
- Dacă schimb un prompt, cum știu că nu am stricat altceva?
- Ce erori merită rezolvate mai întâi și ce ar trebui să testez?
- De unde încep dacă nu am clienți sau un set de date?
- Ce ar trebui să măsor și ce instrumente mă pot ajuta?
- Cum automatizez evaluările și cum pot avea încredere în rezultate?
Pleci cu o metodă pe care o poți folosi la acest produs și la următorul.
CE ESTE INCLUS
Sprijin pe durata cursului.
Materiale la care revii după.
01
Sesiuni live + peste 10 ore de consultații
Parcurgem metoda împreună. Adu cazurile dificile pentru întrebări și feedback.
02
Acces pe viață la comunitatea Discord
Continuă discuțiile despre evaluări cu membrii comunității și după încheierea cursului.
03
Înregistrări + acces la edițiile live viitoare
Revino la înregistrări și materiale sau participă la o ediție viitoare fără o nouă taxă de curs.
04
Un manual de curs de peste 200 de pagini
Lecții detaliate, probleme rezolvate, pseudocod, liste de verificare și răspunsuri explicate.
05
Șase teme practice, cu soluții
Exersează fiecare etapă cu soluții scrise și explicații video înregistrate.
06
Certificat de absolvire
Trimite patru teme, inclusiv raportul final de îmbunătățire, pentru verificarea de către trainer.
CE VEI ÎNVĂȚA
O metodă pentru următoarea decizie.
01
Identifică eroarea reală
Citește interacțiunea completă: istoricul, sursele recuperate, intrările și ieșirile instrumentelor și răspunsul final.
02
Măsoară o greșeală concretă
Construiește câte un evaluator pentru fiecare tip de eroare. Compară-l cu etichetele unui expert înainte de a te baza pe el.
03
Verifică dacă o schimbare a ajutat
Compară prompturi, recuperarea informațiilor și fluxuri de agenți pe aceleași cazuri. Urmărește regresiile, costul și latența.
04
Testează acțiunile cu risc
Testează injectarea de instrucțiuni în prompt, folosirea nesigură a instrumentelor și lipsa verificării permisiunilor. Stabilește unde este necesară aprobarea umană.
05
Detectează erorile după lansare
Integrează evaluările în CI, monitorizează schimbările de comportament și investighează variațiile de calitate, latență și cost.
06
Fă vizibile compromisurile pentru afacere
Prioritizează erorile costisitoare. Arată ce s-a îmbunătățit, ce riscuri rămân și ce ar trebui să testeze următorul experiment.
Competența rămâne în echipă.
Folosește același proces — analiză → evaluare → îmbunătățire — la următorul produs AI.
PROGRAMA CELOR PATRU SĂPTĂMÂNI
Începi cu practica.
Înveți ce îți trebuie ca să rezolvi problema.
Patru lecții sâmbăta, 10:00–12:00 (Europe/Chișinău, UTC+2). Construiești un agent, îi analizezi erorile, creezi date de evaluare și îl îmbunătățești. Fiecare lecție include un laborator practic.
01SĂPTĂMÂNA 1 · SÂMBĂTĂBazele AI și construirea unui agentComportamentul LLM · instrumente · bucla agentului · trasee de execuție
Construiește-l. Vezi ce face.
- Înțelege tokenurile, limitele contextului, comportamentul modelului și ieșirile structurate.
- Construiește bucla unui agent cu apeluri de instrumente, condiții de oprire și un număr limitat de reîncercări.
- Definește acțiunile permise, permisiunile, clarificările și transferul către un om.
- Înregistrează mesajele și intrările și ieșirile instrumentelor. Află de ce răspunsul final nu este suficient pentru evaluarea unui agent.
LABORATORUL TĂU
Construiește un agent funcțional și inspectează primul său traseu complet de execuție.
02SĂPTĂMÂNA 2 · SÂMBĂTĂAnaliza erorilorAnaliza traseelor · notele expertului · taxonomia erorilor
Găsește greșelile care merită corectate.
- Construiește o interfață pentru traseele de execuție și analizează exemplele cu un expert în domeniu.
- Etichetează Corect/Greșit, indicând un motiv concret și pasul la care a apărut eroarea.
- Grupează notele în tipuri de erori și prioritizează-le după frecvență și impact.
- Definește o verificare trece/nu trece pentru fiecare eroare. Folosește cod pentru regulile obiective și evaluatori LLM când este necesară interpretarea.
LABORATORUL TĂU
Analizează trasee variate, creează o taxonomie a erorilor și scrie regulile pe care le vor verifica evaluările.
03SĂPTĂMÂNA 3 · SÂMBĂTĂCrearea datelor sintetice de evaluareFuncționalități × roluri × scenarii · seturi de date · calibrarea evaluatorului
Creează cazuri care testează erorile reale.
- Generează cazuri pornind de la funcționalități, roluri și scenarii, inclusiv ambiguități, date lipsă și cereri cu mai mulți pași.
- Verifică întrebările sintetice, comportamentul așteptat și sursele împreună cu un expert în domeniu.
- Separă cazurile de antrenare, dezvoltare și testare. Verifică acoperirea pe tip de eroare și categorie.
- Calibrează evaluatorii LLM față de etichetele expertului, folosind rezultate fals pozitive, fals negative, precizie și recall.
LABORATORUL TĂU
Construiește un set de evaluare cu versiuni și verifică dacă evaluatorul detectează greșelile observate de expert.
04SĂPTĂMÂNA 4 · SÂMBĂTĂÎmbunătățirea agentului AIPrompturi · modele · rutare · experimente controlate
Schimbă un lucru. Măsoară efectul.
- Folosește grupurile de erori pentru a decide dacă schimbi datele, recuperarea informațiilor, prompturile, modelele sau fluxul instrumentelor.
- Încearcă exemple mai bune, instrucțiuni mai clare, rescrierea întrebărilor, rutarea sau împărțirea sarcinilor.
- Compară modificările pe aceleași cazuri. Măsoară corecțiile, regresiile, costul și latența.
- Testează injectarea de instrucțiuni, permisiunile și acțiunile nesigure. Automatizează evaluările în CI și monitorizează schimbările din producție.
LABORATORUL TĂU
Rulează un experiment înainte/după și explică ce s-a îmbunătățit, ce a regresat și ce ai încerca în continuare.
ȘASE TEME PRACTICE
Construiește procesul,
pas cu pas.
- Inspectează traseul unui agentFă vizibile apelurile de instrumente, sursele, costurile și erorile.
- Analiză cu un expert și taxonomia erorilorScrie note de analiză și construiește o taxonomie utilă.
- Construiește un set de date reprezentativAcoperă roluri, funcționalități și condiții fără să folosești răspunsurile de test la dezvoltare.
- Un evaluator binar pentru fiecare eroareTransformă definiția fiecărei erori într-o verificare în cod sau într-un evaluator LLM dedicat.
- Calibrează evaluatorul față de etichetele expertuluiInvestighează diferențele și măsoară precizia și recall-ul.
- Îmbunătățește agentul și adaugă verificări în CICompară cu o versiune de referință și definește verificările pentru lansare.
Fiecare temă include o soluție explicată și un scurt ghid video. Folosește proiectul cursului sau un caz de la serviciu, anonimizat și aprobat pentru utilizare.
ALEGE GRUPA
Patru săptămâni.
O metodă pe care o poți folosi în continuare.
Planifică aproximativ 3–5 ore pe săptămână pentru sesiunile live și lucrul individual. Cursul include și peste 10 ore de consultații live opționale.
Lecții sâmbăta · 10:00–12:00
Europe/Chișinău (UTC+2). Toate lecțiile sunt înregistrate. Cele peste 10 ore de consultații se vor programa împreună cu grupa.
CUI SE ADRESEAZĂ
Cui se adresează cursul
Ingineri
Construiești agenți sau RAG și vrei o metodă practică de depanare, testare și îmbunătățire.
Manageri de produs și experți în domeniu
Vrei să definești comportamentul corect, să analizezi erorile și să evaluezi dacă o versiune este pregătită pentru lansare.
Lideri de echipe tehnice și de produs
Vrei să prioritizezi erorile, să explici deciziile de lansare și să oferi echipei un proces comun de evaluare a calității.
Echipe care dezvoltă competențe AI intern
Învățați o metodă comună, reutilizabilă la mai multe produse, fără să o luați de la zero pentru fiecare caz de utilizare.
Înainte de înscriere:ar trebui să folosești confortabil un LLM. Inginerii trebuie să poată rula cod Python de bază; PM-ii pot lucra în perechi la laboratoare. Nu este necesară experiența în cercetare ML.
TRAINERUL TĂU
Învață cu Ion Moșnoi.
11+ ani în AI/ML
Ajut echipele de inginerie să înțeleagă ce nu funcționează în produsele lor AI și să construiască evaluările necesare pentru a le îmbunătăți.
Am lucrat la proiecte AI în producție pentru startupuri și companii mari, precum și în cercetare privind coordonarea multi-agent și vederea computerizată în Franța și Finlanda.
Experiența mea pe LinkedIn„Începe cu o eroare pe care o poți explica.
Apoi construiește testul care o detectează.”
RESURSE GRATUITE
Începe cu ceva
ce poți folosi chiar azi.
Introdu adresa de email pentru a descărca o resursă. Materialele sunt în engleză. Nu te înscrii automat la noutățile despre curs.
PDF · LISTĂ DE VERIFICARE
Lista de verificare pentru evaluări AI
Ce să inspectezi, să etichetezi și să măsori înainte de următoarea lansare.
Descarcă resursa gratuită ↗CSV + PROMPTURIKit de pornire pentru analiza traseelor
O fișă de analiză, trasee fictive și prompturi pentru construirea unei interfețe.
Descarcă resursa gratuită ↗ȘABLON + FIȘĂ DE LUCRUConstruiește și testează un evaluator LLM
Definește o eroare, analizează diferențele și calibrează evaluatorul.
Descarcă resursa gratuită ↗FIȘE INTERACTIVEExersează conceptele evaluării
Întrebări scurte care îți testează înțelegerea procesului de evaluare.
Descarcă resursa gratuită ↗INSTRUCȚIUNI PENTRU ASISTENTUL DE PROGRAMAREDă-i asistentului tău un proces de evaluare
Instrucțiuni și șabloane reutilizabile pentru asistentul tău de programare.
Descarcă resursa gratuită ↗GHID PRACTICRăspunsuri la întrebările despre evaluări AI
Explicații clare despre seturi de date, evaluatori, metrici și experimente.
Descarcă resursa gratuită ↗VIDEO + LECȚIE INTERACTIVĂCum verifici dacă o schimbare a ajutat
O lecție scurtă despre medii înșelătoare și comparații utile.
Descarcă resursa gratuită ↗Vrei noutăți despre următoarea grupă?
Primește ocazional noutăți despre curs. Confirmi adresa de email și te poți dezabona oricând.
Primește noutăți despre curs ↗TEXTE DE TESTIMONIALE · PREVIZUALIZARE PENTRU AUTOR
Texte de înlocuit
cu feedbackul participanților.
Textele de mai jos sunt exemple provizorii, nu recenzii reale. Nu reprezintă evaluări, nume de cursanți sau rezultate obținute.
„Analiza exemplelor împreună ne-a ajutat să explicăm mai clar ce trebuie să facă un răspuns bun și unde greșește.”
Perspectiva unui manager de produs — de solicitat unui viitor participant
„Voiam un proces pe care echipa să-l folosească în continuare, de la analiza traseelor până la compararea modificărilor pe aceleași cazuri.”
Perspectiva unui lider tehnic — de solicitat unui viitor participant
ÎNVAȚĂ CU ECHIPA TA
Dezvoltă competența în echipă.
CÂTEVA DETALII PRACTICE
Înainte de înscriere.
Când are loc cursul?
Alege 21 noiembrie–18 decembrie 2026 (500 €) sau 19 decembrie 2026–15 ianuarie 2027 (1.000 €). Fiecare grupă parcurge patru săptămâni. Lecțiile sunt sâmbăta, 10:00–12:00 Europe/Chișinău (UTC+2). Grupa din noiembrie: 21 și 28 nov., 5 și 12 dec. Grupa din decembrie: 19 și 26 dec., 2 și 9 ian. Consultațiile se programează separat.
Cât timp ar trebui să rezerv?
Aproximativ 3–5 ore pe săptămână pentru sesiunile live și lucrul individual. Consultațiile opționale însumează peste 10 ore pe durata cursului. Temele includ soluții și explicații video.
Ce înseamnă acces pe viață?
Păstrezi accesul la înregistrări, materiale și comunitatea privată Discord. Poți participa și la edițiile live viitoare fără o nouă taxă de curs; confirmă participarea cu Ion înaintea fiecărei ediții. Detaliile sunt în condițiile cursului.
Ce fac dacă nu pot participa live?
Sesiunile sunt înregistrate și ai acces pe viață la ele. Poți pune întrebări pe Discord și participa la consultații când poți. Participanții înscriși primesc linkurile de acces și înregistrările.
Trebuie să fiu inginer?
Inginerii ar trebui să poată rula cod Python de bază. PM-ii și experții în domeniu se pot concentra pe analiză, cazuri de test și decizii de lansare, lucrând în perechi la laboratoare. Nu este necesară experiența în cercetare ML.
Cui nu i se potrivește cursul?
Nu este o introducere generală în folosirea chatboturilor, un curs de cercetare pentru antrenarea modelelor sau o promisiune că vei lansa un produs complet în patru săptămâni. Vei analiza exemple, vei scrie note și vei testa modificări.
Am nevoie de un produs sau de clienți existenți?
Nu. Începi cu materialele oferite. Înveți să creezi cazuri sintetice din roluri, funcționalități și scenarii, apoi să verifici etichetele cu ajutorul unui expert.
Cu ce rămân la final?
Cu un agent pe care îl poți inspecta, o taxonomie verificată a erorilor, un set de evaluare cu versiuni, evaluatori calibrați și un raport de îmbunătățire înainte/după. Rezultatele depind de cazurile și implementarea ta; obiectivul este o metodă reutilizabilă.
Ce instrumente vom folosi?
Python, JSON/CSV, o buclă simplă de agent cu instrumente, verificări în cod și apeluri API către modele. Poți folosi Codex sau Claude pentru interfețe și scripturi. Metoda nu depinde de un framework. Costurile opționale ale API-urilor sunt facturate de furnizorul tău și nu sunt incluse în taxa cursului.
Cursul acoperă agenți, RAG și securitate?
Da. Analizezi apelurile de instrumente și recuperarea informațiilor separat de calitatea răspunsurilor. Testezi permisiunile, injectarea de instrucțiuni, acțiunile nesigure și transferul către un om, apoi integrezi verificările în CI și monitorizarea din producție.
Cum obțin certificatul?
Trimiți cel puțin patru dintre cele șase teme, inclusiv raportul final de îmbunătățire. Ion le verifică înainte de emiterea certificatului nominal. Este un certificat de absolvire, nu o calificare acreditată.
Poate compania să plătească sau să înscrie o echipă?
Da. Folosește modelul de email către angajator și confirmarea plății. Rezervă împreună 2–20 de locuri pentru o reducere de 10%, apoi răspunde la confirmare cu datele participanților. Contactează-l pe Ion pentru grupuri mai mari sau cursuri private.
Ce aduce în plus față de învățarea individuală?
Un parcurs practic coerent, analiză cu un expert, consultații, discuții în comunitate și soluții explicate. Scopul este ca evaluările tale să fie suficient de fiabile pentru a ghida decizii reale de inginerie.
Cursul este afiliat cu Maven sau cu un furnizor AI?
Nu. Este un curs independent SmartAItomation, predat de Ion Moșnoi. Instrumentele și referințele menționate nu implică afiliere sau recomandare oficială.
CONSTRUIEȘTE PROCESUL DE FEEDBACK
Mai puține presupuneri.
Decizii mai bune.
Patru săptămâni. O metodă practică pe care o poți folosi în continuare.
Alege grupa