RAG-LLM Evals & Test Automation for Beginners 2025-2 2026

RAG-LLM Evals & Test Automation for Beginners 2025-2 is a comprehensive, hands-on course designed to take you from the fundamentals to advanced, real-world mastery of data-path-to-node. Whether you are just starting out or looking to level up, this course gives you the structured path and practical projects you need to succeed.

Throughout the lessons you will build genuine confidence with data-path-to-node and llm, learning through clear explanations and step-by-step examples you can apply immediately. Below you will find everything the course covers, who it is for, and a full breakdown of the curriculum before you download.

Course Description

دوره RAG-LLM Evals & Test Automation for Beginners. این دوره آموزشی، مبانی ارزیابی و آزمون خودکار مدل‌های زبانی بزرگ (LLM) با معماری بازیابی-تولید افزوده (RAG) را برای تازه‌کاران تشریح می‌کند. با توجه به گسترش روزافزون کاربرد این مدل‌ها در کسب‌وکارها، نیاز به روش‌شناسی خاصی برای سنجش عملکرد آن‌ها احساس می‌شود. دوره با تشریح معماری و مکانیسم عملکرد مدل‌های زبانی آغاز شده و سپس به بررسی معیارهای کلیدی ارزیابی می‌پردازد. شرکت‌کنندگان با فریم‌ورک تخصصی RAGAS آشنا شده و می‌آموزند چگونه با نوشتن اسکریپت، متریک‌های ارزیابی را محاسبه و نتایج را با استفاده از Pytest اعتبارسنجی کنند. این دوره هفت متریک پرکاربرد را پوشش می‌دهد و چگونگی طراحی یک چارچوب آزمون خودکار برای تعاملات تک‌حلقه‌ای و چندحلقه‌ای را آموزش می‌دهد. همچنین روش‌های تولید داده‌های آزمون مناسب برای ارزیابی ارائه می‌شود. هدف نهایی، تجهیز مهندسان به مهارت‌های لازم برای ایجاد سیستم‌های ارزیابی مستحکم و خودکار برای مدل‌های زبانی مبتنی بر RAG است.

What You Will Learn

آشنایی با طراحی LLMهای سفارشی:
نحوه طراحی مدل‌های زبان بزرگ (LLM) سفارشی با استفاده از معماری Retrieval Augmented Generation (RAG).
معیارهای ارزیابی:
بنچمارک‌ها/معیارهای رایج مورد استفاده در ارزیابی LLMهای مبتنی بر RAG.
مقدمه‌ای بر RAGAS:
معرفی فریم‌ورک ارزیابی RAGAS برای ارزیابی/تست LLMها.
تولید اسکریپت‌های عملی:
تولید اسکریپت‌های عملی برای خودکارسازی و تأیید امتیاز معیارهای LLMها.
خودکارسازی سناریوها:
خودکارسازی سناریوهایی مانند تعاملات تک‌نوبتی (Single turn interactions) و تعاملات چندنوبتی (Multi turn interactions) با LLMها با استفاده از فریم‌ورک RAGAS.
تولید داده‌های تست:
تولید داده‌های تست برای ارزیابی معیارهای LLM با استفاده از فریم‌ورک RAGAS.
ایجاد فریم‌ورک Pytest RAGAS:
ایجاد فریم‌ورک ارزیابی Pytest RAGAS برای تأیید معیارهای LLMهای (سفارشی) RAG.

Who This Course Is For

مهندسان نرم‌افزار.
مهندسان تضمین کیفیت.
تسترها/آزمایشگران نرم‌افزار.

Course Features & Specifications

ناشر: Udemy
مدرس: Rahul Shetty Academy
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 8 ساعت و 39 دقیقه
تعداد دروس: 57

Prerequisites

Python, PyTest basics are required. But wait! we have 2 dedicated sections at the end of this course which gives you necessary knowledge on Python & Pytest required to follow the course.
Basic knowledge on API Testing