پشت پرده AI Agentها | قسمت 9: Reflection در AI Agentها چیست؟ خودارزیابی و اصلاح در ایجنت‌های هوش مصنوعی

در قسمت قبل مجموعه «پشت پرده AI Agentها» درباره Reasoning صحبت کردیم؛ اینکه یک Agent چطور بین چند گزینه مختلف تصمیم می‌گیرد و بهترین اقدام بعدی را انتخاب می‌کند.

اما یک سؤال مهم وجود دارد:

اگر تصمیم Agent اشتباه باشد یا خروجی نهایی کیفیت مناسبی نداشته باشد، چه اتفاقی می‌افتد؟

اینجاست که مفهوم Reflection در AI Agentها مطرح می‌شود.

Reflection را می‌توان به‌صورت ساده فرآیندی دانست که طی آن Agent بعد از انجام یک کار، نتیجه را بررسی می‌کند و می‌سنجد که آیا خروجی با هدف اولیه هماهنگ است یا نه.

اگر مشکلی وجود داشته باشد، Agent می‌تواند خطا را شناسایی کند، به مرحله قبلی برگردد و بخشی از کار را دوباره انجام دهد.

به زبان ساده:

Reflection = بررسی نتیجه + پیدا کردن خطا + اصلاح کار

Reflection در AI Agent دقیقاً چیست؟

فرض کنید از یک AI Agent بخواهید:

«یک گزارش از فروش این ماه آماده کن.»

Agent ممکن است ابتدا فایل‌های فروش را بررسی کند، داده‌ها را تحلیل کند و یک گزارش اولیه بسازد.

اما کار لزوماً در همین مرحله تمام نمی‌شود.

در یک سیستم Agentic که قابلیت Reflection دارد، Agent می‌تواند بعد از تولید گزارش چند سؤال مهم را بررسی کند:

• آیا همه داده‌های لازم استفاده شده‌اند؟
• آیا محاسبات درست انجام شده‌اند؟
• آیا نتیجه با درخواست کاربر هماهنگ است؟
• آیا بخش مهمی از گزارش حذف شده است؟
• آیا نتیجه نهایی قابل‌فهم و کامل است؟

اگر پاسخ یکی از این سؤال‌ها منفی باشد، Agent می‌تواند خروجی را اصلاح کند.

چرا Reflection برای AI Agentها مهم است؟

مدل‌های هوش مصنوعی همیشه بدون خطا نیستند.

حتی اگر Agent برنامه‌ریزی مناسبی داشته باشد و ابزار درست را انتخاب کند، ممکن است در یکی از مراحل دچار اشتباه شود.

برای مثال ممکن است:

• داده‌ای را اشتباه تفسیر کند
• یکی از مراحل را فراموش کند
• ابزار نامناسبی انتخاب کند
• نتیجه ابزار را ناقص تحلیل کند
• خروجی‌ای تولید کند که با هدف کاربر هماهنگ نباشد

اگر Agent بدون بررسی نتیجه، کار را تمام‌شده در نظر بگیرد، این خطاها مستقیماً وارد خروجی نهایی می‌شوند.

Reflection کمک می‌کند یک مرحله ارزیابی بین «انجام کار» و «تحویل نتیجه» وجود داشته باشد.

یک مثال ساده از Reflection

فرض کنید از Agent بخواهید:

«سه محصول پرفروش این ماه را مشخص کن.»

Agent داده‌های فروش را بررسی می‌کند و سه محصول را معرفی می‌کند.

در مرحله Reflection ممکن است دوباره بررسی کند که مرتب‌سازی داده‌ها براساس تعداد فروش انجام شده یا مبلغ فروش.

اگر درخواست کاربر منظور مشخصی نداشته باشد، Agent ممکن است متوجه شود که معیار «پرفروش» مبهم است.

در این حالت می‌تواند تصمیم بگیرد معیار را مشخص کند یا نتیجه را با توضیح بیشتری ارائه دهد.

این بررسی دوباره باعث می‌شود خروجی دقیق‌تر و قابل‌اعتمادتر شود.

Reflection چه تفاوتی با Reasoning دارد؟

Reasoning و Reflection به هم مرتبط هستند، اما نقش متفاوتی دارند.

Reasoning بیشتر هنگام تصمیم‌گیری استفاده می‌شود.

Agent اطلاعات موجود را بررسی می‌کند و تصمیم می‌گیرد قدم بعدی چه باشد.

اما Reflection بعد از انجام یک اقدام یا تولید یک نتیجه وارد عمل می‌شود.

یعنی Agent از خودش می‌پرسد:

«آیا کاری که انجام دادم درست بود؟»

بنابراین می‌توان خیلی ساده گفت:

Reasoning = تصمیم‌گیری درباره قدم بعدی

Reflection = ارزیابی نتیجه قدمی که انجام شده

Reflection و Planning چه ارتباطی دارند؟

Reflection می‌تواند باعث تغییر Planning شود.

فرض کنید Agent برای انجام یک وظیفه پنج مرحله برنامه‌ریزی کرده است.

بعد از اجرای مرحله سوم متوجه می‌شود داده‌ای که دریافت کرده ناقص است.

در این حالت Reflection می‌تواند تشخیص دهد ادامه دادن برنامه فعلی منطقی نیست.

Agent ممکن است به مرحله قبلی برگردد، اطلاعات بیشتری جمع‌آوری کند و بعد برنامه را ادامه دهد.

بنابراین چرخه انجام کار می‌تواند به این شکل باشد:

ادامه برنامه → اصلاح → Reflection → اجرا → Planning

در بعضی سیستم‌ها حتی ممکن است Reflection باعث Replanning یا برنامه‌ریزی مجدد شود.

Reflection چگونه انجام می‌شود؟

روش پیاده‌سازی Reflection در Agentهای مختلف متفاوت است.

در برخی سیستم‌ها همان مدل زبانی که خروجی را تولید کرده، دوباره نتیجه را بررسی می‌کند.

در بعضی سیستم‌ها ممکن است یک مرحله یا Agent جداگانه برای ارزیابی خروجی وجود داشته باشد.

همچنین می‌توان از معیارهای مشخص برای ارزیابی استفاده کرد.

برای مثال یک Agent تولید گزارش می‌تواند خروجی را براساس معیارهایی مانند موارد زیر بررسی کند:

• کامل بودن اطلاعات
• صحت محاسبات
• رعایت فرمت موردنظر
• هماهنگی با درخواست کاربر
• وجود یا نبود خطا
• پوشش تمام بخش‌های موردنیاز

هرچه معیار ارزیابی روشن‌تر باشد، Reflection نیز می‌تواند هدفمندتر انجام شود.

آیا Reflection همیشه خطا را پیدا می‌کند؟

خیر.

Reflection یک قابلیت مفید است، اما تضمین نمی‌کند همه خطاها شناسایی شوند.

اگر مدل درک اشتباهی از مسئله داشته باشد، ممکن است هنگام ارزیابی نیز همان اشتباه را تکرار کند.

به همین دلیل در کاربردهای مهم، Reflection بهتر است در کنار روش‌های دیگری استفاده شود.

برای مثال:

• بررسی محاسبات با ابزارهای مستقل
• اعتبارسنجی داده‌ها
• اجرای تست
• استفاده از منابع معتبر
• تعریف معیارهای دقیق ارزیابی
• تأیید انسان در تصمیم‌های حساس

بنابراین Reflection را نباید معادل «تضمین صحت» در نظر گرفت.

یک مثال از Reflection در برنامه‌نویسی

Reflection در Agentهای برنامه‌نویسی کاربرد بسیار واضحی دارد.

فرض کنید از یک Agent بخواهید:

«این تابع را بنویس و مطمئن شو درست کار می‌کند.»

Agent ابتدا کد را تولید می‌کند.

سپس می‌تواند کد را اجرا کند، تست‌ها را بررسی کند و نتیجه را ببیند.

اگر تست شکست بخورد، Agent متوجه می‌شود خروجی اولیه مشکل دارد.

بعد می‌تواند کد را اصلاح کند و دوباره تست بگیرد.

چرخه می‌تواند به شکل زیر باشد:

این فرآیند نمونه‌ای عملی از Reflection در یک AI Agent است.

Reflection در کارهای سازمانی چه کاربردی دارد؟

در محیط‌های سازمانی، Reflection می‌تواند قبل از تحویل نتیجه نقش مهمی داشته باشد.

برای مثال یک Agent ممکن است گزارشی مدیریتی تولید کند و سپس بررسی کند:

آیا اعداد گزارش با داده اصلی هماهنگ هستند؟

آیا تمام بخش‌های درخواست‌شده وجود دارند؟

آیا نتیجه نهایی برای مخاطب موردنظر مناسب است؟

یا یک Agent منابع انسانی ممکن است قبل از ارسال یک گزارش بررسی کند که اطلاعات ضروری جا نیفتاده باشند.

در چنین کاربردهایی Reflection می‌تواند کیفیت خروجی را افزایش دهد، هرچند همچنان ممکن است برای تصمیم‌های مهم به نظارت انسان نیاز باشد.

ارتباط Reflection با اجزای دیگر AI Agent

تا اینجا در مجموعه «پشت پرده AI Agentها» چند بخش مهم معماری Agentها را بررسی کرده‌ایم.

Memory اطلاعات مهم را برای استفاده‌های بعدی نگهداری می‌کند.

Context اطلاعاتی است که Agent در لحظه در اختیار دارد.

Planning مسیر رسیدن به هدف را مشخص می‌کند.

Reasoning به Agent کمک می‌کند بین گزینه‌های مختلف تصمیم بگیرد.

Tool Calling امکان استفاده از ابزارها را فراهم می‌کند.

و Reflection نتیجه اقدامات را بررسی می‌کند تا مشخص شود آیا کار درست انجام شده است یا نه.

ترکیب این اجزا باعث می‌شود یک Agent بتواند چرخه‌ای فراتر از «دریافت سؤال و تولید پاسخ» داشته باشد.

چرخه Agent با Reflection چگونه به نظر می‌رسد؟

یک Agent پیشرفته ممکن است تقریباً چنین چرخه‌ای داشته باشد:

هدف ← Planning ← Reasoning ← انتخاب ابزار ← اجرا ← مشاهده نتیجه ← Reflection ← اصلاح یا ادامه

اگر نتیجه مناسب باشد، Agent می‌تواند وارد مرحله بعدی شود.

اگر نتیجه مناسب نباشد، ممکن است اقدام قبلی را اصلاح کند یا حتی برنامه جدیدی ایجاد کند.

این چرخه تا زمانی ادامه پیدا می‌کند که Agent به نتیجه قابل‌قبولی برسد یا شرایط توقف مشخص‌شده فعال شود.

جمع‌بندی

Reflection در AI Agentها به فرآیندی گفته می‌شود که طی آن Agent بعد از انجام یک اقدام یا تولید یک خروجی، نتیجه را ارزیابی می‌کند.

اگر نتیجه با هدف موردنظر هماهنگ نباشد، Agent می‌تواند مشکل را شناسایی کرده و بخشی از فرآیند را اصلاح کند.

به زبان ساده:

Reflection = بررسی نتیجه + پیدا کردن خطا + اصلاح کار

این قابلیت باعث می‌شود Agent فقط وظیفه‌ای را اجرا نکند، بلکه بتواند تا حدی کیفیت خروجی خودش را نیز بررسی کند.

البته Reflection تضمین‌کننده بی‌خطا بودن Agent نیست و در کاربردهای حساس همچنان باید از اعتبارسنجی، ابزارهای مستقل و نظارت انسانی استفاده شود.

درباره فیلاگر

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش و بررسی مفاهیم و فناوری‌های روز AI است. در مجموعه «پشت پرده AI Agentها» تلاش می‌کنیم ایجنت‌های هوش مصنوعی، نحوه کار آن‌ها و کاربردهای واقعی‌شان را با زبانی ساده، دقیق و کاربردی توضیح دهیم.

پشت پرده AI Agentها | قسمت ۱
پشت پرده AI Agentها | قسمت ۲
پشت پرده AI Agentها | قسمت ۳
پشت پرده AI Agentها | قسمت ۴
پشت پرده AI Agentها | قسمت ۵
پشت پرده AI Agentها | قسمت ۶
پشت پرده AI Agentها | قسمت ۷
پشت پرده AI Agentها | قسمت ۸