پشت پرده هوش مصنوعی | قسمت 10: چرا بعضی مدل‌ها مکالمه‌های طولانی را بهتر مدیریت می‌کنند؟

وقتی با مدل‌های هوش مصنوعی مانند ChatGPT کار می‌کنیم، یکی از ویژگی‌هایی که توجه کاربران را جلب می‌کند، توانایی مدل در ادامه دادن یک گفت‌وگوی طولانی است. گاهی یک مدل می‌تواند در یک مکالمه طولانی، نکات مهم چندین پیام قبل را به خاطر داشته باشد و پاسخ مرتبطی ارائه دهد؛ اما در شرایط مشابه، مدل دیگری ممکن است بعضی جزئیات را نادیده بگیرد.
این تفاوت یک سؤال مهم ایجاد می‌کند:

چرا بعضی مدل‌های هوش مصنوعی مکالمه‌های طولانی را بهتر مدیریت می‌کنند؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که Context Window فضایی موقت است که اطلاعات گفتگو در آن قرار می‌گیرند و مدل هنگام تولید پاسخ، آن‌ها را پردازش می‌کند.

اما فقط مقدار اطلاعاتی که مدل می‌تواند ببیند، عامل تعیین‌کننده نیست.

آیا Context Window بزرگ‌تر همیشه بهتر است؟

در نگاه اول، ممکن است فکر کنیم هرچه Context Window یک مدل بزرگ‌تر باشد، عملکرد آن هم بهتر خواهد بود.

برای مثال، مدلی که می‌تواند تعداد بیشتری توکن را پردازش کند، باید بتواند گفتگوهای طولانی‌تری را مدیریت کند.

اما واقعیت کمی پیچیده‌تر است.

داشتن فضای بیشتر فقط به این معنی است که مدل اطلاعات بیشتری را هم‌زمان در اختیار دارد. اما مسئله مهم‌تر این است که مدل بتواند از بین این حجم زیاد اطلاعات، بخش‌های مهم را پیدا کند و ارتباط آن‌ها را با سؤال فعلی تشخیص دهد.

تصور کنید روی یک میز بزرگ، هزاران صفحه مختلف قرار دارد. داشتن یک میز بزرگ مفید است، اما اگر نتوانید صفحه موردنیاز خود را پیدا کنید، اندازه میز مشکل اصلی را حل نمی‌کند.

مدل چگونه اطلاعات مهم را پیدا می‌کند؟

وقتی یک مکالمه طولانی شکل می‌گیرد، همه بخش‌های متن اهمیت یکسانی ندارند.

ممکن است در یک گفت‌وگو، چندین پیام درباره موضوعات مختلف نوشته شده باشد، اما فقط یک جمله در ابتدای مکالمه برای پاسخ فعلی اهمیت داشته باشد.

مدل هوش مصنوعی باید بتواند تشخیص دهد:

• کدام کلمات به سؤال فعلی مرتبط هستند؟
• کدام بخش‌های گفتگو اهمیت بیشتری دارند؟
• چه ارتباطی بین اطلاعات مختلف وجود دارد؟

اینجاست که یکی از مهم‌ترین مکانیزم‌های مدل‌های زبانی وارد عمل می‌شود:

Attention (توجه)

Attention در هوش مصنوعی چیست؟

مکانیزم Attention به مدل کمک می‌کند هنگام پردازش متن، به بخش‌هایی توجه بیشتری کند که ارتباط بیشتری با موضوع فعلی دارند.

به زبان ساده، مدل همه کلمات را با اهمیت یکسان بررسی نمی‌کند؛ بلکه تلاش می‌کند ارتباط بین بخش‌های مختلف متن را محاسبه کند.

برای مثال، اگر در یک گفت‌وگوی طولانی درباره طراحی یک وب‌سایت صحبت کرده باشید و چندین پیام بعد درباره رنگ‌بندی سؤال بپرسید، مدل باید بتواند اطلاعات مرتبط با طراحی و انتخاب رنگ را از میان متن‌های قبلی پیدا کند.

Attention به مدل کمک می‌کند این ارتباط‌ها را بهتر تشخیص دهد.

چرا مدیریت Context در مدل‌ها متفاوت است؟

دو مدل ممکن است Context Window مشابهی داشته باشند، اما عملکرد آن‌ها در مدیریت مکالمه متفاوت باشد.

دلیل این تفاوت می‌تواند به عوامل مختلفی مربوط باشد:

• معماری مدل
• روش آموزش
• کیفیت داده‌های آموزشی
• توانایی مدل در تشخیص ارتباط بین بخش‌های مختلف متن

بنابراین، فقط تعداد توکن‌هایی که یک مدل می‌تواند پردازش کند، نشان‌دهنده توانایی واقعی آن نیست.

یک مدل باید بتواند اطلاعات موجود را به شکل مؤثر تحلیل کند.

آیا حافظه بیشتر به معنی هوش بیشتر است؟

خیر.

داشتن Context بزرگ‌تر یا توانایی پردازش متن بیشتر، فقط یکی از ویژگی‌های یک مدل هوش مصنوعی است.

هوش یک مدل به مجموعه‌ای از عوامل وابسته است؛ از نحوه آموزش گرفته تا معماری داخلی و کیفیت داده‌هایی که با آن آموزش دیده است.

به همین دلیل، ممکن است یک مدل با Context کوچک‌تر در یک وظیفه خاص عملکرد بهتری از مدلی با Context بزرگ‌تر داشته باشد.

جمع‌بندی

پس پاسخ سؤال «چرا بعضی مدل‌ها مکالمه‌های طولانی را بهتر مدیریت می‌کنند؟» این است:

زیرا فقط مقدار اطلاعاتی که مدل می‌تواند ببیند مهم نیست؛ بلکه توانایی آن در پیدا کردن اطلاعات مهم، ایجاد ارتباط بین بخش‌های مختلف متن و پردازش درست آن‌ها اهمیت زیادی دارد.

مکانیزم Attention یکی از فناوری‌های کلیدی است که به مدل‌های زبانی کمک می‌کند در میان حجم زیادی از اطلاعات، روی بخش‌های مرتبط‌تر تمرکز کنند.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که مکانیزم Attention دقیقاً چگونه کار می‌کند و چرا نقش مهمی در عملکرد مدل‌های زبانی دارد.

نظر شما چیست؟
به نظر شما برای یک مدل هوش مصنوعی، داشتن حافظه بیشتر مهم‌تر است یا توانایی بهتر در پردازش اطلاعات؟

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹