پشت پرده هوش مصنوعی | قسمت ۴۶: Speculative Decoding چیست؟

وقتی یک مدل زبانی بزرگ قرار است پاسخی تولید کند، برای تولید هر توکن به انجام محاسبات نیاز دارد. اگر پاسخ طولانی باشد، این فرایند باید بارها و بارها تکرار شود.

اما یک سؤال مهم وجود دارد:

آیا می‌توان قبل از اینکه مدل بزرگ هر توکن را محاسبه کند، چند توکن بعدی را حدس زد و سرعت تولید پاسخ را افزایش داد؟

یکی از روش‌هایی که برای این هدف استفاده می‌شود، Speculative Decoding یا «رمزگشایی حدسی» است.

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» دیدیم که اجرای یک مدل بزرگ می‌تواند بین چند GPU تقسیم شود تا محدودیت حافظه یک GPU کاهش پیدا کند.

حالا در این قسمت می‌خواهیم ببینیم چگونه می‌توان بدون جایگزین کردن مدل اصلی، فرایند تولید پاسخ آن را سریع‌تر کرد.

Speculative Decoding چیست؟

Speculative Decoding روشی برای افزایش سرعت تولید متن توسط مدل‌های زبانی است که در آن از یک مدل کوچک‌تر برای پیشنهاد دادن چند توکن آینده استفاده می‌شود.

در حالت معمول، مدل بزرگ باید مرحله‌به‌مرحله توکن بعدی را تولید کند.

اما در Speculative Decoding، یک مدل کوچک‌تر ابتدا چند توکن را حدس می‌زند و پیشنهاد می‌دهد.

سپس مدل بزرگ این پیشنهادها را بررسی می‌کند.

چرا از یک مدل کوچک‌تر استفاده می‌شود؟

مدل‌های بزرگ معمولاً محاسبات زیادی برای تولید هر توکن انجام می‌دهند.

در نتیجه، اگر بتوان بخشی از توکن‌های آینده را با کمک یک مدل کوچک‌تر پیش‌بینی کرد، می‌توان تعداد دفعاتی را که مدل بزرگ باید محاسبات کامل را انجام دهد کاهش داد.

مدل کوچک در اینجا قرار نیست جای مدل اصلی را بگیرد.

وظیفه آن بیشتر شبیه یک پیشنهاددهنده سریع است.

مدل بزرگ همچنان نقش اصلی را دارد و پیشنهادهای مدل کوچک را بررسی می‌کند.

Speculative Decoding چگونه کار می‌کند؟

فرایند را می‌توان در چند مرحله ساده تصور کرد.

مرحله اول: پیشنهاد توسط مدل کوچک

مدل کوچک‌تر چند توکن احتمالی را برای ادامه متن تولید می‌کند.

برای مثال، ممکن است چند توکن پشت سر هم پیشنهاد دهد.

مرحله دوم: بررسی توسط مدل بزرگ

حالا مدل بزرگ پیشنهادهای مدل کوچک را بررسی می‌کند.

این مدل مشخص می‌کند کدام‌یک از توکن‌های پیشنهادی با توزیع احتمالی مورد انتظار آن سازگار هستند.

مرحله سوم: پذیرش توکن‌های تأییدشده

اگر پیشنهادها مناسب باشند، چند توکن می‌توانند پذیرفته شوند و فرایند تولید پاسخ سریع‌تر پیش برود.

اگر بخشی از پیشنهادها پذیرفته نشود، مدل بزرگ می‌تواند تولید را از نقطه مناسب ادامه دهد.

آیا مدل کوچک پاسخ نهایی را تولید می‌کند؟

خیر.

این یکی از مهم‌ترین نکات درباره Speculative Decoding است.

مدل کوچک فقط نقش پیشنهاددهنده دارد و مدل بزرگ همچنان مدل اصلی تولید پاسخ است.

بنابراین این روش به این معنی نیست که مدل بزرگ با یک مدل کوچک جایگزین می‌شود.

هدف این است که مدل کوچک بتواند چند توکن احتمالی را سریع‌تر پیشنهاد کند تا مدل بزرگ بتواند آن‌ها را بررسی و در صورت مناسب بودن، قبول کند.

آیا Speculative Decoding همیشه باعث افزایش سرعت می‌شود؟

لزوماً نه.

مزیت این روش به عواملی مانند سرعت مدل کوچک، میزان شباهت پیشنهادهای آن به رفتار مدل بزرگ و هزینه بررسی پیشنهادها بستگی دارد.

اگر مدل کوچک پیشنهادهای مناسبی ارائه دهد، تعداد بیشتری از توکن‌ها می‌توانند پذیرفته شوند و سرعت افزایش پیدا کند.

اما اگر پیشنهادها مرتباً رد شوند، مزیت روش کمتر خواهد شد.

بنابراین، انتخاب مدل کوچک و نحوه اجرای این فرایند اهمیت زیادی دارد.

چرا این روش مهم است؟

تولید پاسخ توسط مدل‌های زبانی می‌تواند هزینه محاسباتی زیادی داشته باشد.

روش‌هایی مانند Speculative Decoding تلاش می‌کنند بدون تغییر اساسی در مدل اصلی، فرایند Inference را کارآمدتر کنند.

این موضوع به‌خصوص برای سرویس‌هایی که تعداد زیادی درخواست را پردازش می‌کنند اهمیت دارد؛ زیرا حتی کاهش کوچک در هزینه یا زمان تولید هر توکن می‌تواند در مقیاس بزرگ قابل‌توجه باشد.

جمع‌بندی

پس پاسخ سؤال «Speculative Decoding چیست؟» این است که یک روش برای سریع‌تر کردن تولید متن توسط مدل‌های بزرگ است که در آن یک مدل کوچک‌تر ابتدا چند توکن را پیشنهاد می‌دهد و سپس مدل بزرگ آن‌ها را بررسی می‌کند.

اگر پیشنهادها مناسب باشند، چند توکن می‌توانند سریع‌تر پذیرفته شوند و مدل بزرگ مجبور نباشد هر توکن را کاملاً به‌صورت مستقل تولید کند.

نکته اصلی این است که مدل کوچک جای مدل اصلی را نمی‌گیرد؛ بلکه به مدل بزرگ کمک می‌کند سریع‌تر پاسخ تولید کند.

درباره فیلاگر | جامعه هوش مصنوعی ایران