پشت پرده هوش مصنوعی | قسمت 28: KV Cache چیست و چرا مدل‌های زبانی را سریع‌تر می‌کند؟

وقتی یک مدل زبانی مانند ChatGPT در حال تولید پاسخ است، متن را یک‌جا آماده نمی‌کند؛ بلکه پاسخ را توکن‌به‌توکن می‌سازد.

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که مدل برای تولید هر توکن جدید، به اطلاعاتی که در مراحل قبلی پردازش کرده نیاز دارد. اما اگر مدل مجبور باشد این اطلاعات را در هر مرحله دوباره از ابتدا محاسبه کند، تولید پاسخ‌های طولانی می‌تواند بسیار کند و پرهزینه شود.

اینجاست که مفهومی به نام KV Cache یا Key-Value Cache وارد می‌شود.

در این قسمت می‌خواهیم ببینیم KV Cache چیست و چگونه به مدل‌های زبانی کمک می‌کند پاسخ‌ها را سریع‌تر و کارآمدتر تولید کنند.

KV Cache چیست؟

KV Cache یکی از تکنیک‌های مهم مورد استفاده در مدل‌های زبانی مبتنی بر معماری Transformer است.

ایده اصلی آن نسبتاً ساده است:

مدل بخشی از نتایج محاسباتی مربوط به توکن‌های قبلی را در حافظه نگه می‌دارد تا هنگام تولید توکن‌های بعدی بتواند دوباره از همان اطلاعات استفاده کند.

به این ترتیب، مدل لازم نیست تمام محاسبات مربوط به توکن‌های قبلی را برای هر توکن جدید از ابتدا انجام دهد.

برای درک بهتر، تصور کنید یک مدل در حال تولید یک پاسخ طولانی است. با تولید هر توکن، اطلاعات بیشتری به متن اضافه می‌شود. اگر مدل برای تولید هر توکن جدید مجبور باشد تمام اطلاعات قبلی را دوباره پردازش کند، حجم محاسبات به‌مرور افزایش پیدا می‌کند.

KV Cache کمک می‌کند بخشی از این اطلاعات محاسبه‌شده حفظ شود و در مراحل بعدی مورد استفاده قرار گیرد.

چرا مدل‌های زبانی به KV Cache نیاز دارند؟

مدل‌های زبانی برای تولید پاسخ باید ارتباط بین توکن‌های مختلف را در نظر بگیرند.

اگر پاسخ کوتاه باشد، حجم اطلاعاتی که باید پردازش شود نیز کمتر است. اما وقتی پاسخ طولانی‌تر می‌شود، تعداد توکن‌های قبلی افزایش پیدا می‌کند و مدیریت این اطلاعات اهمیت بیشتری پیدا می‌کند.

بدون استفاده کارآمد از Cache، بخشی از محاسبات ممکن است به‌صورت تکراری انجام شود.

این موضوع می‌تواند باعث شود:

محاسبات بیشتری موردنیاز باشد.

منابع بیشتری مصرف شود.

سرعت تولید پاسخ کاهش پیدا کند.

تأخیر در نمایش پاسخ افزایش یابد.

بنابراین، یکی از اهداف استفاده از KV Cache این است که مدل بتواند از نتایج محاسبات قبلی دوباره استفاده کند و از انجام محاسبات تکراری غیرضروری جلوگیری شود.

KV Cache چگونه سرعت تولید پاسخ را افزایش می‌دهد؟

فرض کنید مدل در حال تولید یک پاسخ چندصد توکنی است.

مدل ابتدا توکن‌های ورودی را پردازش می‌کند و سپس شروع به تولید خروجی می‌کند. با تولید هر توکن جدید، اطلاعات مربوط به توکن‌های قبلی همچنان برای ادامه فرایند اهمیت دارند.

KV Cache بخشی از نتایج محاسبات مربوط به این اطلاعات را نگه می‌دارد.

در نتیجه، هنگام تولید توکن‌های بعدی، مدل می‌تواند از اطلاعاتی که قبلاً محاسبه شده‌اند استفاده کند و نیازی نباشد تمام مراحل را دوباره از ابتدا انجام دهد.

به زبان ساده:

بدون KV Cache:
محاسبات تکراری بیشتر → مصرف منابع بیشتر → تولید پاسخ کندتر

با KV Cache:
استفاده مجدد از محاسبات قبلی → محاسبات تکراری کمتر → تولید پاسخ کارآمدتر

به همین دلیل، KV Cache می‌تواند نقش مهمی در افزایش سرعت تولید پاسخ و کاهش Latency یا تأخیر داشته باشد.

آیا KV Cache مدل را باهوش‌تر می‌کند؟

خیر.

KV Cache هیچ دانش جدیدی به مدل اضافه نمی‌کند و باعث افزایش توانایی استدلال یا هوش مدل نمی‌شود.

این تکنیک بیشتر به نحوه اجرای مدل مربوط است.

مدل همچنان همان پارامترها و همان توانایی‌هایی را دارد که در زمان آموزش به دست آورده است. KV Cache فقط کمک می‌کند مدل هنگام تولید پاسخ، از اطلاعات محاسبه‌شده قبلی به شکل کارآمدتری استفاده کند.

بنابراین می‌توان گفت:

KV Cache مدل را باهوش‌تر نمی‌کند؛ بلکه کمک می‌کند مدل سریع‌تر و کارآمدتر پاسخ تولید کند.

آیا KV Cache همان حافظه مدل است؟

خیر.

KV Cache را نباید با حافظه دائمی مدل یا پارامترهای آن اشتباه گرفت.

پارامترهای مدل در فرایند آموزش شکل می‌گیرند و بخش مهمی از توانایی مدل را تشکیل می‌دهند. در مقابل، KV Cache مربوط به فرایند اجرای مدل و تولید پاسخ است.

به بیان ساده، KV Cache یک فضای موقتی برای نگه‌داری نتایج محاسباتی موردنیاز در جریان پردازش است.

جمع‌بندی

پس پاسخ سؤال «KV Cache چیست؟» این است:

KV Cache یا Key-Value Cache تکنیکی است که به مدل‌های زبانی کمک می‌کند نتایج برخی محاسبات قبلی را نگه‌داری و در مراحل بعدی دوباره استفاده کنند.

این کار باعث می‌شود مدل برای تولید هر توکن جدید مجبور نباشد تمام محاسبات مربوط به اطلاعات قبلی را از ابتدا انجام دهد.

در نتیجه، استفاده از KV Cache می‌تواند باعث کاهش محاسبات تکراری، افزایش سرعت تولید پاسخ و کاهش تأخیر شود.

البته KV Cache باعث باهوش‌تر شدن مدل نمی‌شود؛ بلکه فقط اجرای مدل را کارآمدتر می‌کند.