پشت پرده هوش مصنوعی | قسمت 27: اطلاعات قبلی مدل هوش مصنوعی کجا نگه داشته می‌شوند؟

وقتی یک مدل زبانی مانند ChatGPT شروع به تولید پاسخ می‌کند، متن را به‌صورت توکن‌به‌توکن می‌سازد. یعنی مدل ابتدا یک توکن را تولید می‌کند، سپس بر اساس اطلاعات موجود، توکن بعدی را پیش‌بینی می‌کند و این فرایند تا کامل شدن پاسخ ادامه پیدا می‌کند.

اما برای اینکه مدل بتواند پاسخ منسجمی تولید کند، فقط دانستن توکن فعلی کافی نیست.

مدل باید بتواند از اطلاعاتی که در مراحل قبلی پردازش کرده، در مراحل بعدی نیز استفاده کند.

برای مثال، اگر مدل در ابتدای یک پاسخ درباره یک موضوع خاص صحبت کرده باشد، هنگام ادامه دادن همان پاسخ باید بتواند ارتباط خود را با اطلاعات قبلی حفظ کند. هرچه پاسخ طولانی‌تر شود، مقدار اطلاعاتی که در طول فرایند تولید باید مدیریت شود نیز بیشتر خواهد شد.

اما سؤال مهم اینجاست:

اطلاعات قبلی مدل هوش مصنوعی هنگام تولید پاسخ کجا نگه داشته می‌شوند و مدل چگونه از آن‌ها استفاده می‌کند؟

در این قسمت می‌خواهیم با یکی از چالش‌های مهم در اجرای مدل‌های زبانی آشنا شویم؛ یعنی نحوه مدیریت اطلاعاتی که در مراحل قبلی پردازش شده‌اند.

چرا مدل به اطلاعات قبلی نیاز دارد؟

مدل‌های زبانی پاسخ را به‌صورت مرحله‌به‌مرحله تولید می‌کنند.

هر بار که یک توکن جدید تولید می‌شود، مدل باید بتواند آن را در ارتباط با اطلاعات قبلی پردازش کند.

اگر مدل فقط توکن فعلی را در نظر بگیرد، نمی‌تواند یک پاسخ منسجم و مرتبط تولید کند.

به همین دلیل، اطلاعاتی که در مراحل قبلی پردازش شده‌اند، برای تولید توکن‌های بعدی اهمیت دارند.

هرچه پاسخ طولانی‌تر شود، تعداد توکن‌های قبلی نیز افزایش پیدا می‌کند و مدل باید اطلاعات بیشتری را در طول فرایند تولید پاسخ مدیریت کند.

با طولانی‌تر شدن پاسخ چه اتفاقی می‌افتد؟

فرض کنید یک مدل در حال تولید یک پاسخ کوتاه است.

در این حالت، تعداد توکن‌هایی که باید در فرایند تولید پاسخ مدیریت شوند، نسبتاً کم است.

اما اگر مدل بخواهد یک پاسخ بسیار طولانی تولید کند، شرایط متفاوت خواهد بود.

با اضافه شدن هر توکن جدید، اطلاعات بیشتری در فرایند تولید پاسخ وجود خواهد داشت که مدل باید بتواند آن‌ها را در مراحل بعدی در نظر بگیرد.

به همین دلیل، با طولانی‌تر شدن پاسخ:

اطلاعات بیشتری باید در حافظه نگه‌داری شود.

محاسبات بیشتری درگیر می‌شود.

منابع سخت‌افزاری بیشتری موردنیاز است.

این موضوع یکی از چالش‌های مهم در اجرای مدل‌های زبانی بزرگ به شمار می‌رود.

چرا محاسبه دوباره اطلاعات قبلی مشکل‌ساز است؟

مدل باید از اطلاعاتی که قبلاً پردازش کرده، برای تولید توکن‌های بعدی استفاده کند.

اما اگر قرار باشد برای تولید هر توکن جدید، تمام اطلاعات قبلی دوباره از ابتدا پردازش و محاسبه شوند، حجم محاسبات می‌تواند به‌شدت افزایش پیدا کند.

برای پاسخ‌های کوتاه، این مسئله شاید چندان محسوس نباشد.

اما در مدل‌هایی که با ورودی‌های طولانی یا پاسخ‌های بسیار بزرگ سروکار دارند، انجام محاسبات تکراری می‌تواند باعث مصرف منابع بیشتر و کاهش سرعت تولید پاسخ شود.

به زبان ساده، مدل نباید کاری را که قبلاً انجام داده، بدون دلیل دوباره از ابتدا تکرار کند.

بنابراین یکی از چالش‌های اصلی این است که مدل بتواند اطلاعات موردنیاز از مراحل قبلی را به‌شکل کارآمد نگه‌داری و در مراحل بعدی دوباره استفاده کند.

اطلاعات قبلی مدل هوش مصنوعی کجا نگه داشته می‌شوند؟

اینجا باید به یک نکته مهم توجه کنیم.

اطلاعاتی که مدل در طول فرایند تولید پاسخ پردازش می‌کند، با پارامترهای مدل یا حافظه دائمی یکسان نیستند.

مدل برای تولید پاسخ، به نتایج محاسباتی مربوط به اطلاعات قبلی نیز نیاز دارد و مدیریت این اطلاعات بخشی از فرایند اجرای مدل است.

اما سؤال این است که چگونه می‌توان این اطلاعات را به شکلی نگه داشت که مدل مجبور نباشد برای تولید هر توکن جدید، همه محاسبات قبلی را دوباره انجام دهد؟

این دقیقاً همان چالشی است که در اجرای کارآمد مدل‌های زبانی اهمیت زیادی پیدا می‌کند.

چرا مدیریت اطلاعات قبلی اهمیت دارد؟

هرچه مدل‌های هوش مصنوعی قدرتمندتر و پنجره‌های زمینه آن‌ها بزرگ‌تر شوند، مدیریت اطلاعات قبلی اهمیت بیشتری پیدا می‌کند.

مدل باید بتواند بین اطلاعات مختلف ارتباط برقرار کند و در عین حال، فرایند تولید پاسخ را با سرعت مناسب انجام دهد.

اگر مدیریت این اطلاعات به‌درستی انجام نشود، ممکن است اجرای مدل به منابع محاسباتی بیشتری نیاز داشته باشد و سرعت پاسخ‌گویی کاهش پیدا کند.

بنابراین، یکی از مسائل مهم در طراحی و اجرای مدل‌های زبانی این است که چگونه می‌توان نتایج محاسبات قبلی را به‌صورت مؤثر نگه‌داری و دوباره استفاده کرد.

یک تکنیک مهم برای حل این چالش

برای کاهش محاسبات تکراری و استفاده مجدد از نتایج پردازش‌های قبلی، تکنیک‌های مختلفی در سیستم‌های اجرای مدل‌های زبانی مورد استفاده قرار می‌گیرند.

یکی از مهم‌ترین این تکنیک‌ها KV Cache نام دارد.

KV Cache به مدل کمک می‌کند تا از برخی اطلاعات و نتایج محاسبه‌شده قبلی در مراحل بعدی استفاده کند و به این ترتیب، از انجام دوباره بخشی از محاسبات جلوگیری شود.

اما اینکه KV Cache دقیقاً چیست و چگونه کار می‌کند، موضوع قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» خواهد بود.

جمع‌بندی

پاسخ به سؤال «اطلاعات قبلی مدل هوش مصنوعی کجا نگه داشته می‌شوند؟» به فرایند اجرای مدل و نحوه مدیریت اطلاعات در زمان تولید پاسخ مربوط می‌شود.

مدل‌های زبانی برای تولید هر توکن جدید به اطلاعاتی که در مراحل قبلی پردازش شده‌اند نیاز دارند. هرچه پاسخ طولانی‌تر شود، حجم اطلاعات و محاسبات موردنیاز نیز افزایش پیدا می‌کند.

اگر مدل مجبور باشد برای تولید هر توکن جدید، تمام اطلاعات قبلی را دوباره از ابتدا محاسبه کند، سرعت تولید پاسخ کاهش پیدا کرده و منابع بیشتری مصرف خواهد شد.

به همین دلیل، استفاده کارآمد از نتایج محاسبات قبلی یکی از چالش‌های مهم در اجرای مدل‌های زبانی است.

در قسمت بعدی، در مورد KV Cache صحبت می کنیم و بررسی می‌کنیم که این تکنیک چگونه به مدل کمک می‌کند از اطلاعات محاسبه‌شده قبلی دوباره استفاده کند.