پشت پرده هوش مصنوعی | قسمت 30: Quantization در هوش مصنوعی چیست و چگونه مدل‌ها را سبک‌تر می‌کند؟

وقتی درباره مدل‌های بزرگ هوش مصنوعی صحبت می‌کنیم، معمولاً تصور می‌کنیم اجرای آن‌ها فقط به سرورهای قدرتمند و سخت‌افزارهای گران‌قیمت نیاز دارد.

این تصور تا حد زیادی درست است؛ زیرا مدل‌های زبانی بزرگ دارای میلیاردها پارامتر هستند و برای اجرا به مقدار زیادی حافظه و توان پردازشی نیاز دارند.

اما سؤال مهم اینجاست:

اگر حافظه دستگاه محدود باشد، چطور بعضی مدل‌های هوش مصنوعی روی لپ‌تاپ، کامپیوتر شخصی یا حتی گوشی‌های هوشمند اجرا می‌شوند؟

پاسخ یکی از تکنیک‌های مهم در بهینه‌سازی مدل‌های هوش مصنوعی است:

Quantization

در این قسمت بررسی می‌کنیم که Quantization چیست و چگونه باعث می‌شود مدل‌های بزرگ با منابع سخت‌افزاری کمتر اجرا شوند.

Quantization در هوش مصنوعی چیست؟

مدل‌های هوش مصنوعی درون خود تعداد بسیار زیادی عدد دارند که همان پارامترهای مدل هستند.

این اعداد نقش مهمی در عملکرد شبکه عصبی دارند و معمولاً با دقت‌های مختلف ذخیره می‌شوند.

برای مثال، ممکن است وزن‌های یک مدل با استفاده از:

• ۳۲ بیت (FP32)
• ۱۶ بیت (FP16)
• ۸ بیت (INT8)
• ۴ بیت (INT4)

ذخیره شوند.

در روش Quantization، مدل به شکلی تغییر داده می‌شود که این اعداد با دقت پایین‌تر ذخیره شوند.

هدف این کار کاهش حجم مدل و مصرف حافظه است، بدون اینکه نیاز باشد مدل کاملاً از ابتدا ساخته شود.

چرا Quantization باعث کاهش مصرف حافظه می‌شود؟

هر پارامتر مدل برای ذخیره شدن به مقدار مشخصی حافظه نیاز دارد.

اگر تعداد پارامترها بسیار زیاد باشد، حتی یک کاهش کوچک در اندازه هر عدد می‌تواند تأثیر بزرگی روی حجم نهایی مدل داشته باشد.

برای مثال، اگر یک مدل به جای ذخیره وزن‌ها با ۱۶ بیت، آن‌ها را با ۴ بیت ذخیره کند، مقدار حافظه موردنیاز برای نگه‌داری این پارامترها به شکل قابل‌توجهی کاهش پیدا می‌کند.

به همین دلیل، Quantization می‌تواند:

 حجم مدل را کاهش دهد.
 مصرف RAM و VRAM را کمتر کند.
 اجرای مدل روی دستگاه‌های ضعیف‌تر را امکان‌پذیر کند.
 زمان بارگذاری مدل را کاهش دهد.

چرا اجرای مدل روی لپ‌تاپ و گوشی اهمیت دارد؟

بسیاری از مدل‌های قدرتمند هوش مصنوعی در حالت اصلی خود به زیرساخت‌های بزرگ ابری نیاز دارند.

اما با استفاده از تکنیک‌هایی مانند Quantization، نسخه‌های سبک‌تر این مدل‌ها می‌توانند روی دستگاه‌های شخصی نیز اجرا شوند.

این موضوع باعث می‌شود کاربران بتوانند بدون اتصال دائمی به سرورهای قدرتمند، از مدل‌های هوش مصنوعی روی دستگاه خود استفاده کنند.

برای مثال، اجرای مدل‌های کوچک‌تر و بهینه‌شده روی لپ‌تاپ یا گوشی می‌تواند برای کاربردهایی مانند:

• دستیارهای شخصی
• پردازش متن
• خلاصه‌سازی
• تولید محتوا
• برنامه‌نویسی

مفید باشد.

آیا کاهش حجم مدل باعث کاهش کیفیت پاسخ می‌شود؟

Quantization یک مزیت بزرگ دارد، اما بدون هزینه نیست.

وقتی دقت ذخیره‌سازی اعداد کاهش پیدا می‌کند، ممکن است برخی جزئیات در محاسبات مدل از بین بروند.

در نتیجه، اگر کاهش دقت بیش از حد باشد، ممکن است کیفیت پاسخ‌های مدل کمی کاهش پیدا کند.

به همین دلیل، انتخاب سطح مناسب Quantization اهمیت زیادی دارد.

برای مثال، یک مدل ۸ بیتی معمولاً تعادل خوبی بین کاهش حجم و حفظ کیفیت ایجاد می‌کند؛ در حالی که مدل‌های ۴ بیتی ممکن است کاهش حافظه بیشتری ایجاد کنند اما در برخی کاربردها افت کیفیت بیشتری داشته باشند.

آیا Quantization مدل را تغییر می‌دهد؟

یکی از برداشت‌های اشتباه این است که Quantization باعث تغییر هوش یا دانش مدل می‌شود.

اما هدف اصلی آن تغییر توانایی مدل نیست.

Quantization بیشتر یک روش فشرده‌سازی و بهینه‌سازی است که تلاش می‌کند همان مدل را با مصرف حافظه کمتر و سرعت اجرای بهتر ارائه کند.

به زبان ساده:

مدل همان مدل است، اما با نمایش فشرده‌تر پارامترها.

جمع‌بندی

پاسخ سؤال «چطور مدل‌های بزرگ هوش مصنوعی روی لپ‌تاپ و گوشی اجرا می‌شوند؟» استفاده از تکنیک‌هایی مانند Quantization است.

در این روش، وزن‌ها و پارامترهای مدل با دقت پایین‌تری ذخیره می‌شوند تا حجم مدل و مصرف حافظه کاهش پیدا کند.

نتیجه این کار، امکان اجرای مدل‌های هوش مصنوعی روی سخت‌افزارهای محدودتر است؛ البته با این نکته که کاهش بیش از حد دقت می‌تواند روی کیفیت پاسخ‌ها تأثیر بگذارد.

Quantization یکی از تکنیک‌های مهمی است که مسیر حرکت هوش مصنوعی از سرورهای بزرگ به سمت دستگاه‌های شخصی را امکان‌پذیر کرده است.