پشت پرده هوش مصنوعی | قسمت 32: Knowledge Distillation چیست؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» دیدیم که Quantization می‌تواند با کاهش دقت نمایش اعداد، حجم مدل و مصرف حافظه را کاهش دهد.

اما یک سؤال مهم باقی می‌ماند:

آیا می‌توان یک مدل هوش مصنوعی را کوچک‌تر کرد، بدون اینکه بخش زیادی از توانایی‌های آن از بین برود؟

یکی از روش‌های مهم برای رسیدن به این هدف، Knowledge Distillation یا تقطیر دانش است.

در این روش، به‌جای اینکه فقط تلاش کنیم یک مدل بزرگ را فشرده کنیم، از یک مدل بزرگ و قدرتمند برای آموزش یک مدل کوچک‌تر استفاده می‌شود.

در این قسمت می‌خواهیم ببینیم Knowledge Distillation چیست و یک مدل کوچک چگونه می‌تواند از مدل بزرگ‌تر یاد بگیرد.

Knowledge Distillation در هوش مصنوعی چیست؟

Knowledge Distillation یا تقطیر دانش روشی برای انتقال بخشی از توانایی‌های یک مدل بزرگ به یک مدل کوچک‌تر است.

در این روش معمولاً دو مدل داریم:

🔹 Teacher: مدل بزرگ‌تر و قدرتمندتر
🔹 Student: مدل کوچک‌تر و سبک‌تر

مدل Teacher ابتدا آموزش دیده و توانایی انجام وظیفه موردنظر را دارد.

سپس مدل Student با استفاده از خروجی‌ها و رفتار مدل Teacher آموزش داده می‌شود تا بتواند عملکردی مشابه آن داشته باشد.

هدف این نیست که تمام ساختار مدل بزرگ کپی شود؛ بلکه Student تلاش می‌کند الگوهای رفتاری و اطلاعات مفیدی را که Teacher ارائه می‌دهد یاد بگیرد.

چرا Student فقط جواب نهایی را یاد نمی‌گیرد؟

فرض کنید یک مدل بزرگ برای یک ورودی، سه گزینه احتمالی داشته باشد:

🔹 گزینه A → ۷۰٪
🔹 گزینه B → ۲۰٪
🔹 گزینه C → ۱۰٪

اگر فقط جواب نهایی را در اختیار مدل کوچک قرار دهیم، Student صرفاً می‌فهمد که گزینه A پاسخ اصلی بوده است.

اما توزیع احتمال اطلاعات بیشتری در اختیار مدل کوچک قرار می‌دهد.

Student می‌تواند متوجه شود که گزینه B هم تا حدی با پاسخ موردنظر ارتباط داشته، در حالی که گزینه C احتمال بسیار کمتری داشته است.

این اطلاعات اضافی می‌توانند به Student کمک کنند تا روابط و الگوهای موجود در رفتار مدل Teacher را بهتر یاد بگیرد.

Teacher و Student چه نقشی دارند؟

نقش این دو مدل را می‌توان خیلی ساده این‌طور توضیح داد:

Teacher

مدل بزرگ‌تر و قدرتمندتری است که معمولاً عملکرد بالاتری دارد و دانش موردنیاز برای آموزش را در اختیار Student قرار می‌دهد.

Student

مدل کوچک‌تر و کم‌هزینه‌تری است که تلاش می‌کند رفتار Teacher را یاد بگیرد.

در پایان، هدف این است که Student بتواند بخش مهمی از توانایی Teacher را با پارامترهای کمتر و منابع محاسباتی پایین‌تر ارائه کند.

چرا Knowledge Distillation مهم است؟

مدل‌های بزرگ هوش مصنوعی معمولاً به منابع محاسباتی و حافظه زیادی نیاز دارند.

در مقابل، مدل‌های کوچک‌تر می‌توانند سریع‌تر و با هزینه کمتری اجرا شوند.

Knowledge Distillation می‌تواند به ساخت مدل‌هایی کمک کند که:

🔹 حجم کمتری داشته باشند.
🔹 به حافظه کمتری نیاز داشته باشند.
🔹 سریع‌تر اجرا شوند.
🔹 برای استفاده روی سخت‌افزارهای محدود مناسب‌تر باشند.

به همین دلیل، تقطیر دانش یکی از روش‌های مهم برای بهینه‌سازی و کوچک‌سازی مدل‌های هوش مصنوعی محسوب می‌شود.

آیا Student دقیقاً مثل Teacher می‌شود؟

خیر.

هدف Knowledge Distillation این نیست که مدل کوچک کاملاً با مدل بزرگ یکسان شود.

مدل Student همچنان معماری، تعداد پارامترها و ظرفیت متفاوتی دارد و ممکن است در بعضی وظایف عملکرد ضعیف‌تری نسبت به Teacher داشته باشد.

اما اگر فرآیند تقطیر به‌درستی انجام شود، Student می‌تواند در برخی کاربردها عملکردی نزدیک به مدل بزرگ‌تر ارائه دهد؛ در حالی که اجرای آن به منابع کمتری نیاز دارد.

تفاوت Quantization و Knowledge Distillation چیست؟

این دو روش هدف مشابهی دارند، اما روش انجام آن‌ها متفاوت است.

در Quantization، معمولاً همان مدل با دقت عددی پایین‌تری نمایش داده می‌شود تا حجم و مصرف حافظه کاهش پیدا کند.

اما در Knowledge Distillation، یک مدل جدید و کوچک‌تر آموزش داده می‌شود تا از رفتار و خروجی‌های مدل بزرگ‌تر یاد بگیرد.

بنابراین:

Quantization → فشرده‌سازی نمایش پارامترها

Knowledge Distillation → انتقال دانش از Teacher به Student

این دو روش حتی می‌توانند در کنار یکدیگر استفاده شوند.

جمع‌بندی

پاسخ سؤال «چطور یک مدل کوچک از یک مدل بزرگ یاد می‌گیرد؟» استفاده از روش Knowledge Distillation یا تقطیر دانش است.

در این روش، یک مدل بزرگ به‌عنوان Teacher و یک مدل کوچک‌تر به‌عنوان Student در نظر گرفته می‌شود.

Student با استفاده از خروجی‌ها و الگوهای رفتاری Teacher آموزش می‌بیند تا بتواند بخشی از توانایی‌های مدل بزرگ را با تعداد پارامتر کمتر و هزینه محاسباتی پایین‌تر ارائه کند.

به زبان ساده، مدل کوچک قرار نیست مدل بزرگ را کپی کند؛ قرار است از رفتار آن یاد بگیرد.