پشت پرده هوش مصنوعی | قسمت 33: معماری Mixture of Experts چیست؟

در مدل‌های زبانی بزرگ، تعداد پارامترها می‌تواند بسیار زیاد باشد. اما آیا برای پاسخ دادن به هر سؤال، واقعاً لازم است تمام این پارامترها و بخش‌های مدل فعال باشند؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» درباره Knowledge Distillation یا تقطیر دانش صحبت کردیم؛ روشی که در آن یک مدل کوچک‌تر می‌تواند از یک مدل بزرگ‌تر یاد بگیرد.

اما یک سؤال دیگر باقی می‌ماند:

آیا برای پردازش هر ورودی، تمام بخش‌های یک مدل بزرگ باید فعال باشند؟

در برخی معماری‌های مدرن، پاسخ این سؤال خیر است.

یکی از مهم‌ترین ایده‌هایی که برای حل این مسئله استفاده می‌شود، Mixture of Experts (MoE) یا ترکیب متخصص‌ها است.

Mixture of Experts یا MoE چیست؟

Mixture of Experts یک معماری برای ساخت مدل‌های هوش مصنوعی است که در آن مدل به چند بخش تخصصی‌تر به نام Expert تقسیم می‌شود.

هر Expert را می‌توان مانند یک بخش تخصصی از مدل در نظر گرفت که برای پردازش برخی ورودی‌ها مناسب‌تر است.

اما نکته مهم اینجاست:

مدل مجبور نیست برای هر ورودی تمام Expertها را فعال کند.

در عوض، یک بخش دیگر از معماری به نام Router تصمیم می‌گیرد که برای پردازش ورودی فعلی، کدام Expertها مناسب‌تر هستند.

به این ترتیب، فقط بخشی از ظرفیت مدل در هر مرحله مورد استفاده قرار می‌گیرد.

Router در معماری MoE چه کاری انجام می‌دهد؟

برای درک بهتر معماری Mixture of Experts، باید با مفهوم Router آشنا شویم.

وقتی یک توکن وارد مدل می‌شود، Router بررسی می‌کند که کدام Expertها برای پردازش آن مناسب‌تر هستند. سپس توکن به یک یا چند Expert انتخاب‌شده ارسال می‌شود. بنابراین Router نقش مهمی در تعیین مسیر پردازش هر ورودی دارد.

چرا همه Expertها هم‌زمان فعال نمی‌شوند؟

فرض کنید یک مدل MoE دارای تعداد بسیار زیادی پارامتر باشد.

اگر تمام این پارامترها برای پردازش تک‌تک توکن‌ها فعال شوند، هزینه محاسباتی بسیار زیادی ایجاد خواهد شد.

اما در معماری MoE، می‌توان فقط بخشی از Expertها را برای هر ورودی فعال کرد.

در نتیجه، مدل می‌تواند ظرفیت پارامتری بسیار بزرگی داشته باشد، در حالی که محاسبات مربوط به هر توکن فقط روی بخشی از این ظرفیت انجام می‌شود.

البته این موضوع به این معنی نیست که اجرای مدل MoE ساده یا کم‌هزینه است؛ مدیریت Expertها، حافظه و ارتباط بین بخش‌های مختلف همچنان می‌تواند چالش‌برانگیز باشد.

آیا Expertها واقعاً متخصص یک موضوع خاص هستند؟

نه لزوماً.

واژه Expert ممکن است این تصور را ایجاد کند که یک Expert دقیقاً برای ریاضیات، دیگری برای زبان و دیگری برای برنامه‌نویسی ساخته شده است.

اما در عمل، تخصص Expertها لزوماً به این شکل و با مرزبندی مشخص تعریف نمی‌شود.

در بسیاری از معماری‌های MoE، این تخصص‌ها در طول فرآیند آموزش به‌صورت خودکار شکل می‌گیرند و ممکن است هر Expert الگوهای خاصی از داده‌ها یا ورودی‌ها را بهتر پردازش کند.

بنابراین بهتر است Expert را به‌عنوان یک بخش تخصص‌یافته از شبکه عصبی در نظر بگیریم، نه یک متخصص انسانی با وظیفه مشخص.

تفاوت مدل متراکم و MoE چیست؟

در یک مدل متراکم یا Dense، تقریباً تمام بخش‌های اصلی مدل برای پردازش هر ورودی فعال هستند.

اما در Mixture of Experts، فقط بخشی از Expertها برای هر ورودی انتخاب و فعال می‌شوند.

این تفاوت می‌تواند به مدل اجازه دهد ظرفیت بسیار بالایی داشته باشد، بدون اینکه هزینه محاسباتی هر توکن دقیقاً برابر با اجرای تمام پارامترهای مدل باشد.

آیا تعداد پارامتر بیشتر یعنی مدل MoE همیشه قوی‌تر است؟

خیر.

یکی از نکات مهم درباره MoE این است که تعداد کل پارامترهای مدل با تعداد پارامترهای فعال در هر مرحله یکسان نیست.

ممکن است یک مدل پارامترهای بسیار زیادی داشته باشد، اما برای پردازش هر توکن فقط بخشی از آن‌ها فعال شوند.

بنابراین هنگام مقایسه مدل‌های MoE نباید فقط به تعداد کل پارامترها نگاه کرد.

معماری، تعداد پارامترهای فعال، کیفیت داده‌های آموزشی، روش آموزش و نحوه انتخاب Expertها همگی می‌توانند روی عملکرد نهایی تأثیر بگذارند.

چرا معماری MoE مهم است؟

یکی از جذابیت‌های Mixture of Experts در هوش مصنوعی این است که می‌تواند بین ظرفیت مدل و هزینه محاسباتی تعادل ایجاد کند.

مدل می‌تواند ظرفیت زیادی داشته باشد، اما برای هر ورودی فقط بخشی از آن ظرفیت را به کار بگیرد.

البته پیاده‌سازی MoE چالش‌های خودش را دارد؛ از جمله مدیریت حافظه، توزیع Expertها و برقراری ارتباط میان بخش‌های مختلف مدل.

بنابراین MoE یک راه‌حل جادویی برای کاهش تمام هزینه‌های اجرای مدل نیست، بلکه یک معماری متفاوت برای استفاده کارآمدتر از ظرفیت مدل است.

جمع‌بندی

پس پاسخ سؤال «معماری Mixture of Experts چیست؟» این است:

MoE معماری‌ای است که یک مدل را به چند Expert تقسیم می‌کند و با کمک Router، برای هر ورودی فقط بخشی از Expertها را برای پردازش انتخاب می‌کند.

به همین دلیل، یک مدل MoE می‌تواند تعداد بسیار زیادی پارامتر داشته باشد، اما در هر مرحله فقط بخشی از آن‌ها را فعال کند.

این ایده یکی از روش‌های مهم برای ساخت مدل‌های بزرگ‌تر و با ظرفیت بالاتر است؛ بدون اینکه در هر مرحله مجبور باشیم تمام بخش‌های مدل را فعال کنیم.