ظرفیت Expert در مدل MoE چیست؟

در قسمت‌های قبل از مجموعه «پشت پرده هوش مصنوعی» با معماری Mixture of Experts (MoE) و نحوه انتخاب Expertها توسط Router آشنا شدیم.

دیدیم که Router برای هر توکن تصمیم می‌گیرد کدام Expertها برای پردازش آن مناسب‌تر هستند. همچنین در قسمت قبل بررسی کردیم که اگر بعضی Expertها بیش از حد انتخاب شوند، ممکن است Load Imbalance یا عدم تعادل بار ایجاد شود.

اما حتی اگر مدل تلاش کند بار را بین Expertها متعادل کند، یک مشکل دیگر همچنان ممکن است رخ دهد:

اگر یک Expert بیشتر از ظرفیتش توکن دریافت کند، چه اتفاقی می‌افتد؟

در این قسمت می‌خواهیم ببینیم ظرفیت Expert در مدل MoE چیست و مدل با توکن‌های اضافه چه می‌کند.

ظرفیت Expert در مدل MoE چیست؟

در معماری MoE، هر Expert ظرفیت مشخصی برای پردازش توکن‌ها دارد.

به زبان ساده، نمی‌توان تعداد نامحدودی توکن را در یک مرحله به یک Expert ارسال کرد.

برای همین، در زمان اجرای مدل یک Capacity برای Expertها در نظر گرفته می‌شود.

این ظرفیت مشخص می‌کند که هر Expert در یک مرحله پردازش، حداکثر چه تعداد توکن را می‌تواند دریافت و پردازش کند.

این موضوع اهمیت زیادی دارد؛ چون Router ممکن است در بعضی شرایط تعداد بیشتری توکن را به یک Expert خاص هدایت کند.

اگر ظرفیت Expert پر شود چه اتفاقی می‌افتد؟

فرض کنید یک Expert ظرفیت پردازش ۱۰۰ توکن را داشته باشد، اما Router در یک مرحله ۱۲۰ توکن را به آن Expert ارسال کند.

در این شرایط، Expert نمی‌تواند هر ۱۲۰ توکن را به شکل عادی پردازش کند.

مدل باید برای توکن‌های اضافه تصمیم بگیرد.

یکی از راهکارها این است که بعضی از این توکن‌ها به Expert دیگری هدایت شوند.

در برخی معماری‌ها نیز ممکن است بخشی از توکن‌هایی که از ظرفیت Expert عبور کرده‌اند، کنار گذاشته شوند.

این روش به Token Dropping یا حذف توکن معروف است.

Token Dropping در مدل MoE چیست؟

Token Dropping به شرایطی گفته می‌شود که بعضی توکن‌ها به دلیل پر شدن ظرفیت Expert، در آن مرحله پردازش نمی‌شوند.

این موضوع به این معنی نیست که مدل به‌طور کلی توکن را از متن ورودی حذف کرده است.

بلکه در مسیر پردازش یک لایه یا مرحله مشخص، ممکن است توکن نتواند وارد Expert موردنظر شود و از آن مسیر کنار گذاشته شود.

هدف اصلی این کار، کنترل هزینه محاسبات و جلوگیری از ایجاد یک گلوگاه در پردازش مدل است.

چرا ظرفیت Expert اهمیت دارد؟

ممکن است تصور کنیم اگر یک Expert قدرتمند باشد، می‌تواند هر تعداد توکن را پردازش کند.

اما در یک مدل بزرگ، تعداد توکن‌هایی که باید به‌صورت هم‌زمان پردازش شوند می‌تواند بسیار زیاد باشد.

اگر تعداد زیادی توکن به یک Expert ارسال شوند، این Expert به یک نقطه پرترافیک در مسیر پردازش تبدیل می‌شود.

در نتیجه ممکن است:

🔹 پردازش آن Expert سنگین‌تر شود.

🔹 زمان اجرای مدل افزایش پیدا کند.

🔹 توزیع بار بین Expertها نامتعادل شود.

🔹 بخشی از توکن‌ها نیاز به مسیر دیگری پیدا کنند.

به همین دلیل، Capacity یکی از مفاهیم مهم در مدیریت مدل‌های MoE است.

آیا همیشه توکن‌های اضافه حذف می‌شوند؟

خیر.

بسته به معماری و نحوه طراحی مدل، روش مدیریت توکن‌های اضافه می‌تواند متفاوت باشد.

در بعضی روش‌ها ممکن است توکن به Expert دیگری هدایت شود و در برخی معماری‌ها ممکن است بخشی از توکن‌ها به دلیل پر شدن ظرفیت پردازش نشوند.

بنابراین، Token Dropping تنها یکی از روش‌های ممکن برای مدیریت این وضعیت است.

ارتباط Capacity با سرعت مدل

یکی از دلایل استفاده از ظرفیت برای Expertها، کنترل هزینه محاسباتی است.

اگر یک Expert بتواند بدون محدودیت تعداد زیادی توکن دریافت کند، ممکن است بار پردازشی آن به‌شدت افزایش پیدا کند.

با تعیین ظرفیت مشخص، مدل می‌تواند میزان پردازشی را که هر Expert در یک مرحله انجام می‌دهد، کنترل کند.

به این ترتیب، معماری MoE می‌تواند بهتر از منابع محاسباتی موجود استفاده کند.

آیا ظرفیت Expert فقط روی سرعت تأثیر دارد؟

نه لزوماً.

مدیریت ظرفیت می‌تواند با نحوه پردازش توکن‌ها و در نتیجه عملکرد مدل نیز ارتباط داشته باشد.

اگر توکن‌های زیادی به یک Expert ارسال شوند و ظرفیت آن پر شود، تصمیم مدل درباره نحوه مدیریت این توکن‌ها می‌تواند روی مسیر پردازش آن‌ها تأثیر بگذارد.

به همین دلیل، طراحی مناسب ظرفیت Expertها باید بین کارایی محاسباتی و حفظ کیفیت پردازش تعادل ایجاد کند.

جمع‌بندی

پاسخ سؤال «اگر یک Expert بیشتر از ظرفیتش توکن دریافت کند چه اتفاقی می‌افتد؟» این است که هر Expert در مدل MoE معمولاً ظرفیت مشخصی برای پردازش توکن‌ها دارد.

اگر تعداد توکن‌های ارسال‌شده از این ظرفیت بیشتر شود، مدل باید توکن‌های اضافه را مدیریت کند.

بسته به معماری، بعضی توکن‌ها ممکن است به Expert دیگری هدایت شوند یا بخشی از آن‌ها با روشی مانند Token Dropping کنار گذاشته شوند.

بنابراین، در معماری Mixture of Experts فقط انتخاب Expert مناسب اهمیت ندارد؛ مدیریت ظرفیت Expertها نیز برای کنترل هزینه محاسبات و عملکرد مدل اهمیت زیادی دارد.

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.