پشت پرده هوش مصنوعی | قسمت ۴۰: ترکیب خروجی Expert در مدل MoE چگونه است؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» دیدیم که در معماری Mixture of Experts یا MoE، Router می‌تواند برای هر توکن چند Expert برتر را انتخاب کند.

اما وقتی چند Expert برای یک توکن انتخاب می‌شوند، یک سؤال مهم مطرح می‌شود:

خروجی این Expertها در نهایت چه می‌شود؟

اگر مثلاً دو Expert برای پردازش یک توکن انتخاب شوند، مدل نمی‌تواند هر دو خروجی را بدون هیچ ترتیبی در ادامه مسیر قرار دهد. بنابراین باید مشخص شود که هر Expert چه مقدار در خروجی نهایی نقش داشته باشد.

ترکیب خروجی Expert در مدل MoE چگونه انجام می‌شود؟

در معماری MoE، Router فقط مشخص نمی‌کند کدام Expertها برای یک توکن مناسب‌تر هستند؛ بلکه می‌تواند میزان مشارکت هر Expert را نیز مشخص کند.

برای این کار، Router برای Expertهای انتخاب‌شده وزن‌هایی در نظر می‌گیرد.

سپس خروجی Expertها بر اساس همین وزن‌ها با یکدیگر ترکیب می‌شوند.

بنابراین، انتخاب Expertها تنها بخشی از فرآیند است.

وزن Router چیست؟

فرض کنید یک مدل از Top-2 Routing استفاده می‌کند و برای یک توکن، دو Expert انتخاب شده‌اند.

Router می‌تواند میزان مشارکت هرکدام را متفاوت در نظر بگیرد.

برای مثال:

🔹 Expert 1 → وزن بیشتر
🔹 Expert 2 → وزن کمتر

در این حالت، هر دو Expert در پردازش توکن نقش دارند، اما تأثیر آن‌ها روی خروجی نهایی یکسان نیست.

خروجی نهایی بر اساس این وزن‌ها ترکیب می‌شود و سپس نتیجه به بخش بعدی مدل فرستاده می‌شود.

چرا وزن Expertها یکسان نیست؟

هر توکن می‌تواند ویژگی‌های متفاوتی داشته باشد.

ممکن است یک توکن برای یک Expert مناسب‌تر باشد و برای Expert دیگر اهمیت کمتری داشته باشد.

به همین دلیل، Router می‌تواند برای توکن‌های مختلف، وزن‌های متفاوتی ایجاد کند.

برای یک توکن ممکن است:

Expert 1 → سهم بیشتر
Expert 2 → سهم کمتر

باشد.

اما برای توکن دیگری ممکن است همین نسبت تغییر کند.

در نتیجه، مسیر پردازش مدل می‌تواند برای توکن‌های مختلف متفاوت باشد.

آیا همه Expertهای انتخاب‌شده تأثیر یکسانی دارند؟

خیر.

این یکی از نکات مهم در ترکیب خروجی Expert در مدل MoE است.

وقتی Router چند Expert را انتخاب می‌کند، به این معنی نیست که همه آن‌ها به یک اندازه روی نتیجه نهایی اثر می‌گذارند.

Router می‌تواند میزان مشارکت هر Expert را با استفاده از وزن‌های مربوط به آن مشخص کند.

بنابراین ممکن است یک Expert نقش اصلی‌تری در پردازش یک توکن داشته باشد و Expert دیگر نقش کمتری داشته باشد.

یک مثال ساده از ترکیب Expertها

فرض کنید برای یک توکن، دو Expert انتخاب شده‌اند:

🔹 Expert 1 → وزن ۷۰٪
🔹 Expert 2 → وزن ۳۰٪

در این حالت، خروجی Expert اول سهم بیشتری در نتیجه ترکیبی خواهد داشت.

یعنی مدل از هر دو Expert استفاده می‌کند، اما میزان تأثیر آن‌ها متفاوت است.

این موضوع باعث می‌شود Router بتواند علاوه بر انتخاب Expertهای مناسب، میزان مشارکت آن‌ها در پردازش هر توکن را نیز کنترل کند.

نقش Router در معماری MoE چیست؟

تا اینجا در قسمت‌های مختلف این مجموعه، نقش Router را مرحله‌به‌مرحله بررسی کردیم.

Router در معماری MoE می‌تواند:

🔹 برای Expertهای مختلف امتیاز محاسبه کند.

🔹 Expertهای مناسب را انتخاب کند.

🔹 تعداد مشخصی از Expertها را برای هر توکن فعال کند.

🔹 میزان مشارکت Expertهای انتخاب‌شده را مشخص کند.

بنابراین Router فقط یک انتخاب‌کننده ساده نیست؛ بلکه نقش مهمی در تعیین مسیر پردازش توکن‌ها دارد.

آیا Router خودش پاسخ را تولید می‌کند؟

خیر.

Router وظیفه تولید پاسخ نهایی را ندارد.

وظیفه اصلی آن این است که مشخص کند هر توکن باید از چه مسیرهایی عبور کند و Expertهای انتخاب‌شده چه میزان در پردازش آن مشارکت داشته باشند.

بعد از پردازش توسط Expertها، خروجی‌های آن‌ها ترکیب می‌شوند و نتیجه وارد ادامه معماری مدل می‌شود.

چرا ترکیب وزن‌دار اهمیت دارد؟

اگر چند Expert برای یک توکن فعال شوند، لازم است اطلاعات خروجی آن‌ها به شکلی مناسب با یکدیگر ترکیب شود.

ترکیب وزن‌دار این امکان را فراهم می‌کند که مدل به جای در نظر گرفتن سهم یکسان برای همه Expertها، میزان مشارکت هرکدام را متناسب با تصمیم Router تعیین کند.

در نتیجه، مدل می‌تواند از چند Expert استفاده کند، بدون اینکه لازم باشد همه آن‌ها تأثیر یکسانی روی خروجی داشته باشند.

جمع‌بندی

در معماری MoE، ممکن است برای یک توکن چند Expert انتخاب شوند.

اما انتخاب چند Expert به معنی تأثیر یکسان همه آن‌ها نیست.

Router می‌تواند برای Expertهای انتخاب‌شده وزن‌هایی تعیین کند و خروجی آن‌ها بر اساس این وزن‌ها با یکدیگر ترکیب شود.

در نتیجه، Router هم در انتخاب Expert و هم در تعیین میزان مشارکت آن‌ها نقش مهمی دارد.

درباره فیلاگر | جامعه هوش مصنوعی ایران